大型语言模型(LLM)的 API 定价正从简单的按 token 计费走向多元:输入/输出分离、缓存折扣、保留容量等新策略频出。同时,微软等云厂商开始主动推广自家模型比 OpenAI/Anthropic 更便宜的叙事,使得选型不仅关乎模型能力,更涉及成本结构、延迟与供应商锁定。
当前主力玩家包括 OpenAI(GPT-4o 系列)、Anthropic(Claude 3.5/4)、Google(Gemini 2.0/2.5)、xAI(Grok-2/Inkling)、Meta(Llama 3.1/4 通过云服务商)、DeepSeek(V3/R1)等。定价模式上,OpenAI 推出 prompt caching、batch API 半价;Anthropic 主打长上下文(200K token)按需计费;Google 提供 1 分钟免费额度。自托管与第三方转售(如 Together AI、Fireworks)则提供更灵活的成本控制。
怎么上手、怎么选
上手第一步:列出你的核心需求——峰值吞吐量、允许的延迟、上下文长度、数据隐私(是否需本地部署或私有云)。然后收集各厂商最新定价页,按输入/输出 token 单价、缓存折扣、速率限制(RPM/TPM)做对比表格。注意:很多模型有『隐形成本』,如系统提示占用长上下文或输出过长触发截断。
选型核心策略:如果负载稳定且量大,优先考虑保留容量(reserved capacity)或 batch API,可节省 40-50%。如果请求模式有热门缓存场景(如 AI 搜索、客服),启用 prompt caching 显著降本。对于实验性项目,选择按量付费且免费额度高的厂商(如 Google Gemini)。避免过早锁定单一模型,通过抽象接口(如 LiteLLM、OpenRouter)在多个提供商间切换。
常见坑:1. 只看输入价格忽略输出价格——很多应用(如代码生成、写作助手)输出 token 远多于输入。2. 忽略速率限制——高并发场景下被限流可能迫使你换更高 Tier 或自托管。3. 忽略 token 计数差异——不同模型对同一文本 token 化结果不同,导致实际成本偏离预期。4. 忽略数据归属条款——一些厂商会在服务条款中声明使用你的 API 输入进行模型训练(可 opt-out 但需手动操作)。
常见问题
API 定价是不是只有按 token 一种方式?
不完全是。多数厂商仍以 token 计费为基础,但衍生出多种定价:输入/输出分别计价、缓存 token 打折、批量处理(batch)半价、保留容量月费、以及按时间(如每小时固定费用)的订阅制。还有部分厂商提供『免费额度』用于尝鲜或轻量应用。
选便宜模型还是强模型?
取决于任务复杂度。对于简单分类、抽取,便宜模型(如 GPT-4o mini、Llama 3.1 8B)性价比高;对于复杂推理、长篇生成,GPT-4o / Claude 3.5 Opus 等强模型必要但成本高。建议先用强模型做小规模验证,再用便宜模型蒸馏,或采用级联策略:先询问便宜模型,置信度高则直接输出,否则升级。
如何处理速率限制(rate limits)?
评估你的峰值请求/分钟(RPM)和 token/分钟(TPM),选择满足需求的 Tier。如果不够,可以:1) 升级到更高 Tier(通常需预付或历史消费达标);2) 使用多个 API Key 负载均衡;3) 自托管开源模型(如 Llama 4)避免限流;4) 引入排队和重试机制。
提示缓存(prompt caching)能省多少钱?
如果我的应用有重复的系统提示或相似上下文(如 AI 客服的对话历史),缓存可节省 50-90% 的输入 token 费用。例如,OpenAI 缓存命中时输入价格约 50% off;Anthropic 对长上下文提供『写后读』缓存折扣。务必在 API 调用中显式启用缓存键(cache key)并监控命中率。
自托管模型 vs 第三方 API 哪个划算?
在高吞吐量(>1M token/天)下自托管通常更省钱,但需考虑 GPU 租赁/购买、运维成本。中等吞吐量则可选第三方 API 转售商(如 Together AI、Anyscale)或云服务商(AWS Bedrock、GCP Vertex AI),它们提供按量付费且易于切换。低吞吐量直接使用原始厂商 API 最省事。
如何避免供应商锁定?
在代码层使用统一 SDK(如 LiteLLM、LangChain)抽象不同 API;配置中维护多个模型端点和 API Key;定期对比成本并准备迁移预案。关注开源模型(如 Llama 4、DeepSeek V3)的进展,它们可通过自托管或转售商获得,避免单一供应商依赖。