大模型从实验走向产品，推理成本与基础设施选型成为工程团队的核心难题。GPU 价格波动、模型架构多元化、量化技术成熟度不一，直接影响单次推理成本和延迟。
当前格局中，OpenAI 主导闭源 API，而开源社区涌现出 Inkling、Bonsai 等高效 MoE 模型；AWS Bedrock、xAI 等提供差异化推理方案；苹果与阿里合作也表明本地化部署趋势。选型需在成本、可控性、延迟之间权衡。
怎么上手、怎么选
**上手路径**：先明确负载类型——实时聊天（低延迟）用小型量化模型如 Bonsai（可在 iPhone 运行），离线批处理用大参数 MoE（如 Inkling 975B 但仅 41B 活跃）。优先用 API 验证，再自建。
**选型核心**：对比每 token 成本、硬件要求与吞吐。闭源 API（如 OpenAI）省心但单价高；开源模型（如 Bonsai 13B）可自托管，需评估 TCO。量化（如 4-bit）可降成本 50%+，但可能影响精度。
**常见坑**：忽视冷启动延迟（需预留 GPU 预热）；只关注参数总量而忽略活跃参数（如 MoE 模型成本收益更高）；低估网络延迟（尤其多区域部署）。
**优化经验**：采用混合推理——热请求用小模型，复杂任务路由到大模型。结合缓存（语义相似复用结果）与批处理（相同模型请求聚合），可降成本 30-70%。
常见问题
自建推理一定比 API 便宜吗？
不一定。GPU 租赁费用、运维成本、开发折损不容忽视。若日调用量低于百万次或延迟要求不高，用 API 更划算。百万次以上或需数据隐私保护时，自建优势显现。
量化会明显降低模型效果吗？
主流量化（如 4-bit、8-bit）在多数 NLP 任务中损失小于 2%。若对精度极为敏感（如医疗诊断），建议先评估再量化。
MoE 模型为什么能降低推理成本？
MoE 通过路由机制只激活部分参数（如 975B 仅激活 41B），减少计算量，同时保持大模型的知识容量。推理时按需调度，显著降成本。
如何估算推理所需的 GPU 数量？
粗略算法：单吞吐量 ÷ 单卡吞吐量 × 冗余系数。例如 1000 请求/秒，单卡处理 10 请求/秒，需 100 卡。实测建议预留 20% 余量。
延迟与成本如何权衡？
低延迟往往意味着更多 GPU 同时运作（低批处理），单位成本更高。可设置 SLA 主延迟指标（如 p99 < 500ms），并优化 batch size 和缓存策略。
开源模型和闭源 API 谁更适合企业？
核心考量数据隐私、定制需求与预算。闭源 API 便捷但贵，适合快速验证；开源模型可私有化部署，适合长期、高并发、敏感数据场景。