DeepSeek 以 Apache 2.0 协议开源推理引擎 DeepInfer
决策简报
Brief- 发生了什么
- DeepSeek 开源了支撑其 V4.1-Flash 模型的内部推理框架 DeepInfer,并采用 Apache 2.0 许可证。
- 为什么重要
- OpenAI 相关变化会影响 AI 产品团队的技术选型和发布判断。
- 影响谁
- DeepSeek
- 建议动作
- 升级或复核变更版本
- 地区可用性
- 暂未验证地区可用性差异。
关键事实
- DeepSeek 开源了支撑其 V4.1-Flash 模型的内部推理框架 DeepInfer,并采用 Apache 2.0 许可证。 [src-decoder]
- DeepInfer 基于 vLLM 并做了计算内核与多芯片分布式优化,又配套开源 deepseek-recipe 来复刻官方 API 的 token 处理,自托管团队可以按官方口径跑出同等行为,相比直接调用 API 的边际成本更低。 [src-decoder]
由事件证据自动生成。
DeepSeek 把内部推理框架 DeepInfer 以 Apache 2.0 协议开源。它是支撑 V4.1-Flash 模型在大规模下快速出答案的服务软件,在 vLLM 基础上加入了优化过的计算内核、跨多芯片的分布式处理和更快的文本生成技术。DeepSeek 表示后续模型的代码也会以开源形式发布。 同时发布的还有 deepseek-recipe,用于复刻 DeepSeek 官方 API 的 token 处理流程,使自托管部署的行为与官方 API 保持一致。官方称目标是帮助社区降低算力成本、减少能耗、让 AI 更可负担。 对自建推理服务的团队来说,这套组合省去了自己对齐官方 API 预处理逻辑的工作;对使用 DeepSeek 托管 API 的开发者,deepseek-recipe 提供了本地复现官方行为的参照。
摘要依据:已读全文详摘依据上方标注的来源范围整理,内容以原文为准。
来源
- The Decoder:AI News
- The Decoder:AI News
留言
登入后即可留言,和其他 builder 交换实测心得。
还没有留言,抢头香。