法国 AI 新创 ZML 推出免费开源软体 ZML/LLMD，加速多晶片推论降低成本
Decision Brief
变化获 Yann LeCun 背书的法国 AI 新创 ZML 推出免费软体 ZML/LLMD，能在大量 AI 晶片上加速推论、降低成本。
为什么重要ZML/LLMD 以免费开源方式提供多晶片推论加速，直接降低使用大量 GPU 的团队在推论阶段的成本与部署门槛。
谁该关注开源模型用户
受影响技术栈未识别出特定技术栈
来源可信度中 · 可靠媒体或一手报导
由图灵奖得主 Yann LeCun 背书的法国 AI 新创 ZML，近日释出免费软体 ZML/LLMD，目标是在大量 AI 晶片上加速推论，从而降低 AI 运算成本。该软体支援多种晶片，可让使用多 GPU 或异构加速器的团队更有效率地执行推论任务，不再仅依赖少数昂贵的专用硬件。 对于需要大规模部署推论服务的开发者与 infra 团队，ZML/LLMD 提供了一个无授权费用的选项，有助于在不增加硬件采购预算的前提下提升吞吐量。实际影响包括降低每笔推论请求的总持有成本，以及让资源调度更灵活。
摘要依据：官方/RSS 来源详摘依据上方标注的来源范围整理，内容以原文为准。
来源
- TechCrunch：AI
Startup, funding, product, and platform AI news with fast Silicon Valley coverage.
- TechCrunch：AI
留言
登入后即可留言，和其他 builder 交换实测心得。
还没有留言，抢头香。