Bonsai 27B 开源模型压缩后可在 iPhone 上运行
Decision Brief
变化PrismML 将 270 亿参数的 Bonsai 模型压缩至 4 GB 以下，能在 iPhone 上运行。
为什么重要模型压缩至 4 GB 以下并保持 90% 性能，意味着本地大模型推理首次在手机上可行，做端侧部署的团队可重点关注其压缩技术。
谁该关注开源模型使用者
受影响技术栈未识别出特定技术栈
来源可信度中 · 可靠媒体或一手报导
PrismML 推出开源推理模型 Bonsai 27B，将 270 亿参数压缩到不足 4 GB，达到在 iPhone 上运行的标准。据该公司自有基准测试，最小版本保留了原始模型 90% 的性能，数学和编码分数几乎没有下降。苹果据称已在测试该压缩技术，这可能帮助苹果缩小在设备端 AI 方面的差距。 对于在移动设备上部署大模型的开发者来说，这一技术突破了参数规模与存储空间的矛盾，使得在本地进行推理成为可能，无需依赖云端。该模型为开源项目，相关团队可以自行下载和评估。
摘要依据：官方/RSS 来源详摘依据上方标注的来源范围整理，内容以原文为准。
来源
- The Decoder：AI News
- The Decoder：AI News
留言
登入后即可留言，和其他 builder 交换实测心得。
还没有留言，抢头香。