NVIDIA 发布压缩混合 MoE 模型 Nemotron-Labs-3-Puzzle-75B-A9B，吞吐量提升 2.03 倍
Decision Brief
变化NVIDIA 推出 Nemotron-Labs-3-Puzzle-75B-A9B，是 Nemotron-3-Super 的压缩变体。
为什么重要参数量从 120.7B 降至 75.3B 而活跃参数仅 9.3B，单节点吞吐量翻倍，运行该模型的团队可大幅降低硬件成本。
谁该关注依赖模型 API 的团队、推理 / 基建团队
受影响技术栈NVIDIA
来源可信度中 · 可靠媒体或一手报导
NVIDIA 发布 Nemotron-Labs-3-Puzzle-75B-A9B，这是 Nemotron-3-Super 的压缩混合 MoE 模型。通过迭代式 Puzzle 方法，交替进行硬件感知结构压缩和短知识蒸馏恢复阶段，模型总参数量从 120.7B（活跃 12.8B）降至 75.3B（活跃 9.3B）。 在单台 8x B200 节点上，该模型总吞吐量达到原版 Super 的 2.03 倍，同时保持每用户 100 tok/s 的输出速度。在单张 H100 GPU 上，1M token 并发请求数从 1 提升至 8。对于使用 NVIDIA GPU 部署大模型的团队，这意味着相同硬件能支持更多用户或更大并发，或为达到同等性能所需 GPU 数量减半。
摘要依据：官方/RSS 来源详摘依据上方标注的来源范围整理，内容以原文为准。
来源
- MarkTechPost
Fast research-paper and ML tooling summaries, useful for infra and agent updates.
- MarkTechPost
留言
登入后即可留言，和其他 builder 交换实测心得。
还没有留言，抢头香。