NVIDIA 发布 Nemotron Labs 3 Puzzle 75B A9B：压缩混合 MoE 模型，吞吐量提升 2.03 倍
Decision Brief
变化NVIDIA 发布了 Nemotron-Labs-3-Puzzle-75B-A9B，这是 Nemotron-3-Super 的压缩变体。
为什么重要该模型通过硬件感知结构压缩和知识蒸馏，将参数从 120.7B 降至 75.3B，同时在单节点 8×B200 上实现 2.03 倍吞吐量，大幅降低部署成本并提升并发能力。
谁该关注依赖模型 API 的团队、推理 / 基建团队
受影响技术栈NVIDIA
来源可信度中 · 可靠媒体或一手报导
NVIDIA 发布了 Nemotron-Labs-3-Puzzle-75B-A9B，这是 Nemotron-3-Super 的压缩变体。该模型采用迭代 Puzzle 方法，交替进行硬件感知结构压缩和短期知识蒸馏恢复阶段。总参数从 120.7B 降至 75.3B，激活参数从 12.8B 降至 9.3B。在单个 8×B200 节点上，该模型实现 2.03 倍于原始模型的吞吐量，每个用户达到 100 tok/s。在单块 H100 上，1M token 并发从 1 个请求提升至 8 个。
摘要依据：官方/RSS 来源详摘依据上方标注的来源范围整理，内容以原文为准。
来源
- MarkTechPost
Fast research-paper and ML tooling summaries, useful for infra and agent updates.
- MarkTechPost
留言
登入后即可留言，和其他 builder 交换实测心得。
还没有留言，抢头香。