英伟达发布 Nemotron 3.5 Super VL 开源多模态模型,面向企业级持续运行 Agent
决策简报
Brief- 发生了什么
- 英伟达发布 1200 亿参数开源多模态模型 Nemotron 3.5 Super VL,面向企业级持续运行 Agent,同时推出两款可在本地设备运行的紧凑版 Bolt 模型。
- 为什么重要
- OpenAI 相关变化会影响地区可用性、合规成本和供应商风险。
- 影响谁
- Anthropic · OpenAI · Google
- 建议动作
- 升级或复核变更版本
- 地区可用性
- 暂未验证地区可用性差异。
关键事实
- 英伟达发布 1200 亿参数开源多模态模型 Nemotron 3.5 Super VL,面向企业级持续运行 Agent,同时推出两款可在本地设备运行的紧凑版 Bolt 模型。 [src-decoder]
- Super VL 采用 MoE 架构每 token 仅激活 120 亿参数,并提供 4-bit 压缩版本和数据集训练配方;但 24GB 内存门槛和针对自家硬件的优化意味着想用好这套模型的企业开发者仍需采购英伟达硬件。 [src-decoder]
由事件证据自动生成。
英伟达发布 Nemotron 3.5 Super VL,这是一个 1200 亿参数的开源多模态模型,采用 MoE 架构,每 token 仅激活 120 亿参数,专为持续在后台运行的企业 Agent 设计,可处理文本、图像、文档和视频。模型从 Nemotron 3 Ultra 蒸馏而来,据英伟达称在 Agent 指令跟随、工具调用和多步业务流程中以约五分之一参数达到 Ultra 的精度,单 GPU 吞吐量可达同类开源模型的五倍。同时发布两款 Bolt 紧凑模型:74B-A9B 24GB 版可在本地工作站运行 Agent 任务,E4B 4GB 版面向语音助手,后者本月晚些时候推出。 在部署方面,Super VL 使用 4-bit NVFP4 格式压缩,配合英伟达 Dynamo 推理软件,在 16 块 B200 GPU 上可服务八倍并发用户,首 token 时间降低 85%。模型支持 llama.cpp、Ollama、LM Studio 和 vLLM,并发布权重、数据集和训练配方,包含一个与 IIT Madras 合作的 2.83 万亿 token、覆盖 22 种印度语言的数据集。 对于需要微调自有数据并在自有服务器上运行模型的企业开发者——如保险理赔反欺诈或金融服务信用评分团队——Super VL 提供了不受服务条款限制的选项。但 24GB 内存的硬性门槛意味着本地 Agent 目前仅适合拥有高端工作站的开发者,且所有模型均针对英伟达硬件优化,Scale AI、Ramp、EY、CrowdStrike 等机构已在进行微调适配。
摘要依据:已读全文详摘依据上方标注的来源范围整理,内容以原文为准。
来源
- The Decoder:AI News
- The Decoder:AI News
留言
登入后即可留言,和其他 builder 交换实测心得。
还没有留言,抢头香。