Reflection Beam 开源模型登陆 AWS,支持 SageMaker 部署
决策简报
Brief- 发生了什么
- Reflection AI 发布开源权重模型 Beam,面向智能体编码与长程任务,并上线 AWS SageMaker JumpStart 与 HyperPod 推理部署路径。
- 为什么重要
- GitHub 相关变化会影响地区可用性、合规成本和供应商风险。
- 影响谁
- OpenAI · GitHub
- 建议动作
- 升级或复核变更版本
- 地区可用性
- 暂未验证地区可用性差异。
关键事实
- Reflection AI 发布开源权重模型 Beam,面向智能体编码与长程任务,并上线 AWS SageMaker JumpStart 与 HyperPod 推理部署路径。 [src-aws-ml]
- Beam 以 5010 亿总参数、230 亿激活参数的稀疏 MoE 架构配合 100 万 token 有效上下文,意味着跑该模型的团队需要按 BF16、FP8、NVFP4 三种检查点规格重新规划多节点 GPU 显存与分片方案。 [src-aws-ml]
由事件证据自动生成。
Reflection AI 推出 Beam,一个面向智能体编码和长程任务的开放权重稀疏混合专家模型,参数规模为 5010 亿总参数、230 亿激活参数,官方报告有效上下文长度为 100 万 token,权重通过 Hugging Face 以 Apache 2.0 许可发布,提供 BF16、FP8、NVFP4 三种检查点变体。目前 Beam 已在 Amazon SageMaker JumpStart 上线,覆盖美国东部(弗吉尼亚北部)和俄亥俄两个区域。 部署路径分两类。使用 SageMaker 的团队可走 JumpStart 实时端点,由 AWS 托管容器、模型与端点,最省运维;需要 Kubernetes 原生控制权的团队可走 SageMaker HyperPod 推理,用 JumpStart 托管容器或自选 SGLang、vLLM 运行时,自行掌控服务镜像、运行时参数、量化和分布式执行。显存方面,FP8 建议用搭载 H100 的 ml.p5.48xlarge 或搭载 H200 的 ml.p5e/ml.p5en.48xlarge,NVFP4 对应搭载 B200 的 ml.p6-b200.48xlarge。 对在 AWS 上跑开源编码模型的开发者而言,Beam 的价值在于权重格式与 GPU 实例类型已有明确的对应关系,且 HyperPod 侧支持模型缓存、分层 KV 缓存与推理网关路由,可按实测并发和延迟配置副本与自动扩缩,降低了多节点部署的试错成本。
摘要依据:已读全文详摘依据上方标注的来源范围整理,内容以原文为准。
来源
- AWS:Machine Learning Blog
Applied ML, infra, and deployment guidance useful for AI builders on AWS.
- AWS:Machine Learning Blog
留言
登入后即可留言,和其他 builder 交换实测心得。
还没有留言,抢头香。