SageMaker JumpStart 新增模型中心与预配置端点部署
决策简报
Brief- 发生了什么
- 亚马逊 SageMaker JumpStart 在模型中心支持浏览目录、一键从 Hugging Face 部署,并提供按低成本和低延迟优化的预配置端点选项。
- 为什么重要
- Qwen 相关结果会影响评测基准、技术路线和后续产品判断。
- 影响谁
- Qwen
- 建议动作
- 升级或复核变更版本
- 地区可用性
- 暂未验证地区可用性差异。
关键事实
- 亚马逊 SageMaker JumpStart 在模型中心支持浏览目录、一键从 Hugging Face 部署,并提供按低成本和低延迟优化的预配置端点选项。 [src-aws-ml]
- 对使用 SageMaker JumpStart 的机器学习工程师来说,预配置端点省去了手挑实例类型和参数,Hugging Face 一键跳转也缩短了从选模型到部署的链路。 [src-aws-ml]
由事件证据自动生成。
SageMaker JumpStart 在 2026 年做了两项改进。一是在 SageMaker AI 控制台的模型中心区域,可以直接浏览 JumpStart 目录、查看示例笔记本并在 SageMaker Studio 中打开;二是提供预配置的端点部署选项,按低成本、低延迟或通用负载等不同优先级给出命名配置,覆盖多种生成式 AI 模型,包括 Neuron 优化的配置。此外新增深度链接集成,可以从 Hugging Face 发现模型后一键跳转到 SageMaker AI 部署。 文章给出了一套可复用的三步骤评估流程,基于 SageMaker Python SDK v3:用 list_jumpstart_models 按任务或名称筛选模型,用 ModelBuilder 结合 JumpStartConfig 部署推荐实例类型,再用 retrieve_all_examples 拿到官方示例负载,逐条调用端点并统计时延和单请求生成速率,最后删除端点。实测中部署 huggingface-vlm-qwen3-5-27b 后,一条“什么是深度学习”的请求返回约 153 个词,时延 9.07 秒,单请求生成速率约 16.9 词/秒。 这条更新直接影响的是在 AWS 上评估和上线生成式模型的机器学习工程师与算法团队:预配置端点减少了选实例和调配置的工作量,一键从 Hugging Face 部署降低了跨平台搬运模型的成本。需要注意的是,负载格式、必需实例类型、最终用户许可协议和响应结构在不同模型间仍可能不同,评估脚本需要按模型做适配;部署耗时也会随模型、实例类型、配额和区域变化。
来源
- AWS:Machine Learning Blog
Applied ML, infra, and deployment guidance useful for AI builders on AWS.
- AWS:Machine Learning Blog
留言
登入后即可留言,和其他 builder 交换实测心得。
还没有留言,抢头香。