TwelveLabs Pegasus 1.5 上线 Amazon Bedrock,支持两小时视频分段检索
决策简报
Brief- 发生了什么
- TwelveLabs 的视频语言模型 Pegasus 1.5 在 Amazon Bedrock 上架,可将长视频按用户定义条件切分为带时间戳的 JSON 元数据。
- 为什么重要
- Pegasus 相关变化会影响地区可用性、合规成本和供应商风险。
- 影响谁
- 一般 AI Builder
- 建议动作
- 升级或复核变更版本
- 地区可用性
- 暂未验证地区可用性差异。
关键事实
- TwelveLabs 的视频语言模型 Pegasus 1.5 在 Amazon Bedrock 上架,可将长视频按用户定义条件切分为带时间戳的 JSON 元数据。 [src-aws-ml]
- 单次请求分析时长从 Pegasus 1.2 的一小时提升到两小时,且不再需要预索引,直接从 S3 拉流即可返回结构化片段,视频检索管道的搭建成本因此大幅降低。 [src-aws-ml]
待复核:missing_entities, missing_who_affected
Pegasus 1.5 是 TwelveLabs 的视频语言模型,通过 bedrock-runtime 的 InvokeModel 或 InvokeModelWithResponseStream 调用,模型 ID 为 twelvelabs.pegasus-1-5-v1:0,目前仅在美国西部(俄勒冈)区域以按需推理方式提供。它有两种分析模式:general 模式接受 inputPrompt 返回文本或按 JSON Schema 约束的结构化结果;time_based_metadata 模式改为传入片段定义(id、description、fields),模型返回每个匹配片段的起止时间和所需字段。视频可直接从 S3 URI 读取,或用不超过 25 MB 的 base64 字符串内联提交,无需预索引。 相比 Pegasus 1.2,新版本单次请求可分析最长两小时的视频,新增视频分段、带参考图像的多模态提示和即时处理,并支持在片段定义中用文字加参考图定位具体产品、标志或人物。语言方面完整支持英文,对中文、日文、法文等十余种语言为部分支持。 对在 AWS 上搭建视频检索管道的开发团队来说,这次变化的重点是省掉了入库和预索引环节,数据留在 AWS 边界内,并用 includeMetering 返回 outputTokenCount 和 inputVideoSecond 方便按视频秒数核算成本;需要通过应用推理配置文件打标签来分摊费用的团队,可改用 ARN 调用。
来源
- AWS:Machine Learning Blog
Applied ML, infra, and deployment guidance useful for AI builders on AWS.
- AWS:Machine Learning Blog
留言
登入后即可留言,和其他 builder 交换实测心得。
还没有留言,抢头香。