回到时间线

7月15日周三17:38Open Source模型发布AI CodingInfra / 成本模型发布指南

LeRobot 改进 VLM 子任务标注:可读接触表、种子重标注与自托管 vLLM 支持

Decision Brief

变化LeRobot 发布多项改进,包括可读的接触表时间戳、可选的种子重标注通道、以及支持自托管 vLLM 的 OpenAI 兼容客户端。
为什么重要使用 LeRobot 进行机器人行为克隆的开发者现在能获得更精确的子任务边界和更鲁棒的 VLM 调用,减少标注流程崩溃风险。
谁该关注开源模型用户
受影响技术栈OpenAIGemini
来源可信度 · 官方发布 / 官方 blog / 官方 repo

此次更新主要围绕 VLM 子任务标注流程:首先,接触表(contact sheet)上的时间戳字体从约 10px 调整为图块高度等比例缩放,确保 VLM 在下采样至 768px 后仍能读取精确时间,提升了边界标注的分辨率。其次,新增可选的种子重标注通道(plan.subtask_seeded_relabel),在分割后利用前后片段接触表对标签进行最小修正,但保持边界不变,每段额外一次 VLM 调用,默认关闭。同时,OpenAI 兼容客户端现在能安全处理模型返回空消息的情况(如安全过滤或思考模型预算耗尽),不再导致整个标注运行崩溃,并新增 `reasoning_effort` 参数用于限制 Gemini 等思考模型的推理预算。此外,环境变量 `LEROBOT_PROMPT_OVERRIDE_` 允许远程任务注入候选提示模板,无需提交分支即可进行提示搜索。最后,回退了先前采用精简 GEPA 对齐提示的尝试,因为它在 30 集测试子集上导致 Seg F1 从 0.259 降至 0.189,恢复原始提示作为最佳配置。

摘要依据:官方/RSS 来源详摘依据上方标注的来源范围整理,内容以原文为准。

来源

相关情报

留言

登入后即可留言,和其他 builder 交换实测心得。

还没有留言,抢头香。