LeRobot 新增 EVO1 策略,使用原生 HF InternVL3-1B-hf 并移除自订 ViT 逻辑
Decision Brief
What changedLeRobot 在 PR #3908 中合并了 EVO1 策略,包含批处理大小推论修复、依赖锁更新及使用原生 HF InternVL3-1B-hf 模型。
Why it matters改用原生 transformers 实现后减少了约 170 行手动 ViT 代码,且权重位元一致,维护成本显著降低。
Who should careOpen-source model users
Affected stackNo specific stack identified
Source confidenceHigh · Official release / blog / repo
此 PR 主要将 EVO1 策略整合进 LeRobot 框架,并进行多项改进。首先修复了 `_collect_image_batches` 中 unbatched `(C, H, W)` 输入的批处理大小推论错误,该错误会将通道数误认为批大小导致索引越界;现在先统一标准化每个 camera tensor 为 `(B, C, H, W)` 后再读取 `batch_size`。其次,将 InternVL3 嵌入器从 `OpenGVLab/InternVL3-1B`(需 `trust_remote_code=True`)切换至 `OpenGVLab/InternVL3-1B-hf`(原生 transformers 实现),移除约 170 行手动 ViT/pixel-shuffle/projection 逻辑,改用单一 `model.forward()` 呼叫,经测试输出位元一致。另外,更新了 uv.lock 以包含 evo1 额外依赖,并在 `pyproject.toml` 的 `all` extra 中加入 `lerobot[evo1]`,确保 `pip install 'lerobot[all]'` 会安装 EVO1。文件方面,建立了 `README.md` 到 `docs/source/evo1.mdx` 的符号连结,遵循项目惯例。
Summary basis: official / RSS sourceCompiled from the source scope noted above; the original remains authoritative.
Sources
- LeRobot(HuggingFace 机器人)
HuggingFace LeRobot — embodied-AI / robotics learning library; new models, datasets, and policies.
- LeRobot(HuggingFace 机器人)
留言
登入后即可留言,和其他 builder 交换实测心得。
还没有留言,抢头香。