← 视觉 · 语言 · 动作 / 数据与经验更新从人类 play 到分层机器人控制CoRL 2023 · Fig. 2 · p.4 ↗
正式发表 / Vision–Language–Action
MimicPlay
MimicPlay: Long-Horizon Imitation Learning by Watching Human Play
CoRL · 2023
关键框架 FRAMEWORK
用便宜的人类 play 数据训练高层潜计划空间,再用机器人遥操作示范训练低层控制器,实现长时程模仿。
- 01学习目标条件潜计划
- 02训练机器人控制器
- 03按视频提示执行任务
THE IDEA
它在解决什么
用便宜的人类 play 数据训练高层潜计划空间,再用机器人遥操作示范训练低层控制器,实现长时程模仿。
WHY READ IT
为什么放在这条路线
与 MimicGen 扩充机器人轨迹不同,它把人类与机器人数据分配给不同层级;可与 ACT 的动作块控制对照。
READ WITH A QUESTION
读的时候,留意什么
原文依赖域内人类视频及双视角手部轨迹;仍需机器人示范,不能写成任意人类视频零样本迁移。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器