← 世界模型 / 从表征到预测人类视频表征预训练R3M · 原文 Fig. 2 · p.4 ↗
正式发表 / World Models
R3M
R3M: A Universal Visual Representation for Robot Manipulation
CoRL · 2022
关键框架 FRAMEWORK
利用人类视频的时间关系、语言描述与稀疏正则预训练视觉表征,再用于机器人模仿学习。
- 01采样人类视频
- 02对齐时间与语义
- 03训练下游机器人策略
THE IDEA
它在解决什么
利用人类视频的时间关系、语言描述与稀疏正则预训练视觉表征,再用于机器人模仿学习。
WHY READ IT
为什么放在这条路线
先理解“什么表征适合控制”,再进入 JEPA 与动作条件表征预测,能厘清模块边界。
READ WITH A QUESTION
读的时候,留意什么
R3M 是视觉编码器,不会自行预测动作后果;下游仍需要机器人演示和策略学习。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器