← 世界模型 / 从表征到预测

正式发表 / World Models

R3M

R3M: A Universal Visual Representation for Robot Manipulation

CoRL · 2022

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
人类视频表征预训练R3M · 原文 Fig. 2 · p.4 ↗

利用人类视频的时间关系、语言描述与稀疏正则预训练视觉表征,再用于机器人模仿学习。

  1. 01采样人类视频
  2. 02对齐时间与语义
  3. 03训练下游机器人策略
R3M人类视频表征预训练
人类视频表征预训练

利用人类视频的时间关系、语言描述与稀疏正则预训练视觉表征,再用于机器人模仿学习。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

利用人类视频的时间关系、语言描述与稀疏正则预训练视觉表征,再用于机器人模仿学习。

WHY READ IT

为什么放在这条路线

先理解“什么表征适合控制”,再进入 JEPA 与动作条件表征预测,能厘清模块边界。

当前阶段从表征到预测 ↗

表征目标如何影响奖励、动力学和控制?

READ WITH A QUESTION

读的时候,留意什么

R3M 是视觉编码器,不会自行预测动作后果;下游仍需要机器人演示和策略学习。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器