← 世界模型 / 生成与轨迹规划从无动作标签视频学习交互环境Genie · 原文 Fig. 3 · p.3 ↗
正式发表 / World Models
Genie
Genie: Generative Interactive Environments
ICML · 2024CCF A
关键框架 FRAMEWORK
视频 tokenizer 提供离散视觉 token,潜动作模型从相邻帧学习动作代码,动力学模型据此预测后续视频。
- 01压缩视频帧
- 02推断离散潜动作
- 03预测下一帧
THE IDEA
它在解决什么
从视频学习生成可交互环境,并用潜在动作控制生成过程。
WHY READ IT
为什么放在这条路线
把「预测未来」扩展到「交互式生成世界」,是视频世界模型的重要参照。
READ WITH A QUESTION
读的时候,留意什么
隐式动作不一定对应真实机器人的力矩或位姿控制,交互演示不能代替物理一致性验证。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器