← 世界模型 / 生成与轨迹规划

正式发表 / World Models

Genie

Genie: Generative Interactive Environments

ICML · 2024CCF A
GitHub 未确认Stars —引用 989

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
从无动作标签视频学习交互环境Genie · 原文 Fig. 3 · p.3 ↗

视频 tokenizer 提供离散视觉 token,潜动作模型从相邻帧学习动作代码,动力学模型据此预测后续视频。

  1. 01压缩视频帧
  2. 02推断离散潜动作
  3. 03预测下一帧
Genie从无动作标签视频学习交互环境
从无动作标签视频学习交互环境

视频 tokenizer 提供离散视觉 token,潜动作模型从相邻帧学习动作代码,动力学模型据此预测后续视频。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

从视频学习生成可交互环境,并用潜在动作控制生成过程。

WHY READ IT

为什么放在这条路线

把「预测未来」扩展到「交互式生成世界」,是视频世界模型的重要参照。

当前阶段生成与轨迹规划 ↗

轨迹去噪、视频计划与可交互世界怎样连接?

READ WITH A QUESTION

读的时候,留意什么

隐式动作不一定对应真实机器人的力矩或位姿控制,交互演示不能代替物理一致性验证。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器