← 世界模型 / 生成与轨迹规划统一动作条件视频模拟器UniSim · 原文 Fig. 2 · HTML §2 ↗
正式发表 / World Models
UniSim
Learning Interactive Real-World Simulators
ICLR · 2024CCF A
关键框架 FRAMEWORK
混合不同来源的视频和动作条件训练视频模拟器,以语言或低层动作控制后续视觉变化。
- 01混合多源交互数据
- 02按动作生成未来
- 03在模拟器中训练策略
THE IDEA
它在解决什么
混合不同来源的视频和动作条件训练视频模拟器,以语言或低层动作控制后续视觉变化。
WHY READ IT
为什么放在这条路线
将被动视频生成推进到可交互模拟,连接视频世界模型和下游策略学习。
READ WITH A QUESTION
读的时候,留意什么
学习模拟器可能产生不符合物理的轨迹;生成逼真度和策略迁移需要分别验证。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器