← 世界模型 / 生成与轨迹规划视频计划接上逆动力学UniPi · 原文 Fig. 2 · p.4 ↗
正式发表 / World Models
UniPi
Learning Universal Policies via Text-Guided Video Generation
NeurIPS · 2023CCF A
关键框架 FRAMEWORK
语言和初始画面约束视频扩散模型生成未来轨迹,逆动力学模型把相邻画面转为机器人动作。
- 01给定语言目标与初始帧
- 02生成视频计划
- 03逆动力学解码动作
THE IDEA
它在解决什么
先把文字目标变成未来视频计划,再从视频中提取可执行控制动作。
WHY READ IT
为什么放在这条路线
用来理解视频规划与逆动力学之间的接口,是阅读联合视频动作模型的前置参照。
READ WITH A QUESTION
读的时候,留意什么
生成的画面仍需落到具体机器人动作;注意视频可行性、逆动力学误差与推理开销。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器