← 世界模型 / 生成与轨迹规划

正式发表 / World Models

UniPi

Learning Universal Policies via Text-Guided Video Generation

NeurIPS · 2023CCF A
GitHub 未确认Stars —引用 797

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
视频计划接上逆动力学UniPi · 原文 Fig. 2 · p.4 ↗

语言和初始画面约束视频扩散模型生成未来轨迹,逆动力学模型把相邻画面转为机器人动作。

  1. 01给定语言目标与初始帧
  2. 02生成视频计划
  3. 03逆动力学解码动作
UniPi视频计划接上逆动力学
视频计划接上逆动力学

语言和初始画面约束视频扩散模型生成未来轨迹,逆动力学模型把相邻画面转为机器人动作。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

先把文字目标变成未来视频计划,再从视频中提取可执行控制动作。

WHY READ IT

为什么放在这条路线

用来理解视频规划与逆动力学之间的接口,是阅读联合视频动作模型的前置参照。

当前阶段生成与轨迹规划 ↗

轨迹去噪、视频计划与可交互世界怎样连接?

READ WITH A QUESTION

读的时候,留意什么

生成的画面仍需落到具体机器人动作;注意视频可行性、逆动力学误差与推理开销。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器