← 世界模型 / 未来预测如何用

正式发表 / World Models

Cosmos Policy

Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning

ICLR · 2026CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
将状态、动作和价值注入潜帧Cosmos Policy · 原文 Fig. 2 · p.4 ↗

把机器人本体状态、动作块、未来图像与价值编码为潜帧,注入 Cosmos-Predict2 的视频扩散序列,再用机器人数据后训练。

  1. 01编码多视角图像
  2. 02注入状态 / 动作 / 价值潜帧
  3. 03条件去噪与规划
Cosmos Policy将状态、动作和价值注入潜帧
将状态、动作和价值注入潜帧

把机器人本体状态、动作块、未来图像与价值编码为潜帧,注入 Cosmos-Predict2 的视频扩散序列,再用机器人数据后训练。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

将预训练视频模型后训练为兼顾动作生成、未来状态与价值预测的模型。

WHY READ IT

为什么放在这条路线

跨越世界模型与动作策略,适合检查视频生成预训练如何服务控制。

当前阶段未来预测如何用 ↗

预测用于特征、数据生成,还是策略优化?

READ WITH A QUESTION

读的时候,留意什么

区分直接策略执行和额外规划带来的收益,同时考虑推理计算量。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器