← 世界模型 / 未来预测如何用

技术报告 / World Models

Cosmos 3

Cosmos3: Omnimodal World Models for Physical AI

技术报告 · 2026

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
推理与生成双塔 MoTCosmos 3 · 原文 Fig. 5 · p.11 ↗

AR 分支处理离散文本等上下文,扩散分支处理连续模态;两塔有独立参数并通过共享注意力连接,使用不同注意力掩码。

  1. 01统一多模态 token
  2. 02路由推理与生成双塔
  3. 03共享注意力输出各模态
Cosmos 3推理与生成双塔 MoT
推理与生成双塔 MoT

AR 分支处理离散文本等上下文,扩散分支处理连续模态;两塔有独立参数并通过共享注意力连接,使用不同注意力掩码。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

在统一模型中处理语言、视觉、音频和动作,覆盖策略与正逆动力学等物理交互任务。

WHY READ IT

为什么放在这条路线

补齐 Cosmos 从视频基础模型到动作作为显式模态的演进,和专用 WAM 对比。

当前阶段未来预测如何用 ↗

预测用于特征、数据生成,还是策略优化?

READ WITH A QUESTION

读的时候,留意什么

按技术报告阅读;区分基础模型、任务后训练和完整部署成本,报告中的榜单成绩有评测时间与设置限制。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器