← 世界模型 / 未来预测如何用推理与生成双塔 MoTCosmos 3 · 原文 Fig. 5 · p.11 ↗
技术报告 / World Models
Cosmos 3
Cosmos3: Omnimodal World Models for Physical AI
技术报告 · 2026
快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗
关键框架 FRAMEWORK
AR 分支处理离散文本等上下文,扩散分支处理连续模态;两塔有独立参数并通过共享注意力连接,使用不同注意力掩码。
- 01统一多模态 token
- 02路由推理与生成双塔
- 03共享注意力输出各模态
THE IDEA
它在解决什么
在统一模型中处理语言、视觉、音频和动作,覆盖策略与正逆动力学等物理交互任务。
WHY READ IT
为什么放在这条路线
补齐 Cosmos 从视频基础模型到动作作为显式模态的演进,和专用 WAM 对比。
READ WITH A QUESTION
读的时候,留意什么
按技术报告阅读;区分基础模型、任务后训练和完整部署成本,报告中的榜单成绩有评测时间与设置限制。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器