← 世界模型 / 在模型中控制

正式发表 / World Models

TWM

Transformer-Based World Models Are Happy With 100k Interactions

ICLR · 2023CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
潜状态、动作和奖励序列模型ICLR 2023 · Fig. 1 · p.1 ↗

将离散潜状态、动作和奖励分别嵌入序列,用 Transformer-XL 聚合历史,在学到的模型中训练策略。

  1. 01编码观测
  2. 02建模多模态历史
  3. 03在模型中训练策略
TWM潜状态、动作和奖励序列模型
潜状态、动作和奖励序列模型

将离散潜状态、动作和奖励分别嵌入序列,用 Transformer-XL 聚合历史,在学到的模型中训练策略。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

将离散潜状态、动作和奖励分别嵌入序列,用 Transformer-XL 聚合历史,在学到的模型中训练策略。

WHY READ IT

为什么放在这条路线

与 DreamerV2 的循环动力学比较,也可与 STORM 的融合 token 设计对照;两者不是同一实现。

当前阶段在模型中控制 ↗

模型用于局部优化、树搜索,还是策略学习?

READ WITH A QUESTION

读的时候,留意什么

主要针对 Atari 100k;帧堆叠、回放采样和训练计算均影响结果,不应仅比较最终分数。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器