← 世界模型 / 在模型中控制潜状态、动作和奖励序列模型ICLR 2023 · Fig. 1 · p.1 ↗
正式发表 / World Models
TWM
Transformer-Based World Models Are Happy With 100k Interactions
ICLR · 2023CCF A
关键框架 FRAMEWORK
将离散潜状态、动作和奖励分别嵌入序列,用 Transformer-XL 聚合历史,在学到的模型中训练策略。
- 01编码观测
- 02建模多模态历史
- 03在模型中训练策略
THE IDEA
它在解决什么
将离散潜状态、动作和奖励分别嵌入序列,用 Transformer-XL 聚合历史,在学到的模型中训练策略。
WHY READ IT
为什么放在这条路线
与 DreamerV2 的循环动力学比较,也可与 STORM 的融合 token 设计对照;两者不是同一实现。
READ WITH A QUESTION
读的时候,留意什么
主要针对 Atari 100k;帧堆叠、回放采样和训练计算均影响结果,不应仅比较最终分数。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器