← 世界模型 / 在模型中控制随机 Transformer 的想象过程NeurIPS 2023 · Fig. 2 · p.4 ↗
正式发表 / World Models
STORM
STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning
NeurIPS · 2023CCF A
关键框架 FRAMEWORK
把每帧压缩为随机潜变量,将观测与动作融合成 token,用 Transformer 学习动力学并生成策略训练经验。
- 01编码并融合观测动作
- 02预测潜状态与奖励
- 03在想象轨迹上更新策略
THE IDEA
它在解决什么
把每帧压缩为随机潜变量,将观测与动作融合成 token,用 Transformer 学习动力学并生成策略训练经验。
WHY READ IT
为什么放在这条路线
与 TWM 分开编码状态、动作和奖励的序列设计对照,STORM 改变 token 组织与模型训练效率。
READ WITH A QUESTION
读的时候,留意什么
这里的 STORM 是 NeurIPS 2023 世界模型,非同名机器人 MPC 系统;Atari 实验不等于真机控制证明。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器