← 世界模型 / 在模型中控制

正式发表 / World Models

STORM

STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning

NeurIPS · 2023CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
随机 Transformer 的想象过程NeurIPS 2023 · Fig. 2 · p.4 ↗

把每帧压缩为随机潜变量,将观测与动作融合成 token,用 Transformer 学习动力学并生成策略训练经验。

  1. 01编码并融合观测动作
  2. 02预测潜状态与奖励
  3. 03在想象轨迹上更新策略
STORM随机 Transformer 的想象过程
随机 Transformer 的想象过程

把每帧压缩为随机潜变量,将观测与动作融合成 token,用 Transformer 学习动力学并生成策略训练经验。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

把每帧压缩为随机潜变量,将观测与动作融合成 token,用 Transformer 学习动力学并生成策略训练经验。

WHY READ IT

为什么放在这条路线

与 TWM 分开编码状态、动作和奖励的序列设计对照,STORM 改变 token 组织与模型训练效率。

当前阶段在模型中控制 ↗

模型用于局部优化、树搜索,还是策略学习?

READ WITH A QUESTION

读的时候,留意什么

这里的 STORM 是 NeurIPS 2023 世界模型,非同名机器人 MPC 系统;Atari 实验不等于真机控制证明。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器