← 世界模型 / 在模型中控制带最优性变量的潜状态图模型NeurIPS 2020 · Fig. 1 · p.4 ↗
正式发表 / World Models
SLAC
Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
NeurIPS · 2020CCF A
关键框架 FRAMEWORK
用序列潜变量模型处理部分可观测性,并在推断的潜状态上训练 soft Q;策略依据观测和动作历史选择动作。
- 01推断隐状态
- 02更新 soft Q
- 03从历史观测选择动作
THE IDEA
它在解决什么
用序列潜变量模型处理部分可观测性,并在推断的潜状态上训练 soft Q;策略依据观测和动作历史选择动作。
WHY READ IT
为什么放在这条路线
与 Dreamer 的想象轨迹训练区分:SLAC 的核心是表示推断与离策略 actor–critic,不是长潜轨迹里的策略优化。
READ WITH A QUESTION
读的时候,留意什么
原文策略不直接以推断潜状态为输入;不要把概率图中的潜状态误读成部署时必需的策略输入。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器