← 世界模型 / 在模型中控制模型辅助策略优化算法MBPO · 原文 Algorithm 2 · p.6 ↗
正式发表 / World Models
MBPO
When to Trust Your Model: Model-Based Policy Optimization
NeurIPS · 2019CCF A
关键框架 FRAMEWORK
从真实回放中的状态出发做短模型 rollout,把合成转移用于 SAC 离策略更新,并与真实环境采样交替进行,限制长程模型误差。
- 01拟合环境模型
- 02从回放做短预测
- 03更新控制策略
THE IDEA
它在解决什么
从真实回放中的状态出发做短模型 rollout,把合成转移用于 SAC 离策略更新,并与真实环境采样交替进行,限制长程模型误差。
WHY READ IT
为什么放在这条路线
把“模型预测越长越好”变成可讨论的问题,是比较规划与模型辅助策略学习的关键节点。
READ WITH A QUESTION
读的时候,留意什么
短 rollout 的收益依赖模型泛化与数据分布;原文采用状态输入,不能直接代表视觉世界模型。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器