← 世界模型 / 在模型中控制

正式发表 / World Models

MBPO

When to Trust Your Model: Model-Based Policy Optimization

NeurIPS · 2019CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
模型辅助策略优化算法MBPO · 原文 Algorithm 2 · p.6 ↗

从真实回放中的状态出发做短模型 rollout,把合成转移用于 SAC 离策略更新,并与真实环境采样交替进行,限制长程模型误差。

  1. 01拟合环境模型
  2. 02从回放做短预测
  3. 03更新控制策略
MBPO模型辅助策略优化算法
模型辅助策略优化算法

从真实回放中的状态出发做短模型 rollout,把合成转移用于 SAC 离策略更新,并与真实环境采样交替进行,限制长程模型误差。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

从真实回放中的状态出发做短模型 rollout,把合成转移用于 SAC 离策略更新,并与真实环境采样交替进行,限制长程模型误差。

WHY READ IT

为什么放在这条路线

把“模型预测越长越好”变成可讨论的问题,是比较规划与模型辅助策略学习的关键节点。

当前阶段在模型中控制 ↗

模型用于局部优化、树搜索,还是策略学习?

READ WITH A QUESTION

读的时候,留意什么

短 rollout 的收益依赖模型泛化与数据分布;原文采用状态输入,不能直接代表视觉世界模型。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器