← 世界模型 / 在模型中控制

正式发表 / World Models

TD-MPC

Temporal Difference Learning for Model Predictive Control

ICML · 2022CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
任务相关潜动力学与价值学习TD-MPC · 原文 Fig. 2 · p.4 ↗

联合学习任务相关潜动力学、奖励和终端价值,用短时域模型预测加长程价值估计选择动作。

  1. 01编码任务状态
  2. 02预测奖励与潜状态
  3. 03搜索高价值动作
TD-MPC任务相关潜动力学与价值学习
任务相关潜动力学与价值学习

联合学习任务相关潜动力学、奖励和终端价值,用短时域模型预测加长程价值估计选择动作。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

联合学习任务相关潜动力学、奖励和终端价值,用短时域模型预测加长程价值估计选择动作。

WHY READ IT

为什么放在这条路线

补齐 TD-MPC2 的前序方法,也提供不依赖像素重建目标的模型控制对照。

当前阶段在模型中控制 ↗

模型用于局部优化、树搜索,还是策略学习?

READ WITH A QUESTION

读的时候,留意什么

终端价值与模型都可能有偏差;区分辅助策略网络与最终 MPC 搜索输出。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器