← 世界模型 / 从表征到预测

正式发表 / World Models

DINO-WM

DINO-WM: World Models on Pre-trained Visual Features Enable Zero-shot Planning

ICML · 2025CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
冻结视觉表征上的目标规划DINO-WM · 原文 Fig. 2 · p.4 ↗

DINOv2 编码当前和目标图像;动力学模型在 patch 特征空间预测未来,通过优化动作使预测表征靠近目标。

  1. 01冻结 DINOv2 编码器
  2. 02学习动作条件特征动态
  3. 03优化到达目标的动作
DINO-WM冻结视觉表征上的目标规划
冻结视觉表征上的目标规划

DINOv2 编码当前和目标图像;动力学模型在 patch 特征空间预测未来,通过优化动作使预测表征靠近目标。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

预测冻结视觉编码器的特征,在目标图像对应的特征空间里规划动作。

WHY READ IT

为什么放在这条路线

清晰展示「不预测像素」也能做目标条件控制的技术路径。

当前阶段从表征到预测 ↗

表征目标如何影响奖励、动力学和控制?

READ WITH A QUESTION

读的时候,留意什么

Zero-shot 的任务、数据和环境边界必须分开读;不表示模型没有使用机器人轨迹训练。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器