← 世界模型 / 从表征到预测

正式发表 / World Models

DINO

Emerging Properties in Self-Supervised Vision Transformers

ICCV · 2021CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
无标签自蒸馏流程ICCV 2021 · Fig. 2 · p.2 ↗

学生匹配动量教师的输出分布,结合中心化和温度锐化,在无人工标签时学习视觉表征。

  1. 01生成不同视图
  2. 02学生匹配教师分布
  3. 03动量更新教师
DINO无标签自蒸馏流程
无标签自蒸馏流程

学生匹配动量教师的输出分布,结合中心化和温度锐化,在无人工标签时学习视觉表征。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

学生匹配动量教师的输出分布,结合中心化和温度锐化,在无人工标签时学习视觉表征。

WHY READ IT

为什么放在这条路线

这是理解特征空间世界模型的基础阅读;DINO-WM 实际使用 DINOv2,不能把本条 DINO 当作其直接编码器版本。

当前阶段从表征到预测 ↗

表征目标如何影响奖励、动力学和控制?

READ WITH A QUESTION

读的时候,留意什么

原文研究视觉表示,不包含动作条件动力学或机器人控制闭环;注意力可视化也不等于完整分割系统。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器