← 世界模型 / 从表征到预测

正式发表 / World Models

I-JEPA

Self-Supervised Learning From Images With a Joint-Embedding Predictive Architecture

CVPR · 2023CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
图像块之间的表征预测I-JEPA · 原文 Fig. 3 · p.3 ↗

上下文编码器只处理可见区域,预测器利用位置 token 预测目标块的表征;目标编码器通过指数移动平均更新。

  1. 01编码可见上下文
  2. 02预测目标块特征
  3. 03与目标编码器对齐
I-JEPA图像块之间的表征预测
图像块之间的表征预测

上下文编码器只处理可见区域,预测器利用位置 token 预测目标块的表征;目标编码器通过指数移动平均更新。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

从图像中可见区域预测被遮挡区域的表征,学习语义视觉特征。

WHY READ IT

为什么放在这条路线

先理解目标编码器、遮挡策略和表征预测,再进入视频与机器人动力学。

当前阶段从表征到预测 ↗

表征目标如何影响奖励、动力学和控制?

READ WITH A QUESTION

读的时候,留意什么

这是图像自监督表征学习,不应直接等同于带动作条件的机器人未来预测器。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器