← 世界模型 / 从表征到预测

正式发表 / World Models

V-JEPA

Revisiting Feature Prediction for Learning Visual Representations from Video

TMLR · 2024

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
视频时空掩码的特征预测V-JEPA · 原文 Fig. 3 · p.4 ↗

视频被划分为时空 token;编码器处理未遮挡部分,预测器结合 mask token 回归目标编码器的特征。

  1. 01遮挡视频时空块
  2. 02编码可见 token
  3. 03预测隐藏区域表征
V-JEPA视频时空掩码的特征预测
视频时空掩码的特征预测

视频被划分为时空 token;编码器处理未遮挡部分,预测器结合 mask token 回归目标编码器的特征。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

把遮挡表征预测扩展到视频,在不重建像素的条件下学习时空特征。

WHY READ IT

为什么放在这条路线

连接 I-JEPA 与 V-JEPA 2;观察视频编码器如何成为后续理解和控制系统的组件。

当前阶段从表征到预测 ↗

表征目标如何影响奖励、动力学和控制?

READ WITH A QUESTION

读的时候,留意什么

预训练编码器本身不输出机器人动作。TMLR 2024 依据作者发表列表,不将其误标为 ECCV。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器