← 世界模型 / 从表征到预测视频时空掩码的特征预测V-JEPA · 原文 Fig. 3 · p.4 ↗
正式发表 / World Models
V-JEPA
Revisiting Feature Prediction for Learning Visual Representations from Video
TMLR · 2024
快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗
关键框架 FRAMEWORK
视频被划分为时空 token;编码器处理未遮挡部分,预测器结合 mask token 回归目标编码器的特征。
- 01遮挡视频时空块
- 02编码可见 token
- 03预测隐藏区域表征
THE IDEA
它在解决什么
把遮挡表征预测扩展到视频,在不重建像素的条件下学习时空特征。
WHY READ IT
为什么放在这条路线
连接 I-JEPA 与 V-JEPA 2;观察视频编码器如何成为后续理解和控制系统的组件。
READ WITH A QUESTION
读的时候,留意什么
预训练编码器本身不输出机器人动作。TMLR 2024 依据作者发表列表,不将其误标为 ECCV。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器