← 视觉 · 语言 · 动作 / 多任务与跨本体

正式发表 / Vision–Language–Action

OpenVLA

OpenVLA: An Open-Source Vision-Language-Action Model

CoRL · 2024

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
OpenVLA 模型架构OpenVLA · 项目页 ↗

双视觉编码器经 projector 连接语言模型,预测的动作 token 再解码为控制量。

  1. 01DINOv2 + SigLIP
  2. 02Projector + Llama 2
  3. 03动作 token 解码
OpenVLAOpenVLA 模型架构
OpenVLA 模型架构

双视觉编码器经 projector 连接语言模型,预测的动作 token 再解码为控制量。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

将预训练视觉语言模型与机器人动作数据结合,提供开放的 VLA 及适配方案。

WHY READ IT

为什么放在这条路线

开放 VLA 的实用基线,可以对照 RT-2 理解模型、数据和微调选择。

当前阶段多任务与跨本体 ↗

不同数据、本体和视觉语言知识如何共享?

READ WITH A QUESTION

读的时候,留意什么

按 CoRL 2024 会议年份记录;论文集于 2025 年出版。复现时核对动作归一化和相机输入。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器