← 视觉 · 语言 · 动作 / 多任务与跨本体

正式发表 / Vision–Language–Action

RT-2

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

CoRL · 2023
GitHub 未确认Stars —引用 4,943

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
视觉语言与动作的联合训练RT-2 · 项目页 ↗

将动作表示为 token,与视觉语言任务共同训练,并用于闭环机器人控制。

  1. 01视觉语言预训练
  2. 02动作转为 token
  3. 03闭环机器人控制
RT-2视觉语言与动作的联合训练
视觉语言与动作的联合训练

将动作表示为 token,与视觉语言任务共同训练,并用于闭环机器人控制。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

将机器人动作编码为 token,把视觉语言训练与机器人数据训练结合。

WHY READ IT

为什么放在这条路线

建立 VLA 的基础概念:如何利用互联网语义知识产生可执行动作。

当前阶段多任务与跨本体 ↗

不同数据、本体和视觉语言知识如何共享?

READ WITH A QUESTION

读的时候,留意什么

语义泛化和运动技能泛化并不相同;分析测试任务是否仍依赖已有动作能力。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器