← 视觉 · 语言 · 动作 / 多任务与跨本体

正式发表 / Vision–Language–Action

RT-1

RT-1: Robotics Transformer for Real-World Control at Scale

RSS · 2023

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
语言条件视觉 token 与动作 TransformerRT-1 · 原文 Fig. 3 · p.6 ↗

通过语言条件视觉编码、TokenLearner 压缩和 Transformer,把图像历史与任务指令映射为离散机器人动作。

  1. 01语言调制视觉编码
  2. 02压缩视觉 token
  3. 03预测机器人动作
RT-1语言条件视觉 token 与动作 Transformer
语言条件视觉 token 与动作 Transformer

通过语言条件视觉编码、TokenLearner 压缩和 Transformer,把图像历史与任务指令映射为离散机器人动作。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

通过语言条件视觉编码、TokenLearner 压缩和 Transformer,把图像历史与任务指令映射为离散机器人动作。

WHY READ IT

为什么放在这条路线

补齐 RT-2 之前的规模化机器人模仿学习路径,区分视觉骨干预训练与视觉语言模型迁移。

当前阶段多任务与跨本体 ↗

不同数据、本体和视觉语言知识如何共享?

READ WITH A QUESTION

读的时候,留意什么

语言条件并不等于直接继承互联网推理能力;其动作空间和训练机器人范围有明确边界。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器