← 视觉 · 语言 · 动作 / 多任务与跨本体语言条件视觉 token 与动作 TransformerRT-1 · 原文 Fig. 3 · p.6 ↗
正式发表 / Vision–Language–Action
RT-1
RT-1: Robotics Transformer for Real-World Control at Scale
RSS · 2023
快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗
关键框架 FRAMEWORK
通过语言条件视觉编码、TokenLearner 压缩和 Transformer,把图像历史与任务指令映射为离散机器人动作。
- 01语言调制视觉编码
- 02压缩视觉 token
- 03预测机器人动作
THE IDEA
它在解决什么
通过语言条件视觉编码、TokenLearner 压缩和 Transformer,把图像历史与任务指令映射为离散机器人动作。
WHY READ IT
为什么放在这条路线
补齐 RT-2 之前的规模化机器人模仿学习路径,区分视觉骨干预训练与视觉语言模型迁移。
READ WITH A QUESTION
读的时候,留意什么
语言条件并不等于直接继承互联网推理能力;其动作空间和训练机器人范围有明确边界。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器