← 视觉 · 语言 · 动作 / 多任务与跨本体视觉语言与动作的联合训练RT-2 · 项目页 ↗
正式发表 / Vision–Language–Action
RT-2
RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
CoRL · 2023
关键框架 FRAMEWORK
将动作表示为 token,与视觉语言任务共同训练,并用于闭环机器人控制。
- 01视觉语言预训练
- 02动作转为 token
- 03闭环机器人控制
THE IDEA
它在解决什么
将机器人动作编码为 token,把视觉语言训练与机器人数据训练结合。
WHY READ IT
为什么放在这条路线
建立 VLA 的基础概念:如何利用互联网语义知识产生可执行动作。
READ WITH A QUESTION
读的时候,留意什么
语义泛化和运动技能泛化并不相同;分析测试任务是否仍依赖已有动作能力。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器