← 视觉 · 语言 · 动作 / 多任务与跨本体多模态提示与对象中心策略VIMA · 原文 Fig. 3 · p.4 ↗
正式发表 / Vision–Language–Action
VIMA
VIMA: Robot Manipulation with Multimodal Prompts
ICML · 2023CCF A
关键框架 FRAMEWORK
用交织的文字与对象图像描述任务,以对象中心 token 表示提示和观测,经交叉注意力预测操作。
- 01编码图文提示
- 02表示对象与交互历史
- 03跨注意力预测操作
THE IDEA
它在解决什么
用交织的文字与对象图像描述任务,以对象中心 token 表示提示和观测,经交叉注意力预测操作。
WHY READ IT
为什么放在这条路线
为纯文本任务指令提供多模态提示对照,明确区分新布局、新组合、新对象与新任务泛化。
READ WITH A QUESTION
读的时候,留意什么
主要验证于仿真桌面操作;多模态提示泛化不能直接当作真实机器人跨本体泛化。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器