← 视觉 · 语言 · 动作 / 多任务与跨本体

正式发表 / Vision–Language–Action

VIMA

VIMA: Robot Manipulation with Multimodal Prompts

ICML · 2023CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
多模态提示与对象中心策略VIMA · 原文 Fig. 3 · p.4 ↗

用交织的文字与对象图像描述任务,以对象中心 token 表示提示和观测,经交叉注意力预测操作。

  1. 01编码图文提示
  2. 02表示对象与交互历史
  3. 03跨注意力预测操作
VIMA多模态提示与对象中心策略
多模态提示与对象中心策略

用交织的文字与对象图像描述任务,以对象中心 token 表示提示和观测,经交叉注意力预测操作。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

用交织的文字与对象图像描述任务,以对象中心 token 表示提示和观测,经交叉注意力预测操作。

WHY READ IT

为什么放在这条路线

为纯文本任务指令提供多模态提示对照,明确区分新布局、新组合、新对象与新任务泛化。

当前阶段多任务与跨本体 ↗

不同数据、本体和视觉语言知识如何共享?

READ WITH A QUESTION

读的时候,留意什么

主要验证于仿真桌面操作;多模态提示泛化不能直接当作真实机器人跨本体泛化。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器