← 视觉 · 语言 · 动作 / 多任务与跨本体

正式发表 / Vision–Language–Action

RoboMamba

RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and Manipulation

NeurIPS · 2024CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
多模态 Mamba 与两阶段训练NeurIPS 2024 · Fig. 2 · p.5 ↗

先对齐视觉与 Mamba 语言空间并进行指令训练,再用轻量策略头将全局语言特征映射为末端位姿。

  1. 01对齐视觉语言
  2. 02训练机器人推理
  3. 03微调末端位姿头
RoboMamba多模态 Mamba 与两阶段训练
多模态 Mamba 与两阶段训练

先对齐视觉与 Mamba 语言空间并进行指令训练,再用轻量策略头将全局语言特征映射为末端位姿。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

先对齐视觉与 Mamba 语言空间并进行指令训练,再用轻量策略头将全局语言特征映射为末端位姿。

WHY READ IT

为什么放在这条路线

补充 Transformer 之外的 VLA 序列骨干;原文将语言推理与位姿预测分阶段训练。

当前阶段多任务与跨本体 ↗

不同数据、本体和视觉语言知识如何共享?

READ WITH A QUESTION

读的时候,留意什么

位姿输出的精度、任务范围和效率取决于原文训练设置,不能把线性序列复杂度直接等同于闭环实时保证。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器