← 视觉 · 语言 · 动作 / 多任务与跨本体多模态 Mamba 与两阶段训练NeurIPS 2024 · Fig. 2 · p.5 ↗
正式发表 / Vision–Language–Action
RoboMamba
RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and Manipulation
NeurIPS · 2024CCF A
关键框架 FRAMEWORK
先对齐视觉与 Mamba 语言空间并进行指令训练,再用轻量策略头将全局语言特征映射为末端位姿。
- 01对齐视觉语言
- 02训练机器人推理
- 03微调末端位姿头
THE IDEA
它在解决什么
先对齐视觉与 Mamba 语言空间并进行指令训练,再用轻量策略头将全局语言特征映射为末端位姿。
WHY READ IT
为什么放在这条路线
补充 Transformer 之外的 VLA 序列骨干;原文将语言推理与位姿预测分阶段训练。
READ WITH A QUESTION
读的时候,留意什么
位姿输出的精度、任务范围和效率取决于原文训练设置,不能把线性序列复杂度直接等同于闭环实时保证。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器