← 视觉 · 语言 · 动作 / 多任务与跨本体异构输入与共享策略主干NeurIPS 2024 · Fig. 2 · p.3 ↗
正式发表 / Vision–Language–Action
HPT
Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers
NeurIPS · 2024CCF A
关键框架 FRAMEWORK
把不同机器人的输入通过独立 stem 对齐到固定 token,再共享 Transformer 主干,由适配的动作头输出控制。
- 01对齐异构输入
- 02预训练共享主干
- 03适配下游动作头
THE IDEA
它在解决什么
把不同机器人的输入通过独立 stem 对齐到固定 token,再共享 Transformer 主干,由适配的动作头输出控制。
WHY READ IT
为什么放在这条路线
与 CrossFormer 对照不同本体如何共享表示;共享预训练主干不意味着任意新机器人无需适配。
READ WITH A QUESTION
读的时候,留意什么
迁移依赖新本体数据、输入接口和动作头;规模实验不能脱离数据配比理解。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器