← 视觉 · 语言 · 动作 / 多任务与跨本体跨本体 Transformer 策略CoRL 2024 · Fig. 2 · p.4 ↗
正式发表 / Vision–Language–Action
CrossFormer
Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation
CoRL · 2024
关键框架 FRAMEWORK
通过可变观测 token 与动作 readout 统一学习操作、导航、运动和飞行等多类本体的数据。
- 01编码可变观测
- 02融合任务条件
- 03读取本体动作
THE IDEA
它在解决什么
通过可变观测 token 与动作 readout 统一学习操作、导航、运动和飞行等多类本体的数据。
WHY READ IT
为什么放在这条路线
与 HPT 的 stem/trunk/head 模块化对照,也补足 Octo 以操作数据为主的跨本体阅读路线。
READ WITH A QUESTION
读的时候,留意什么
跨本体训练并非任意机器人零样本控制;应区分训练覆盖、共同训练收益与新本体适配。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器