← 视觉 · 语言 · 动作 / 多任务与跨本体

正式发表 / Vision–Language–Action

CrossFormer

Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation

CoRL · 2024

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
跨本体 Transformer 策略CoRL 2024 · Fig. 2 · p.4 ↗

通过可变观测 token 与动作 readout 统一学习操作、导航、运动和飞行等多类本体的数据。

  1. 01编码可变观测
  2. 02融合任务条件
  3. 03读取本体动作
CrossFormer跨本体 Transformer 策略
跨本体 Transformer 策略

通过可变观测 token 与动作 readout 统一学习操作、导航、运动和飞行等多类本体的数据。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

通过可变观测 token 与动作 readout 统一学习操作、导航、运动和飞行等多类本体的数据。

WHY READ IT

为什么放在这条路线

与 HPT 的 stem/trunk/head 模块化对照,也补足 Octo 以操作数据为主的跨本体阅读路线。

当前阶段多任务与跨本体 ↗

不同数据、本体和视觉语言知识如何共享?

READ WITH A QUESTION

读的时候,留意什么

跨本体训练并非任意机器人零样本控制;应区分训练覆盖、共同训练收益与新本体适配。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器