← 视觉 · 语言 · 动作 / 多任务与跨本体

正式发表 / Vision–Language–Action

HPT

Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers

NeurIPS · 2024CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
异构输入与共享策略主干NeurIPS 2024 · Fig. 2 · p.3 ↗

把不同机器人的输入通过独立 stem 对齐到固定 token,再共享 Transformer 主干,由适配的动作头输出控制。

  1. 01对齐异构输入
  2. 02预训练共享主干
  3. 03适配下游动作头
HPT异构输入与共享策略主干
异构输入与共享策略主干

把不同机器人的输入通过独立 stem 对齐到固定 token,再共享 Transformer 主干,由适配的动作头输出控制。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

把不同机器人的输入通过独立 stem 对齐到固定 token,再共享 Transformer 主干,由适配的动作头输出控制。

WHY READ IT

为什么放在这条路线

与 CrossFormer 对照不同本体如何共享表示;共享预训练主干不意味着任意新机器人无需适配。

当前阶段多任务与跨本体 ↗

不同数据、本体和视觉语言知识如何共享?

READ WITH A QUESTION

读的时候,留意什么

迁移依赖新本体数据、输入接口和动作头;规模实验不能脱离数据配比理解。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器