← 视觉 · 语言 · 动作 / 多任务与跨本体

正式发表 / Vision–Language–Action

Octo

Octo: An Open-Source Generalist Robot Policy

RSS · 2024

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
可扩展输入输出的通用机器人策略Octo · 原文 Fig. 2 · p.3 ↗

任务与观测分别 token 化,Transformer 的读出 token 接动作头;块状注意力允许微调时增加传感器或动作空间。

  1. 01编码任务与观测
  2. 02块状注意力聚合
  3. 03扩散动作头输出动作块
Octo可扩展输入输出的通用机器人策略
可扩展输入输出的通用机器人策略

任务与观测分别 token 化,Transformer 的读出 token 接动作头;块状注意力允许微调时增加传感器或动作空间。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

构建可适配不同观测与动作空间的开放通用机器人策略。

WHY READ IT

为什么放在这条路线

开放训练和适配路线的重要参照,帮助把模型结构与数据贡献分开。

当前阶段多任务与跨本体 ↗

不同数据、本体和视觉语言知识如何共享?

READ WITH A QUESTION

读的时候,留意什么

通用机器人策略不都以大语言模型为核心,阅读时不要把 Octo 与所有 VLA 等同。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器