← 机器人智能体 / 语言与环境理解

正式发表 / Robot Agentic

LEO

An Embodied Generalist Agent in 3D World

ICML · 2024CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
二维三维输入与统一序列任务ICML 2024 · Fig. 1 · p.2 ↗

将三维感知、语言问答、规划和动作统一成多模态序列任务,通过视觉语言对齐和指令调优训练具身通用接口。

  1. 01对齐三维视觉语言
  2. 02进行具身指令调优
  3. 03生成文字或动作响应
LEO二维三维输入与统一序列任务
二维三维输入与统一序列任务

将三维感知、语言问答、规划和动作统一成多模态序列任务,通过视觉语言对齐和指令调优训练具身通用接口。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

将三维感知、语言问答、规划和动作统一成多模态序列任务,通过视觉语言对齐和指令调优训练具身通用接口。

WHY READ IT

为什么放在这条路线

与 PaLM-E 比较三维对象表示和输出接口;与 VLA 操作策略相比,LEO 覆盖更多三维语言任务。

当前阶段语言与环境理解 ↗

语义、三维观测和可供性怎样落地?

READ WITH A QUESTION

读的时候,留意什么

原文不同任务使用不同数据和环境;“通用”不代表任意真机、任意动作空间都能直接部署。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器