← 机器人智能体 / 语言与环境理解二维三维输入与统一序列任务ICML 2024 · Fig. 1 · p.2 ↗
正式发表 / Robot Agentic
LEO
An Embodied Generalist Agent in 3D World
ICML · 2024CCF A
关键框架 FRAMEWORK
将三维感知、语言问答、规划和动作统一成多模态序列任务,通过视觉语言对齐和指令调优训练具身通用接口。
- 01对齐三维视觉语言
- 02进行具身指令调优
- 03生成文字或动作响应
THE IDEA
它在解决什么
将三维感知、语言问答、规划和动作统一成多模态序列任务,通过视觉语言对齐和指令调优训练具身通用接口。
WHY READ IT
为什么放在这条路线
与 PaLM-E 比较三维对象表示和输出接口;与 VLA 操作策略相比,LEO 覆盖更多三维语言任务。
READ WITH A QUESTION
读的时候,留意什么
原文不同任务使用不同数据和环境;“通用”不代表任意真机、任意动作空间都能直接部署。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器