← 机器人智能体 / 语言与环境理解将具身观测插入语言模型PaLM-E · 原文 Fig. 1 · p.1 ↗
正式发表 / Robot Agentic
PaLM-E
PaLM-E: An Embodied Multimodal Language Model
ICML · 2023CCF A
关键框架 FRAMEWORK
图像、状态或三维表示被映射为连续嵌入,与文本 token 交织后送入 PaLM;输出文本可用于问答或低层技能调用。
- 01编码感知输入
- 02与语言 token 交织
- 03生成回答或技能计划
THE IDEA
它在解决什么
将连续具身观测接入多模态语言模型,支持机器人相关推理与任务规划。
WHY READ IT
为什么放在这条路线
连接多模态表示和具身决策,适合对照 VLA 理解「生成计划」与「输出动作」。
READ WITH A QUESTION
读的时候,留意什么
文本计划的可用性依赖下游执行系统,不能直接等同于端到端控制成功。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器