← 机器人智能体 / 语言与环境理解

正式发表 / Robot Agentic

PaLM-E

PaLM-E: An Embodied Multimodal Language Model

ICML · 2023CCF A
GitHub 未确认Stars —引用 3,399

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
将具身观测插入语言模型PaLM-E · 原文 Fig. 1 · p.1 ↗

图像、状态或三维表示被映射为连续嵌入,与文本 token 交织后送入 PaLM;输出文本可用于问答或低层技能调用。

  1. 01编码感知输入
  2. 02与语言 token 交织
  3. 03生成回答或技能计划
PaLM-E将具身观测插入语言模型
将具身观测插入语言模型

图像、状态或三维表示被映射为连续嵌入,与文本 token 交织后送入 PaLM;输出文本可用于问答或低层技能调用。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

将连续具身观测接入多模态语言模型,支持机器人相关推理与任务规划。

WHY READ IT

为什么放在这条路线

连接多模态表示和具身决策,适合对照 VLA 理解「生成计划」与「输出动作」。

当前阶段语言与环境理解 ↗

语义、三维观测和可供性怎样落地?

READ WITH A QUESTION

读的时候,留意什么

文本计划的可用性依赖下游执行系统,不能直接等同于端到端控制成功。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器