← 视觉 · 语言 · 动作 / 三维空间与操作

正式发表 / Vision–Language–Action

PerAct

Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation

CoRL · 2022

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
语言条件体素动作预测PerAct · 原文 Fig. 2 · p.4 ↗

把 RGB-D 观测变成体素,与语言一起输入 PerceiverIO,预测下一关键帧的离散末端位姿。

  1. 01融合观测成体素
  2. 02语言条件注意力
  3. 03预测关键帧位姿
PerAct语言条件体素动作预测
语言条件体素动作预测

把 RGB-D 观测变成体素,与语言一起输入 PerceiverIO,预测下一关键帧的离散末端位姿。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

把 RGB-D 观测变成体素,与语言一起输入 PerceiverIO,预测下一关键帧的离散末端位姿。

WHY READ IT

为什么放在这条路线

是语言条件三维操作的代表,可与 RVT 的多视图表示、DP3 的点云表示直接比较。

当前阶段三维空间与操作 ↗

空间特征、关键位姿和几何结构如何帮助操作?

READ WITH A QUESTION

读的时候,留意什么

关键帧位姿仍由运动规划器执行;离散体素精度、深度质量与演示分布影响实际表现。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器