← 视觉 · 语言 · 动作 / 三维空间与操作语言条件体素动作预测PerAct · 原文 Fig. 2 · p.4 ↗
正式发表 / Vision–Language–Action
PerAct
Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
CoRL · 2022
关键框架 FRAMEWORK
把 RGB-D 观测变成体素,与语言一起输入 PerceiverIO,预测下一关键帧的离散末端位姿。
- 01融合观测成体素
- 02语言条件注意力
- 03预测关键帧位姿
THE IDEA
它在解决什么
把 RGB-D 观测变成体素,与语言一起输入 PerceiverIO,预测下一关键帧的离散末端位姿。
WHY READ IT
为什么放在这条路线
是语言条件三维操作的代表,可与 RVT 的多视图表示、DP3 的点云表示直接比较。
READ WITH A QUESTION
读的时候,留意什么
关键帧位姿仍由运动规划器执行;离散体素精度、深度质量与演示分布影响实际表现。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器