← 视觉 · 语言 · 动作 / 三维空间与操作

正式发表 / Vision–Language–Action

Act3D

Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation

CoRL · 2023

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
三维特征场与关键位姿预测CoRL 2023 · Fig. 1 · p.2 ↗

把二维视觉特征提升到三维,递归采样并细化候选空间点,以相对注意力定位下一末端关键位姿。

  1. 01提升多视角特征到三维
  2. 02粗到细选择空间点
  3. 03预测关键位姿并规划
Act3D三维特征场与关键位姿预测
三维特征场与关键位姿预测

把二维视觉特征提升到三维,递归采样并细化候选空间点,以相对注意力定位下一末端关键位姿。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

把二维视觉特征提升到三维,递归采样并细化候选空间点,以相对注意力定位下一末端关键位姿。

WHY READ IT

为什么放在这条路线

相对 PerAct 的体素动作分类,Act3D 使用连续空间候选点和特征场;与轨迹扩散模型区分,它仍接运动规划器。

当前阶段三维空间与操作 ↗

空间特征、关键位姿和几何结构如何帮助操作?

READ WITH A QUESTION

读的时候,留意什么

依赖深度、标定、关键位姿监督和规划接口;单次关键位姿预测不能替代全部接触过程控制。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器