← 视觉 · 语言 · 动作 / 三维空间与操作

正式发表 / Vision–Language–Action

RVT

RVT: Robotic View Transformer for 3D Object Manipulation

CoRL · 2023

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
虚拟多视图到三维动作RVT · 原文 Fig. 2 · p.3 ↗

把点云从固定虚拟视角重新渲染,多视图 Transformer 预测热力图,再反投影得到三维动作。

  1. 01重建点云并重渲染
  2. 02融合多视图与语言
  3. 03提升热力图到三维
RVT虚拟多视图到三维动作
虚拟多视图到三维动作

把点云从固定虚拟视角重新渲染,多视图 Transformer 预测热力图,再反投影得到三维动作。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

把点云从固定虚拟视角重新渲染,多视图 Transformer 预测热力图,再反投影得到三维动作。

WHY READ IT

为什么放在这条路线

展示三维操作不一定要使用昂贵体素网络,能拆解几何表示与动作预测的关系。

当前阶段三维空间与操作 ↗

空间特征、关键位姿和几何结构如何帮助操作?

READ WITH A QUESTION

读的时候,留意什么

仍依赖 RGB-D、相机几何与关键帧示范;多视图渲染并不消除遮挡和深度误差。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器