← 机器人智能体 / 语言与环境理解

正式发表 / Robot Agentic

RoboPoint

RoboPoint: A Vision-Language Model for Spatial Affordance Prediction in Robotics

CoRL · 2024

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
合成指向监督与机器人执行CoRL 2024 · Fig. 2 · p.4 ↗

在程序化场景中生成空间关系和可供点监督,微调视觉语言模型预测满足指令的图像点,再结合深度和规划器执行。

  1. 01生成空间关系和点标注
  2. 02训练图像指向模型
  3. 03投影目标并规划
RoboPoint合成指向监督与机器人执行
合成指向监督与机器人执行

在程序化场景中生成空间关系和可供点监督,微调视觉语言模型预测满足指令的图像点,再结合深度和规划器执行。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

在程序化场景中生成空间关系和可供点监督,微调视觉语言模型预测满足指令的图像点,再结合深度和规划器执行。

WHY READ IT

为什么放在这条路线

与 MOKA 的标记式提示对照,RoboPoint 通过训练数据学习指向;输出点不等于完整动作轨迹。

当前阶段语言与环境理解 ↗

语义、三维观测和可供性怎样落地?

READ WITH A QUESTION

读的时候,留意什么

三维执行仍需深度、坐标转换和运动规划;空白区域指向正确也不保证抓取或接触成功。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器