← 机器人智能体 / 语言与环境理解合成指向监督与机器人执行CoRL 2024 · Fig. 2 · p.4 ↗
正式发表 / Robot Agentic
RoboPoint
RoboPoint: A Vision-Language Model for Spatial Affordance Prediction in Robotics
CoRL · 2024
关键框架 FRAMEWORK
在程序化场景中生成空间关系和可供点监督,微调视觉语言模型预测满足指令的图像点,再结合深度和规划器执行。
- 01生成空间关系和点标注
- 02训练图像指向模型
- 03投影目标并规划
THE IDEA
它在解决什么
在程序化场景中生成空间关系和可供点监督,微调视觉语言模型预测满足指令的图像点,再结合深度和规划器执行。
WHY READ IT
为什么放在这条路线
与 MOKA 的标记式提示对照,RoboPoint 通过训练数据学习指向;输出点不等于完整动作轨迹。
READ WITH A QUESTION
读的时候,留意什么
三维执行仍需深度、坐标转换和运动规划;空白区域指向正确也不保证抓取或接触成功。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器