← 机器人智能体 / 程序与空间接口高层分解与标记式可供性推理RSS 2024 · Fig. 2 · p.3 ↗
正式发表 / Robot Agentic
MOKA
MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting
RSS · 2024
关键框架 FRAMEWORK
用候选点和网格标记图像,分层提示视觉语言模型分解任务并选择可供点,再交给运动规划器。
- 01分解语言任务
- 02选择关键点和属性
- 03规划并执行动作
THE IDEA
它在解决什么
用候选点和网格标记图像,分层提示视觉语言模型分解任务并选择可供点,再交给运动规划器。
WHY READ IT
为什么放在这条路线
与 VoxPoser 的三维价值图对照,MOKA 通过离散标记和结构化回答形成动作接口;与 RoboPoint 的训练式指向也不同。
READ WITH A QUESTION
读的时候,留意什么
依赖感知、深度和运动规划;提示得到的点只是执行链的一环,不能保证所有开放世界任务成功。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器