← 机器人智能体 / 程序与空间接口

正式发表 / Robot Agentic

MOKA

MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting

RSS · 2024

快照 2026-10-28 · 引用:Semantic Scholar / 正式版 DOI 记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
高层分解与标记式可供性推理RSS 2024 · Fig. 2 · p.3 ↗

用候选点和网格标记图像,分层提示视觉语言模型分解任务并选择可供点,再交给运动规划器。

  1. 01分解语言任务
  2. 02选择关键点和属性
  3. 03规划并执行动作
MOKA高层分解与标记式可供性推理
高层分解与标记式可供性推理

用候选点和网格标记图像,分层提示视觉语言模型分解任务并选择可供点,再交给运动规划器。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

用候选点和网格标记图像,分层提示视觉语言模型分解任务并选择可供点,再交给运动规划器。

WHY READ IT

为什么放在这条路线

与 VoxPoser 的三维价值图对照,MOKA 通过离散标记和结构化回答形成动作接口;与 RoboPoint 的训练式指向也不同。

当前阶段程序与空间接口 ↗

高层语言如何变成可执行的约束与接口?

READ WITH A QUESTION

读的时候,留意什么

依赖感知、深度和运动规划;提示得到的点只是执行链的一环,不能保证所有开放世界任务成功。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器