← 机器人智能体 / 程序与空间接口关系关键点约束与分层优化ReKep · 项目页 ↗
正式发表 / Robot Agentic
ReKep
ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
CoRL · 2024
关键框架 FRAMEWORK
从视觉提取关键点,由视觉语言模型生成约束函数,分层优化求解子目标与动作。
- 01提取三维关键点
- 02生成关系约束
- 03分层优化执行
THE IDEA
它在解决什么
将关键点之间的时空关系写成约束,用分层优化求解机器人动作。
WHY READ IT
为什么放在这条路线
提供紧凑、可解释的任务表示,将语义推理连接到几何执行。
READ WITH A QUESTION
读的时候,留意什么
约束表达正确不代表感知正确;关注关键点跟踪和在线重规划的边界。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器