CLIPort
CLIPort: What and Where Pathways for Robotic Manipulation
把冻结 CLIP 的语言视觉语义与 Transporter 的空间特征融合,预测语言条件的抓取和放置。
阅读导引03 / Robot Agentic
关注真实机器人系统中的语义落地、可执行程序、空间约束与技能学习。这里的 Agent 是研究对象;资料库本身不运行联网 Agent。
以下是建议阅读顺序。阶段之间有交叉,不代表严格的年代演进或论文引用关系。
语义、三维观测和可供性怎样落地?
从 CLIPort / SayCan 的语义与技能进入 LM-Nav / PaLM-E,再比较 EmbodiedGPT、LEO 的具身表示,以及 RoboPoint 的空间指向接口。
CLIPort: What and Where Pathways for Robotic Manipulation
把冻结 CLIP 的语言视觉语义与 Transporter 的空间特征融合,预测语言条件的抓取和放置。
阅读导引Do As I Can, Not As I Say: Grounding Language in Robotic Affordances
将语言模型的任务判断与机器人技能可供性结合,从技能库中选择下一步行动。
阅读导引LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action
语言模型提取地标,视觉语言模型将地标对应到图像节点,视觉导航模型提供可达性与低层执行。
阅读导引PaLM-E: An Embodied Multimodal Language Model
将连续具身观测接入多模态语言模型,支持机器人相关推理与任务规划。
阅读导引EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought
用视觉语言预训练和具身思维链数据训练规划接口,再将查询到的计划特征用于低层策略学习。
阅读导引An Embodied Generalist Agent in 3D World
将三维感知、语言问答、规划和动作统一成多模态序列任务,通过视觉语言对齐和指令调优训练具身通用接口。
阅读导引RoboPoint: A Vision-Language Model for Spatial Affordance Prediction in Robotics
在程序化场景中生成空间关系和可供点监督,微调视觉语言模型预测满足指令的图像点,再结合深度和规划器执行。
阅读导引高层语言如何变成可执行的约束与接口?
比较 Code as Policies、ProgPrompt 和 SayPlan 的程序与场景图,再看 VoxPoser、MOKA、ReKep 的空间表示;SayTap 将这一问题扩展到四足接触模式。
Code as Policies: Language Model Programs for Embodied Control
让语言模型生成可调用感知与控制 API 的 Python 程序,并递归补全辅助函数以表达空间推理和反馈控制。
阅读导引ProgPrompt: Generating Situated Robot Task Plans using Large Language Models
以类似程序的提示列出可用动作、场景对象和示例,让模型生成含状态断言与恢复步骤的任务计划。
阅读导引SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning
在三维场景图上逐步展开或折叠相关区域,结合传统路径规划与模拟反馈,迭代生成可执行任务计划。
阅读导引VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models
用语言和视觉模型生成三维价值图,将任务语义转化为运动规划条件。
阅读导引MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting
用候选点和网格标记图像,分层提示视觉语言模型分解任务并选择可供点,再交给运动规划器。
阅读导引ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
将关键点之间的时空关系写成约束,用分层优化求解机器人动作。
阅读导引SayTap: Language to Quadrupedal Locomotion
让语言模型生成速度和足接触模式,低层强化学习控制器根据模式与身体状态执行步态。
阅读导引如何定义活动、提供训练环境并检查能力?
通过 ALFRED 与 BEHAVIOR 系列理解任务定义,再比较 ManiSkill2 / RoboCasa 的仿真与数据接口;LIBERO、OpenEQA 分别检查迁移和环境理解,Eureka / RoboGen 则扩展奖励与训练任务。
ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks
在 AI2-THOR 中配对专家操作轨迹、自然语言目标和逐步指令,评估导航与交互结合的长程任务。
阅读导引BEHAVIOR: Benchmark for Everyday Household Activities in Virtual, Interactive, and Ecological Environments
用逻辑谓词定义日常活动,把仿真状态映射为可检查的目标条件,在家庭环境中评估具身交互。
阅读导引BEHAVIOR-1K: A Benchmark for Embodied AI with 1,000 Everyday Activities and Realistic Simulation
扩展活动、场景和物体覆盖,并在 OmniGibson 中加入流体、可变形物体和温度等交互能力。
阅读导引ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills
统一不同本体、刚体与软体操作任务,支持控制接口转换,并用异步渲染和渲染服务器提高视觉采样效率。
阅读导引RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots
构建多样厨房与可交互物体,结合语言模型辅助任务定义、遥操作和 MimicGen 扩充示范,研究通用操作策略。
阅读导引LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning
程序化生成带语言描述、对象布局和逻辑目标的操作任务,用多组任务套件研究知识迁移与持续学习。
阅读导引OpenEQA: Embodied Question Answering in the Era of Foundation Models
区分基于既有记忆的问答和可主动探索的问答,评估对象状态、空间关系与功能常识等环境理解能力。
阅读导引Eureka: Human-Level Reward Design via Coding Large Language Models
用语言模型生成奖励代码,根据训练反馈迭代改进奖励设计。
阅读导引RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation
组织任务生成、场景生成与技能学习,探索生成式仿真的机器人学习流程。
阅读导引反馈怎样改变规划、动作与后续技能?
从 Inner Monologue / LLM-Planner 的反馈重规划进入 RT-H 的语言动作纠错,再对照 HomeRobot、RoboBrain 的执行栈与空间能力,最后比较 Hi Robot、Gemini Robotics 和 ASPIRE。
Inner Monologue: Embodied Reasoning through Planning with Language Models
将成功检测、场景描述和人类反馈写回语言上下文,让模型根据执行结果持续调整计划。
阅读导引LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models
检索相近任务示例并加入当前可见对象,用 LLM 生成高层子目标,交给低层规划器执行并根据观测重规划。
阅读导引RT-H: Action Hierarchies Using Language
先预测“向左移动”等语言动作,再结合任务和观测生成低层动作 token,并用语言干预修正高层动作模型。
阅读导引HomeRobot: Open-Vocabulary Mobile Manipulation
同时提供开放词汇移动操作基准和真机软件栈,用启发式与强化学习技能串联搜索、抓取和放置。
阅读导引RoboBrain: A Unified Brain Model for Robotic Manipulation from Abstract to Concrete
用 ShareRobot 数据训练机器人多模态基础模型,再分别适配可供性与轨迹能力,将抽象任务逐步落到空间输出。
阅读导引Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models
高层模型理解复杂指令与用户反馈,低层 VLA 执行具体动作,把语言交互接进机器人任务。
阅读导引Gemini Robotics: Bringing AI into the Physical World
将机器人动作模型与具身推理模型分开发展,探索语义、空间理解与控制的协作。
阅读导引ASPIRE: Agentic /Skills Discovery for Robotics
利用执行反馈迭代机器人技能程序,并积累可复用技能。
阅读导引