← 机器人智能体 / 语言与环境理解地标落地与拓扑导航LM-Nav · 原文 Fig. 3 · p.4 ↗
正式发表 / Robot Agentic
LM-Nav
LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action
CoRL · 2022
关键框架 FRAMEWORK
语言模型提取地标,视觉语言模型将地标对应到图像节点,视觉导航模型提供可达性与低层执行。
- 01从指令提取地标
- 02在观测图中匹配
- 03规划并执行导航
THE IDEA
它在解决什么
语言模型提取地标,视觉语言模型将地标对应到图像节点,视觉导航模型提供可达性与低层执行。
WHY READ IT
为什么放在这条路线
把语言落地从机械臂扩展到真实导航,展示不同预训练模块通过拓扑图协同的方式。
READ WITH A QUESTION
读的时候,留意什么
需要目标环境的观测图和可执行导航模型;零样本语言组合不意味着无需环境建图。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器