← 视觉 · 语言 · 动作 / 数据与经验更新

正式发表 / Vision–Language–Action

UMI

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

RSS · 2024

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
手持教学与机器人执行接口UMI · 原文 Fig. 2 · p.2 ↗

用手持夹爪、鱼眼相机与惯性追踪采集演示,统一观测和相对动作接口,再把策略部署到机器人上。

  1. 01用手持夹爪示范
  2. 02恢复相对动作轨迹
  3. 03对齐时序部署策略
UMI手持教学与机器人执行接口
手持教学与机器人执行接口

用手持夹爪、鱼眼相机与惯性追踪采集演示,统一观测和相对动作接口,再把策略部署到机器人上。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

用手持夹爪、鱼眼相机与惯性追踪采集演示,统一观测和相对动作接口,再把策略部署到机器人上。

WHY READ IT

为什么放在这条路线

提供无需携带整台机器人的数据采集路线,同时把硬件、动作表示和延迟处理放进同一系统。

当前阶段数据与经验更新 ↗

怎样采集、扩充并利用机器人经验?

READ WITH A QUESTION

读的时候,留意什么

机器人迁移依赖视觉惯性定位、可达性过滤与时序对齐;不能只用普通视频替代该采集流程。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器