Transporter Networks
Transporter Networks: Rearranging the Visual World for Robotic Manipulation
以抓取点周围的深度特征为查询,在整张场景特征图上做互相关,找到与抓取位置对应的放置位姿。
阅读导引02 / Vision–Language–Action
以动作表示为起点,串起机器人数据、视觉语言预训练、连续动作生成和跨场景泛化。基础策略也保留在路线中,作为理解 VLA 的参照。
以下是建议阅读顺序。阶段之间有交叉,不代表严格的年代演进或论文引用关系。
空间特征、关键位姿和几何结构如何帮助操作?
从 Transporter / PerAct 到 RVT / Act3D,比较空间动作定位;再看 DP3 / 3D Diffuser Actor 的三维条件,Equivariant DP / EquiBot 的变换保证,以及 SpatialVLA 的空间 token。
Transporter Networks: Rearranging the Visual World for Robotic Manipulation
以抓取点周围的深度特征为查询,在整张场景特征图上做互相关,找到与抓取位置对应的放置位姿。
阅读导引Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
把 RGB-D 观测变成体素,与语言一起输入 PerceiverIO,预测下一关键帧的离散末端位姿。
阅读导引RVT: Robotic View Transformer for 3D Object Manipulation
把点云从固定虚拟视角重新渲染,多视图 Transformer 预测热力图,再反投影得到三维动作。
阅读导引RVT-2: Learning Precise Manipulation from Few Demonstrations
在 RVT 上增加由粗到细的局部重渲染,配合凸上采样和位置条件旋转预测提升精细操作。
阅读导引Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation
把二维视觉特征提升到三维,递归采样并细化候选空间点,以相对注意力定位下一末端关键位姿。
阅读导引3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations
用轻量 MLP 编码稀疏点云,将紧凑三维表征和机器人状态作为扩散动作策略的条件。
阅读导引3D Diffuser Actor: Policy Diffusion with 3D Scene Representations
将场景、机器人状态和轨迹表示为带三维位置的 token,用相对注意力联合去噪下一关键位姿及连接轨迹。
阅读导引Equivariant Diffusion Policy
以等变观测和动作编码器、共享 Temporal U-Net 及等变解码器构建扩散策略,提高旋转变化下的数据效率。
阅读导引EquiBot: SIM(3)-Equivariant Diffusion Policy for Generalizable and Data Efficient Learning
在扩散去噪网络中引入几何等变结构,并结合规范化处理平移和尺度,让动作分布随输入变换。
阅读导引SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Models
向视觉 token 注入自我中心三维位置,以适应数据分布的动作网格编码机器人动作,并支持新机器人适配。
阅读导引能量、量化、扩散与流匹配如何生成动作?
从 IBC、BeT / VQ-BeT 进入多峰行为表示,再比较 ACT、Diffusion Policy 与 FAST;接着读 π0 系列、GR00T、RDT、OpenVLA-OFT 与 DexVLA,关注动作块、训练接口和推理代价。
Implicit Behavioral Cloning
将模仿策略表示为观测–动作能量函数,训练时区分示范动作与负样本,推理时优化动作以降低能量。
阅读导引Behavior Transformers: Cloning $k$ modes with one stone
先把连续动作分成离散中心与残差,Transformer 同时预测动作类别和偏移,从多峰示范中采样行为。
阅读导引Behavior Generation with Latent Actions
先学习 residual VQ 动作编码器,再训练 Transformer 预测多层代码和修正量,以表达多峰行为。
阅读导引Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
以动作分块策略学习双臂操作,结合低成本硬件与示范数据采集。
阅读导引Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
把动作序列建模为条件扩散过程,以滚动执行的方式完成视觉运动控制。
阅读导引FAST: Efficient Action Tokenization for Vision-Language-Action Models
利用频域压缩把连续动作序列编码为离散 token,改善高频动作的自回归学习。
阅读导引π0: A Vision-Language-Action Flow Model for General Robot Control
把视觉语言能力与 flow matching 动作生成结合,产生连续动作序列。
阅读导引π0.5: A Vision-Language-Action Model with Open-World Generalization
通过数据混合与模型训练设计,研究跨环境的机器人任务泛化。
阅读导引GR00T N1: An Open Foundation Model for Generalist Humanoid Robots
面向人形机器人的基础模型,结合视觉语言理解与动作生成。
阅读导引RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
用统一动作空间组织多机器人数据,以语言与多视角图像条件训练扩散 Transformer,再适配双臂操作。
阅读导引Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success
保留 OpenVLA 预训练基础,通过并行解码、动作分块和连续 L1 回归调整微调方式,改善速度与任务成功率。
阅读导引DexVLA: Vision-Language Model with Plug-In Diffusion Expert for General Robot Control
先独立预训练扩散动作专家,再接入视觉语言模型进行本体对齐与任务学习,用多动作头支持不同机器人。
阅读导引不同数据、本体和视觉语言知识如何共享?
沿 RT 系列、VIMA、Open X、Octo 和 OpenVLA 理解数据与预训练接口,再对照 HPT / CrossFormer、RoboMamba,以及 CoT-VLA / UniVLA 的视觉子目标和潜动作。
RT-1: Robotics Transformer for Real-World Control at Scale
通过语言条件视觉编码、TokenLearner 压缩和 Transformer,把图像历史与任务指令映射为离散机器人动作。
阅读导引RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
将机器人动作编码为 token,把视觉语言训练与机器人数据训练结合。
阅读导引VIMA: Robot Manipulation with Multimodal Prompts
用交织的文字与对象图像描述任务,以对象中心 token 表示提示和观测,经交叉注意力预测操作。
阅读导引Open X-Embodiment: Robotic Learning Datasets and RT-X Models
汇集不同机器人平台的操作数据,研究跨具身数据训练与迁移。
阅读导引Octo: An Open-Source Generalist Robot Policy
构建可适配不同观测与动作空间的开放通用机器人策略。
阅读导引OpenVLA: An Open-Source Vision-Language-Action Model
将预训练视觉语言模型与机器人动作数据结合,提供开放的 VLA 及适配方案。
阅读导引Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers
把不同机器人的输入通过独立 stem 对齐到固定 token,再共享 Transformer 主干,由适配的动作头输出控制。
阅读导引Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation
通过可变观测 token 与动作 readout 统一学习操作、导航、运动和飞行等多类本体的数据。
阅读导引RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and Manipulation
先对齐视觉与 Mamba 语言空间并进行指令训练,再用轻量策略头将全局语言特征映射为末端位姿。
阅读导引CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models
在生成式多模态模型中先预测子目标图像,再用完整注意力生成短动作序列,执行后观察并继续。
阅读导引Learning to Act Anywhere with Task-centric Latent Actions
先在表征空间分离任务无关和任务相关变化,再以任务中心潜动作监督通用策略,最后训练动作解码接口。
阅读导引怎样采集、扩充并利用机器人经验?
先看 ROBOTURK、RoboNet、robomimic 和 BridgeData 的数据问题;比较 MimicGen / MimicPlay、DROID / UMI / Mobile ALOHA 的扩充与采集,再读 GraspVLA、ConRFT 和 π 系列的经验更新。
ROBOTURK: A Crowdsourcing Platform for Robotic Skill Learning through Imitation
用手机进行连续位姿遥操作,浏览器回传画面,云端分配会话并保存成功示范,降低众包采集门槛。
阅读导引RoboNet: Large-Scale Multi-Robot Learning
组织跨机构、多机器人和多视角的交互数据,用视觉预测控制和逆模型检验跨域学习。
阅读导引What Matters in Learning from Offline Human Demonstrations for Robot Manipulation
系统研究人类示范的时序、质量和多样性对离线策略学习的影响,比较行为克隆与批量强化学习方法。
阅读导引BridgeData V2: A Dataset for Robot Learning at Scale
提供覆盖不同环境、物体和技能的机器人操作轨迹,结合语言标注、示范与自主采集用于多任务学习。
阅读导引MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations
把人类示范分成对象中心子任务,将片段按新场景的对象位姿变换并执行,保留成功轨迹扩展训练数据。
阅读导引MimicPlay: Long-Horizon Imitation Learning by Watching Human Play
用便宜的人类 play 数据训练高层潜计划空间,再用机器人遥操作示范训练低层控制器,实现长时程模仿。
阅读导引DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
用可移动的标准化 Franka 平台、多相机与 VR 遥操作,在不同真实场景分布式采集机器人操作数据。
阅读导引Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
用手持夹爪、鱼眼相机与惯性追踪采集演示,统一观测和相对动作接口,再把策略部署到机器人上。
阅读导引Mobile ALOHA: Learning Bimanual Mobile Manipulation using Low-Cost Whole-Body Teleoperation
在 ALOHA 双臂系统上加入移动底座和全身遥操作,并用静态 ALOHA 数据共同训练移动操作策略。
阅读导引GraspVLA: a Grasping Foundation Model Pre-trained on Billion-scale Synthetic Action Data
用大规模合成抓取轨迹共同训练视觉语言骨干与动作专家,先定位物体,再预测抓取位姿和连续动作。
阅读导引ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy
先通过离线示范和校准 Q 学习初始化一致性策略,再使用在线交互、回放和人工干预继续强化微调。
阅读导引π*0.6: a VLA that Learns from Experience
将机器人执行经验用于改进策略,把模型学习延伸到交互结果。
阅读导引π0.7: A Steerable Model with Emergent Capabilities
研究利用更丰富的条件与引导,让机器人组合已有能力解决任务。
阅读导引