E2C
Embed to Control: A Locally Linear Latent Dynamics Model for Control from Raw Images
把图像编码为适合局部线性控制的潜状态,用重建和转移一致性共同约束表示,再接随机最优控制。
阅读导引THE READING COLLECTION
128 篇精选论文与技术报告,从经典方法到今年的前沿观察。按路线阅读,也按自己的问题查找。
找到 128 篇资料
Embed to Control: A Locally Linear Latent Dynamics Model for Control from Raw Images
把图像编码为适合局部线性控制的潜状态,用重建和转移一致性共同约束表示,再接随机最优控制。
阅读导引Recurrent World Models Facilitate Policy Evolution
用视觉压缩、循环动力学和简单控制器,把策略学习搬进模型想象的环境。
阅读导引SOLAR: Deep Structured Representations for Model-Based Reinforcement Learning
联合学习图像表示、全局动力学先验和代价模型,再从少量当前策略轨迹推断局部线性模型以改进策略。
阅读导引Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models
用概率动力学模型集成表达不确定性,通过粒子轨迹采样评估候选动作,再用 MPC 滚动执行。
阅读导引Learning Latent Dynamics for Planning from Pixels
学习潜空间动力学,在模型中搜索行动序列,再把选中的动作交给环境执行。
阅读导引Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
用序列潜变量模型处理部分可观测性,并在推断的潜状态上训练 soft Q;策略依据观测和动作历史选择动作。
阅读导引Dream to Control: Learning Behaviors by Latent Imagination
在潜空间想象轨迹上训练行为,把对未来的预测用于策略优化。
阅读导引Mastering Atari with Discrete World Models
用离散潜状态构建世界模型,在想象轨迹中学习行为。
阅读导引Mastering Diverse Control Tasks through World Models
通过归一化、损失平衡等稳定训练设计,让同一套配置覆盖多种控制任务。
阅读导引DayDreamer: World Models for Physical Robot Learning
让机器人边交互边更新世界模型,再用想象轨迹改进策略,形成真机学习闭环。
阅读导引DreamerPro: Reconstruction-Free Model-Based Reinforcement Learning with Prototypical Representations
用图像增强视图的原型分配和时序预测替代像素重建,使世界模型聚焦于控制相关的表征。
阅读导引When to Trust Your Model: Model-Based Policy Optimization
从真实回放中的状态出发做短模型 rollout,把合成转移用于 SAC 离策略更新,并与真实环境采样交替进行,限制长程模型误差。
阅读导引Model Based Reinforcement Learning for Atari
学习带离散随机潜变量的帧与奖励预测器,在学得的 Atari 模拟器中训练策略。
阅读导引Mastering Atari Games with Limited Data
在 MuZero 式树搜索中补充时序一致性、价值前缀预测和离策略修正,提升有限交互下的模型学习。
阅读导引EfficientZero V2: Mastering Discrete and Continuous Control with Limited Data
将 EfficientZero 扩展到连续动作和不同观测形式,用采样式 Gumbel 搜索改善动作选择,并处理陈旧回放数据的价值估计。
阅读导引Transformer-Based World Models Are Happy With 100k Interactions
将离散潜状态、动作和奖励分别嵌入序列,用 Transformer-XL 聚合历史,在学到的模型中训练策略。
阅读导引STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning
把每帧压缩为随机潜变量,将观测与动作融合成 token,用 Transformer 学习动力学并生成策略训练经验。
阅读导引Temporal Difference Learning for Model Predictive Control
联合学习任务相关潜动力学、奖励和终端价值,用短时域模型预测加长程价值估计选择动作。
阅读导引TD-MPC2: Scalable, Robust World Models for Continuous Control
以任务相关潜状态做连续控制规划,不要求重建完整观测。
阅读导引Planning with Diffusion for Flexible Behavior Synthesis
把规划写成整条状态–动作轨迹的逐步去噪,用条件约束或奖励梯度引导采样,而非先拟合单步模型再接传统规划器。
阅读导引Is Conditional Generative Modeling all you need for Decision-Making?
利用 classifier-free guidance 生成条件状态轨迹,再由逆动力学从相邻状态恢复动作。
阅读导引Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion
训练因果序列网络处理每个 token 不同的噪声程度,把时间上的预测和扩散中的去噪结合起来。
阅读导引Transformers are Sample-Efficient World Models
把图像压缩成离散 token,自回归预测未来 token、奖励与终止,再在想象轨迹里学习行为。
阅读导引Diffusion for World Modeling: Visual Details Matter in Atari
用扩散模型预测视觉环境,并在生成的环境中训练策略。
阅读导引Learning Universal Policies via Text-Guided Video Generation
先把文字目标变成未来视频计划,再从视频中提取可执行控制动作。
阅读导引RoboDreamer: Learning Compositional World Models for Robot Imagination
把语言任务拆为动作与关系成分,组合各条件的扩散分数,生成机器人完成任务的视频计划。
阅读导引Learning Interactive Real-World Simulators
混合不同来源的视频和动作条件训练视频模拟器,以语言或低层动作控制后续视觉变化。
阅读导引Genie: Generative Interactive Environments
从视频学习生成可交互环境,并用潜在动作控制生成过程。
阅读导引Cosmos World Foundation Model Platform for Physical AI
面向物理 AI 的世界基础模型平台,将视频生成模型、数据处理与后训练联系起来。
阅读导引Emerging Properties in Self-Supervised Vision Transformers
学生匹配动量教师的输出分布,结合中心化和温度锐化,在无人工标签时学习视觉表征。
阅读导引Masked Autoencoders Are Scalable Vision Learners
仅编码可见 patch,用轻量解码器重建缺失像素;预训练后移除解码器,将编码器迁移到下游任务。
阅读导引Real-World Robot Learning with Masked Visual Pre-training
用 MAE 在互联网与第一视角图像上预训练视觉编码器,冻结后为不同机器人任务分别学习控制策略。
阅读导引R3M: A Universal Visual Representation for Robot Manipulation
利用人类视频的时间关系、语言描述与稀疏正则预训练视觉表征,再用于机器人模仿学习。
阅读导引VIP: Towards Universal Visual Reward and Representation via Value-Implicit Pre-Training
从被动人类视频构造隐式价值预训练目标,让当前图像与目标图像的表征距离可用于视觉奖励。
阅读导引Where are we in the search for an Artificial Visual Cortex for Embodied Intelligence?
用 CortexBench 比较预训练视觉编码器在多类具身任务上的迁移,并研究 VC-1 的数据规模与任务适配。
阅读导引DynaMo: In-Domain Dynamics Pretraining for Visuo-Motor Control
联合训练视觉编码器、潜逆动力学和前向模型,用隐含转移信息预测后续表征,突出域内控制相关特征。
阅读导引Self-Supervised Learning From Images With a Joint-Embedding Predictive Architecture
从图像中可见区域预测被遮挡区域的表征,学习语义视觉特征。
阅读导引Revisiting Feature Prediction for Learning Visual Representations from Video
把遮挡表征预测扩展到视频,在不重建像素的条件下学习时空特征。
阅读导引DINO-WM: World Models on Pre-trained Visual Features Enable Zero-shot Planning
预测冻结视觉编码器的特征,在目标图像对应的特征空间里规划动作。
阅读导引LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels
通过预测目标与表征正则化,训练端到端的联合嵌入世界模型。
阅读导引Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations
先将视频模型适配到操作数据,再提取一次前向计算中的预测表征,由 Video Former 聚合后接动作扩散头。
阅读导引FLARE: Robot Learning with Implicit World Modeling
在动作 DiT 内加入未来 token,用中间层特征对齐未来视觉语言表征,与动作生成目标共同训练。
阅读导引DreamGen: Unlocking Generalization in Robot Learning through Video World Models
适配视频世界模型,生成新行为视频,再用逆动力学或潜动作模型补充伪动作,训练视觉控制策略。
阅读导引DiWA: Diffusion Policy Adaptation with World Models
先训练潜动力学、模仿策略和成功分类器,再把动作扩散步骤嵌入世界模型 MDP,在想象轨迹内强化微调。
阅读导引Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets
通过视频和动作各自的扩散时间步,让同一模型支持策略、正向动力学和逆动力学等任务。
阅读导引Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning
将预训练视频模型后训练为兼顾动作生成、未来状态与价值预测的模型。
阅读导引World Action Models are Zero-shot Policies
从视频生成底座出发,联合建模未来画面与机器人动作,用于跨任务策略迁移。
阅读导引LingBot-VA: Causal World Modeling for Robot Control
以因果视频动作建模连接未来预测和机器人控制,关注历史信息与异步执行。
阅读导引Cosmos3: Omnimodal World Models for Physical AI
在统一模型中处理语言、视觉、音频和动作,覆盖策略与正逆动力学等物理交互任务。
阅读导引WorldArena: A Unified Benchmark for Evaluating Perception and Functional Utility of Embodied World Models
从感知质量和具身功能两方面评估世界模型,检查预测对下游任务的作用。
阅读导引Transporter Networks: Rearranging the Visual World for Robotic Manipulation
以抓取点周围的深度特征为查询,在整张场景特征图上做互相关,找到与抓取位置对应的放置位姿。
阅读导引Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
把 RGB-D 观测变成体素,与语言一起输入 PerceiverIO,预测下一关键帧的离散末端位姿。
阅读导引RVT: Robotic View Transformer for 3D Object Manipulation
把点云从固定虚拟视角重新渲染,多视图 Transformer 预测热力图,再反投影得到三维动作。
阅读导引RVT-2: Learning Precise Manipulation from Few Demonstrations
在 RVT 上增加由粗到细的局部重渲染,配合凸上采样和位置条件旋转预测提升精细操作。
阅读导引Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation
把二维视觉特征提升到三维,递归采样并细化候选空间点,以相对注意力定位下一末端关键位姿。
阅读导引3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations
用轻量 MLP 编码稀疏点云,将紧凑三维表征和机器人状态作为扩散动作策略的条件。
阅读导引3D Diffuser Actor: Policy Diffusion with 3D Scene Representations
将场景、机器人状态和轨迹表示为带三维位置的 token,用相对注意力联合去噪下一关键位姿及连接轨迹。
阅读导引Equivariant Diffusion Policy
以等变观测和动作编码器、共享 Temporal U-Net 及等变解码器构建扩散策略,提高旋转变化下的数据效率。
阅读导引EquiBot: SIM(3)-Equivariant Diffusion Policy for Generalizable and Data Efficient Learning
在扩散去噪网络中引入几何等变结构,并结合规范化处理平移和尺度,让动作分布随输入变换。
阅读导引SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Models
向视觉 token 注入自我中心三维位置,以适应数据分布的动作网格编码机器人动作,并支持新机器人适配。
阅读导引Implicit Behavioral Cloning
将模仿策略表示为观测–动作能量函数,训练时区分示范动作与负样本,推理时优化动作以降低能量。
阅读导引Behavior Transformers: Cloning $k$ modes with one stone
先把连续动作分成离散中心与残差,Transformer 同时预测动作类别和偏移,从多峰示范中采样行为。
阅读导引Behavior Generation with Latent Actions
先学习 residual VQ 动作编码器,再训练 Transformer 预测多层代码和修正量,以表达多峰行为。
阅读导引Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
以动作分块策略学习双臂操作,结合低成本硬件与示范数据采集。
阅读导引Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
把动作序列建模为条件扩散过程,以滚动执行的方式完成视觉运动控制。
阅读导引FAST: Efficient Action Tokenization for Vision-Language-Action Models
利用频域压缩把连续动作序列编码为离散 token,改善高频动作的自回归学习。
阅读导引π0: A Vision-Language-Action Flow Model for General Robot Control
把视觉语言能力与 flow matching 动作生成结合,产生连续动作序列。
阅读导引π0.5: A Vision-Language-Action Model with Open-World Generalization
通过数据混合与模型训练设计,研究跨环境的机器人任务泛化。
阅读导引GR00T N1: An Open Foundation Model for Generalist Humanoid Robots
面向人形机器人的基础模型,结合视觉语言理解与动作生成。
阅读导引RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
用统一动作空间组织多机器人数据,以语言与多视角图像条件训练扩散 Transformer,再适配双臂操作。
阅读导引Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success
保留 OpenVLA 预训练基础,通过并行解码、动作分块和连续 L1 回归调整微调方式,改善速度与任务成功率。
阅读导引DexVLA: Vision-Language Model with Plug-In Diffusion Expert for General Robot Control
先独立预训练扩散动作专家,再接入视觉语言模型进行本体对齐与任务学习,用多动作头支持不同机器人。
阅读导引RT-1: Robotics Transformer for Real-World Control at Scale
通过语言条件视觉编码、TokenLearner 压缩和 Transformer,把图像历史与任务指令映射为离散机器人动作。
阅读导引RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
将机器人动作编码为 token,把视觉语言训练与机器人数据训练结合。
阅读导引VIMA: Robot Manipulation with Multimodal Prompts
用交织的文字与对象图像描述任务,以对象中心 token 表示提示和观测,经交叉注意力预测操作。
阅读导引Open X-Embodiment: Robotic Learning Datasets and RT-X Models
汇集不同机器人平台的操作数据,研究跨具身数据训练与迁移。
阅读导引Octo: An Open-Source Generalist Robot Policy
构建可适配不同观测与动作空间的开放通用机器人策略。
阅读导引OpenVLA: An Open-Source Vision-Language-Action Model
将预训练视觉语言模型与机器人动作数据结合,提供开放的 VLA 及适配方案。
阅读导引Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers
把不同机器人的输入通过独立 stem 对齐到固定 token,再共享 Transformer 主干,由适配的动作头输出控制。
阅读导引Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation
通过可变观测 token 与动作 readout 统一学习操作、导航、运动和飞行等多类本体的数据。
阅读导引RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and Manipulation
先对齐视觉与 Mamba 语言空间并进行指令训练,再用轻量策略头将全局语言特征映射为末端位姿。
阅读导引CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models
在生成式多模态模型中先预测子目标图像,再用完整注意力生成短动作序列,执行后观察并继续。
阅读导引Learning to Act Anywhere with Task-centric Latent Actions
先在表征空间分离任务无关和任务相关变化,再以任务中心潜动作监督通用策略,最后训练动作解码接口。
阅读导引ROBOTURK: A Crowdsourcing Platform for Robotic Skill Learning through Imitation
用手机进行连续位姿遥操作,浏览器回传画面,云端分配会话并保存成功示范,降低众包采集门槛。
阅读导引RoboNet: Large-Scale Multi-Robot Learning
组织跨机构、多机器人和多视角的交互数据,用视觉预测控制和逆模型检验跨域学习。
阅读导引What Matters in Learning from Offline Human Demonstrations for Robot Manipulation
系统研究人类示范的时序、质量和多样性对离线策略学习的影响,比较行为克隆与批量强化学习方法。
阅读导引BridgeData V2: A Dataset for Robot Learning at Scale
提供覆盖不同环境、物体和技能的机器人操作轨迹,结合语言标注、示范与自主采集用于多任务学习。
阅读导引MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations
把人类示范分成对象中心子任务,将片段按新场景的对象位姿变换并执行,保留成功轨迹扩展训练数据。
阅读导引MimicPlay: Long-Horizon Imitation Learning by Watching Human Play
用便宜的人类 play 数据训练高层潜计划空间,再用机器人遥操作示范训练低层控制器,实现长时程模仿。
阅读导引DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
用可移动的标准化 Franka 平台、多相机与 VR 遥操作,在不同真实场景分布式采集机器人操作数据。
阅读导引Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
用手持夹爪、鱼眼相机与惯性追踪采集演示,统一观测和相对动作接口,再把策略部署到机器人上。
阅读导引Mobile ALOHA: Learning Bimanual Mobile Manipulation using Low-Cost Whole-Body Teleoperation
在 ALOHA 双臂系统上加入移动底座和全身遥操作,并用静态 ALOHA 数据共同训练移动操作策略。
阅读导引GraspVLA: a Grasping Foundation Model Pre-trained on Billion-scale Synthetic Action Data
用大规模合成抓取轨迹共同训练视觉语言骨干与动作专家,先定位物体,再预测抓取位姿和连续动作。
阅读导引ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy
先通过离线示范和校准 Q 学习初始化一致性策略,再使用在线交互、回放和人工干预继续强化微调。
阅读导引π*0.6: a VLA that Learns from Experience
将机器人执行经验用于改进策略,把模型学习延伸到交互结果。
阅读导引π0.7: A Steerable Model with Emergent Capabilities
研究利用更丰富的条件与引导,让机器人组合已有能力解决任务。
阅读导引CLIPort: What and Where Pathways for Robotic Manipulation
把冻结 CLIP 的语言视觉语义与 Transporter 的空间特征融合,预测语言条件的抓取和放置。
阅读导引Do As I Can, Not As I Say: Grounding Language in Robotic Affordances
将语言模型的任务判断与机器人技能可供性结合,从技能库中选择下一步行动。
阅读导引LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action
语言模型提取地标,视觉语言模型将地标对应到图像节点,视觉导航模型提供可达性与低层执行。
阅读导引PaLM-E: An Embodied Multimodal Language Model
将连续具身观测接入多模态语言模型,支持机器人相关推理与任务规划。
阅读导引EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought
用视觉语言预训练和具身思维链数据训练规划接口,再将查询到的计划特征用于低层策略学习。
阅读导引An Embodied Generalist Agent in 3D World
将三维感知、语言问答、规划和动作统一成多模态序列任务,通过视觉语言对齐和指令调优训练具身通用接口。
阅读导引RoboPoint: A Vision-Language Model for Spatial Affordance Prediction in Robotics
在程序化场景中生成空间关系和可供点监督,微调视觉语言模型预测满足指令的图像点,再结合深度和规划器执行。
阅读导引Code as Policies: Language Model Programs for Embodied Control
让语言模型生成可调用感知与控制 API 的 Python 程序,并递归补全辅助函数以表达空间推理和反馈控制。
阅读导引ProgPrompt: Generating Situated Robot Task Plans using Large Language Models
以类似程序的提示列出可用动作、场景对象和示例,让模型生成含状态断言与恢复步骤的任务计划。
阅读导引SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning
在三维场景图上逐步展开或折叠相关区域,结合传统路径规划与模拟反馈,迭代生成可执行任务计划。
阅读导引VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models
用语言和视觉模型生成三维价值图,将任务语义转化为运动规划条件。
阅读导引MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting
用候选点和网格标记图像,分层提示视觉语言模型分解任务并选择可供点,再交给运动规划器。
阅读导引ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
将关键点之间的时空关系写成约束,用分层优化求解机器人动作。
阅读导引SayTap: Language to Quadrupedal Locomotion
让语言模型生成速度和足接触模式,低层强化学习控制器根据模式与身体状态执行步态。
阅读导引ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks
在 AI2-THOR 中配对专家操作轨迹、自然语言目标和逐步指令,评估导航与交互结合的长程任务。
阅读导引BEHAVIOR: Benchmark for Everyday Household Activities in Virtual, Interactive, and Ecological Environments
用逻辑谓词定义日常活动,把仿真状态映射为可检查的目标条件,在家庭环境中评估具身交互。
阅读导引BEHAVIOR-1K: A Benchmark for Embodied AI with 1,000 Everyday Activities and Realistic Simulation
扩展活动、场景和物体覆盖,并在 OmniGibson 中加入流体、可变形物体和温度等交互能力。
阅读导引ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills
统一不同本体、刚体与软体操作任务,支持控制接口转换,并用异步渲染和渲染服务器提高视觉采样效率。
阅读导引RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots
构建多样厨房与可交互物体,结合语言模型辅助任务定义、遥操作和 MimicGen 扩充示范,研究通用操作策略。
阅读导引LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning
程序化生成带语言描述、对象布局和逻辑目标的操作任务,用多组任务套件研究知识迁移与持续学习。
阅读导引OpenEQA: Embodied Question Answering in the Era of Foundation Models
区分基于既有记忆的问答和可主动探索的问答,评估对象状态、空间关系与功能常识等环境理解能力。
阅读导引Eureka: Human-Level Reward Design via Coding Large Language Models
用语言模型生成奖励代码,根据训练反馈迭代改进奖励设计。
阅读导引RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation
组织任务生成、场景生成与技能学习,探索生成式仿真的机器人学习流程。
阅读导引Inner Monologue: Embodied Reasoning through Planning with Language Models
将成功检测、场景描述和人类反馈写回语言上下文,让模型根据执行结果持续调整计划。
阅读导引LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models
检索相近任务示例并加入当前可见对象,用 LLM 生成高层子目标,交给低层规划器执行并根据观测重规划。
阅读导引RT-H: Action Hierarchies Using Language
先预测“向左移动”等语言动作,再结合任务和观测生成低层动作 token,并用语言干预修正高层动作模型。
阅读导引HomeRobot: Open-Vocabulary Mobile Manipulation
同时提供开放词汇移动操作基准和真机软件栈,用启发式与强化学习技能串联搜索、抓取和放置。
阅读导引RoboBrain: A Unified Brain Model for Robotic Manipulation from Abstract to Concrete
用 ShareRobot 数据训练机器人多模态基础模型,再分别适配可供性与轨迹能力,将抽象任务逐步落到空间输出。
阅读导引Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models
高层模型理解复杂指令与用户反馈,低层 VLA 执行具体动作,把语言交互接进机器人任务。
阅读导引Gemini Robotics: Bringing AI into the Physical World
将机器人动作模型与具身推理模型分开发展,探索语义、空间理解与控制的协作。
阅读导引