E2C
Embed to Control: A Locally Linear Latent Dynamics Model for Control from Raw Images
把图像编码为适合局部线性控制的潜状态,用重建和转移一致性共同约束表示,再接随机最优控制。
阅读导引01 / World Models
从潜空间动力学到视频与表征预测,最后回到同一个问题:模型想象的未来,能否帮助机器人做出更好的行动?
以下是建议阅读顺序。阶段之间有交叉,不代表严格的年代演进或论文引用关系。
模型用于局部优化、树搜索,还是策略学习?
从 E2C / SOLAR 的局部结构进入 PETS 与 PlaNet,再比较 SLAC、Dreamer、MBPO 的模型用途;通过 EfficientZero、TWM / STORM 和 TD-MPC 系列区分树搜索、想象经验与在线 MPC。
Embed to Control: A Locally Linear Latent Dynamics Model for Control from Raw Images
把图像编码为适合局部线性控制的潜状态,用重建和转移一致性共同约束表示,再接随机最优控制。
阅读导引Recurrent World Models Facilitate Policy Evolution
用视觉压缩、循环动力学和简单控制器,把策略学习搬进模型想象的环境。
阅读导引SOLAR: Deep Structured Representations for Model-Based Reinforcement Learning
联合学习图像表示、全局动力学先验和代价模型,再从少量当前策略轨迹推断局部线性模型以改进策略。
阅读导引Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models
用概率动力学模型集成表达不确定性,通过粒子轨迹采样评估候选动作,再用 MPC 滚动执行。
阅读导引Learning Latent Dynamics for Planning from Pixels
学习潜空间动力学,在模型中搜索行动序列,再把选中的动作交给环境执行。
阅读导引Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
用序列潜变量模型处理部分可观测性,并在推断的潜状态上训练 soft Q;策略依据观测和动作历史选择动作。
阅读导引Dream to Control: Learning Behaviors by Latent Imagination
在潜空间想象轨迹上训练行为,把对未来的预测用于策略优化。
阅读导引Mastering Atari with Discrete World Models
用离散潜状态构建世界模型,在想象轨迹中学习行为。
阅读导引Mastering Diverse Control Tasks through World Models
通过归一化、损失平衡等稳定训练设计,让同一套配置覆盖多种控制任务。
阅读导引DayDreamer: World Models for Physical Robot Learning
让机器人边交互边更新世界模型,再用想象轨迹改进策略,形成真机学习闭环。
阅读导引DreamerPro: Reconstruction-Free Model-Based Reinforcement Learning with Prototypical Representations
用图像增强视图的原型分配和时序预测替代像素重建,使世界模型聚焦于控制相关的表征。
阅读导引When to Trust Your Model: Model-Based Policy Optimization
从真实回放中的状态出发做短模型 rollout,把合成转移用于 SAC 离策略更新,并与真实环境采样交替进行,限制长程模型误差。
阅读导引Model Based Reinforcement Learning for Atari
学习带离散随机潜变量的帧与奖励预测器,在学得的 Atari 模拟器中训练策略。
阅读导引Mastering Atari Games with Limited Data
在 MuZero 式树搜索中补充时序一致性、价值前缀预测和离策略修正,提升有限交互下的模型学习。
阅读导引EfficientZero V2: Mastering Discrete and Continuous Control with Limited Data
将 EfficientZero 扩展到连续动作和不同观测形式,用采样式 Gumbel 搜索改善动作选择,并处理陈旧回放数据的价值估计。
阅读导引Transformer-Based World Models Are Happy With 100k Interactions
将离散潜状态、动作和奖励分别嵌入序列,用 Transformer-XL 聚合历史,在学到的模型中训练策略。
阅读导引STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning
把每帧压缩为随机潜变量,将观测与动作融合成 token,用 Transformer 学习动力学并生成策略训练经验。
阅读导引Temporal Difference Learning for Model Predictive Control
联合学习任务相关潜动力学、奖励和终端价值,用短时域模型预测加长程价值估计选择动作。
阅读导引TD-MPC2: Scalable, Robust World Models for Continuous Control
以任务相关潜状态做连续控制规划,不要求重建完整观测。
阅读导引轨迹去噪、视频计划与可交互世界怎样连接?
先从 Diffuser / Decision Diffuser 理解生成式规划,再看 Diffusion Forcing 的时间与噪声调度;沿 IRIS / DIAMOND、UniPi / RoboDreamer、UniSim / Genie / Cosmos 比较条件、输出和控制接口。
Planning with Diffusion for Flexible Behavior Synthesis
把规划写成整条状态–动作轨迹的逐步去噪,用条件约束或奖励梯度引导采样,而非先拟合单步模型再接传统规划器。
阅读导引Is Conditional Generative Modeling all you need for Decision-Making?
利用 classifier-free guidance 生成条件状态轨迹,再由逆动力学从相邻状态恢复动作。
阅读导引Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion
训练因果序列网络处理每个 token 不同的噪声程度,把时间上的预测和扩散中的去噪结合起来。
阅读导引Transformers are Sample-Efficient World Models
把图像压缩成离散 token,自回归预测未来 token、奖励与终止,再在想象轨迹里学习行为。
阅读导引Diffusion for World Modeling: Visual Details Matter in Atari
用扩散模型预测视觉环境,并在生成的环境中训练策略。
阅读导引Learning Universal Policies via Text-Guided Video Generation
先把文字目标变成未来视频计划,再从视频中提取可执行控制动作。
阅读导引RoboDreamer: Learning Compositional World Models for Robot Imagination
把语言任务拆为动作与关系成分,组合各条件的扩散分数,生成机器人完成任务的视频计划。
阅读导引Learning Interactive Real-World Simulators
混合不同来源的视频和动作条件训练视频模拟器,以语言或低层动作控制后续视觉变化。
阅读导引Genie: Generative Interactive Environments
从视频学习生成可交互环境,并用潜在动作控制生成过程。
阅读导引Cosmos World Foundation Model Platform for Physical AI
面向物理 AI 的世界基础模型平台,将视频生成模型、数据处理与后训练联系起来。
阅读导引表征目标如何影响奖励、动力学和控制?
先比较 DINO 与 MAE,再看真实机器人视觉预训练、R3M / VIP / VC-1 与 DynaMo;接入 JEPA 系列及 DINO-WM、V-JEPA 2、LeWorldModel,逐项区分编码器预训练和动作条件预测。
Emerging Properties in Self-Supervised Vision Transformers
学生匹配动量教师的输出分布,结合中心化和温度锐化,在无人工标签时学习视觉表征。
阅读导引Masked Autoencoders Are Scalable Vision Learners
仅编码可见 patch,用轻量解码器重建缺失像素;预训练后移除解码器,将编码器迁移到下游任务。
阅读导引Real-World Robot Learning with Masked Visual Pre-training
用 MAE 在互联网与第一视角图像上预训练视觉编码器,冻结后为不同机器人任务分别学习控制策略。
阅读导引R3M: A Universal Visual Representation for Robot Manipulation
利用人类视频的时间关系、语言描述与稀疏正则预训练视觉表征,再用于机器人模仿学习。
阅读导引VIP: Towards Universal Visual Reward and Representation via Value-Implicit Pre-Training
从被动人类视频构造隐式价值预训练目标,让当前图像与目标图像的表征距离可用于视觉奖励。
阅读导引Where are we in the search for an Artificial Visual Cortex for Embodied Intelligence?
用 CortexBench 比较预训练视觉编码器在多类具身任务上的迁移,并研究 VC-1 的数据规模与任务适配。
阅读导引DynaMo: In-Domain Dynamics Pretraining for Visuo-Motor Control
联合训练视觉编码器、潜逆动力学和前向模型,用隐含转移信息预测后续表征,突出域内控制相关特征。
阅读导引Self-Supervised Learning From Images With a Joint-Embedding Predictive Architecture
从图像中可见区域预测被遮挡区域的表征,学习语义视觉特征。
阅读导引Revisiting Feature Prediction for Learning Visual Representations from Video
把遮挡表征预测扩展到视频,在不重建像素的条件下学习时空特征。
阅读导引DINO-WM: World Models on Pre-trained Visual Features Enable Zero-shot Planning
预测冻结视觉编码器的特征,在目标图像对应的特征空间里规划动作。
阅读导引V-JEPA 2
先学习视频表征预测,再结合动作数据构建用于机器人规划的模型。
阅读导引LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels
通过预测目标与表征正则化,训练端到端的联合嵌入世界模型。
阅读导引预测用于特征、数据生成,还是策略优化?
用 VPP / FLARE、DreamGen、DiWA 区分预测特征、合成数据和模型内强化学习;再读 UWM 及后续联合建模与闭环控制工作,最后以 WorldArena 的评测问题检查模型效用。
Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations
先将视频模型适配到操作数据,再提取一次前向计算中的预测表征,由 Video Former 聚合后接动作扩散头。
阅读导引FLARE: Robot Learning with Implicit World Modeling
在动作 DiT 内加入未来 token,用中间层特征对齐未来视觉语言表征,与动作生成目标共同训练。
阅读导引DreamGen: Unlocking Generalization in Robot Learning through Video World Models
适配视频世界模型,生成新行为视频,再用逆动力学或潜动作模型补充伪动作,训练视觉控制策略。
阅读导引DiWA: Diffusion Policy Adaptation with World Models
先训练潜动力学、模仿策略和成功分类器,再把动作扩散步骤嵌入世界模型 MDP,在想象轨迹内强化微调。
阅读导引Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets
通过视频和动作各自的扩散时间步,让同一模型支持策略、正向动力学和逆动力学等任务。
阅读导引Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning
将预训练视频模型后训练为兼顾动作生成、未来状态与价值预测的模型。
阅读导引World Action Models are Zero-shot Policies
从视频生成底座出发,联合建模未来画面与机器人动作,用于跨任务策略迁移。
阅读导引LingBot-VA: Causal World Modeling for Robot Control
以因果视频动作建模连接未来预测和机器人控制,关注历史信息与异步执行。
阅读导引Cosmos3: Omnimodal World Models for Physical AI
在统一模型中处理语言、视觉、音频和动作,覆盖策略与正逆动力学等物理交互任务。
阅读导引WorldArena: A Unified Benchmark for Evaluating Perception and Functional Utility of Embodied World Models
从感知质量和具身功能两方面评估世界模型,检查预测对下游任务的作用。
阅读导引