← 视觉 · 语言 · 动作 / 动作分布与效率

正式发表 / Vision–Language–Action

ACT / ALOHA

Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

RSS · 2023

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
动作块的条件 VAE 与 TransformerACT / ALOHA · 原文 Fig. 4 · p.4 ↗

训练时编码动作序列和关节状态形成风格变量;策略解码器结合多视角图像与状态预测动作块,测试时使用先验均值。

  1. 01编码示范动作风格
  2. 02融合多视角与关节状态
  3. 03解码连续动作块
ACT / ALOHA动作块的条件 VAE 与 Transformer
动作块的条件 VAE 与 Transformer

训练时编码动作序列和关节状态形成风格变量;策略解码器结合多视角图像与状态预测动作块,测试时使用先验均值。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

以动作分块策略学习双臂操作,结合低成本硬件与示范数据采集。

WHY READ IT

为什么放在这条路线

机器人领域基础读物;理解后续 VLA 的动作块和执行方式之前先读它。

当前阶段动作分布与效率 ↗

能量、量化、扩散与流匹配如何生成动作?

READ WITH A QUESTION

读的时候,留意什么

ACT 本身不是视觉语言大模型;硬件、示范质量和策略要分开讨论。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器