← 视觉 · 语言 · 动作 / 动作分布与效率

正式发表 / Vision–Language–Action

VQ-BeT

Behavior Generation with Latent Actions

ICML · 2024CCF A

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
残差 VQ 与行为代码预测ICML 2024 · Fig. 2 · p.4 ↗

先学习 residual VQ 动作编码器,再训练 Transformer 预测多层代码和修正量,以表达多峰行为。

  1. 01学习残差量化器
  2. 02预测分层动作代码
  3. 03解码动作块
VQ-BeT残差 VQ 与行为代码预测
残差 VQ 与行为代码预测

先学习 residual VQ 动作编码器,再训练 Transformer 预测多层代码和修正量,以表达多峰行为。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

先学习 residual VQ 动作编码器,再训练 Transformer 预测多层代码和修正量,以表达多峰行为。

WHY READ IT

为什么放在这条路线

明确延伸 BeT:由手工选择 k 的动作空间聚类转向学习式潜动作量化;可与 FAST 的压缩方式对照。

当前阶段动作分布与效率 ↗

能量、量化、扩散与流匹配如何生成动作?

READ WITH A QUESTION

读的时候,留意什么

动作离散化仍依赖训练分布;论文速度比较受任务、解码方式和硬件影响。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器