← 视觉 · 语言 · 动作 / 动作分布与效率残差 VQ 与行为代码预测ICML 2024 · Fig. 2 · p.4 ↗
正式发表 / Vision–Language–Action
VQ-BeT
Behavior Generation with Latent Actions
ICML · 2024CCF A
关键框架 FRAMEWORK
先学习 residual VQ 动作编码器,再训练 Transformer 预测多层代码和修正量,以表达多峰行为。
- 01学习残差量化器
- 02预测分层动作代码
- 03解码动作块
THE IDEA
它在解决什么
先学习 residual VQ 动作编码器,再训练 Transformer 预测多层代码和修正量,以表达多峰行为。
WHY READ IT
为什么放在这条路线
明确延伸 BeT:由手工选择 k 的动作空间聚类转向学习式潜动作量化;可与 FAST 的压缩方式对照。
READ WITH A QUESTION
读的时候,留意什么
动作离散化仍依赖训练分布;论文速度比较受任务、解码方式和硬件影响。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器