← 视觉 · 语言 · 动作 / 动作分布与效率动作分箱、残差训练与执行NeurIPS 2022 · Fig. 3 · p.4 ↗
正式发表 / Vision–Language–Action
BeT
Behavior Transformers: Cloning $k$ modes with one stone
NeurIPS · 2022CCF A
关键框架 FRAMEWORK
先把连续动作分成离散中心与残差,Transformer 同时预测动作类别和偏移,从多峰示范中采样行为。
- 01聚类动作中心
- 02预测类别和偏移
- 03还原连续动作
THE IDEA
它在解决什么
先把连续动作分成离散中心与残差,Transformer 同时预测动作类别和偏移,从多峰示范中采样行为。
WHY READ IT
为什么放在这条路线
补足直接回归与生成策略之间的动作表示路线;VQ-BeT 随后用学习式潜量化替代固定 k-means 分箱。
READ WITH A QUESTION
读的时候,留意什么
聚类数和动作维度会影响表示质量,分箱不是天然语义技能划分。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器