← 视觉 · 语言 · 动作 / 数据与经验更新离线初始化与在线强化微调RSS 2025 · Fig. 1 · p.3 ↗
正式发表 / Vision–Language–Action
ConRFT
ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy
RSS · 2025
关键框架 FRAMEWORK
先通过离线示范和校准 Q 学习初始化一致性策略,再使用在线交互、回放和人工干预继续强化微调。
- 01从示范离线初始化
- 02采集交互与人工干预
- 03联合更新策略和价值
THE IDEA
它在解决什么
先通过离线示范和校准 Q 学习初始化一致性策略,再使用在线交互、回放和人工干预继续强化微调。
WHY READ IT
为什么放在这条路线
与 DiWA 在世界模型内离线适配不同,ConRFT 的后半阶段需要真实环境交互;也与 π 系列的经验学习配方形成对照。
READ WITH A QUESTION
读的时候,留意什么
原文少样本与训练效率结论对应所测八类任务及人工干预条件,不能写成完全自主、纯离线的强化学习。
我的阅读笔记
LOCAL NOTES笔记仅保存在当前浏览器