← 视觉 · 语言 · 动作 / 数据与经验更新

正式发表 / Vision–Language–Action

ConRFT

ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy

RSS · 2025

快照 2026-10-28 · 引用:Semantic Scholar / arXiv 关联记录 · 代码核验依据 ↗

关键框架 FRAMEWORK
离线初始化与在线强化微调RSS 2025 · Fig. 1 · p.3 ↗

先通过离线示范和校准 Q 学习初始化一致性策略,再使用在线交互、回放和人工干预继续强化微调。

  1. 01从示范离线初始化
  2. 02采集交互与人工干预
  3. 03联合更新策略和价值
ConRFT离线初始化与在线强化微调
离线初始化与在线强化微调

先通过离线示范和校准 Q 学习初始化一致性策略,再使用在线交互、回放和人工干预继续强化微调。 来源 ↗ · 打开完整图片 ↗

THE IDEA

它在解决什么

先通过离线示范和校准 Q 学习初始化一致性策略,再使用在线交互、回放和人工干预继续强化微调。

WHY READ IT

为什么放在这条路线

与 DiWA 在世界模型内离线适配不同,ConRFT 的后半阶段需要真实环境交互;也与 π 系列的经验学习配方形成对照。

当前阶段数据与经验更新 ↗

怎样采集、扩充并利用机器人经验?

READ WITH A QUESTION

读的时候,留意什么

原文少样本与训练效率结论对应所测八类任务及人工干预条件,不能写成完全自主、纯离线的强化学习。

我的阅读笔记

LOCAL NOTES
笔记仅保存在当前浏览器