DiffusionNFT双LoRA适配器机制揭秘:old与default策略如何协同实现在线更新
DiffusionNFT双LoRA适配器机制揭秘:old与default策略如何协同实现在线更新
DiffusionNFT 是一个 ICLR 2026 Oral 的在线扩散强化学习(Online Diffusion Reinforcement)框架,它直接在加噪的"前向过程"上做策略优化,而不需要保存完整采样轨迹。整个训练流程中最精巧的设计,就是双 LoRA 适配器机制——两个名为 old 和 default 的适配器分别扮演"数据收集者"与"训练目标"的角色,通过每轮末的衰减同步协同完成在线更新。本文将带你读懂这套机制的完整生命周期。
为什么 DiffusionNFT 需要两个 LoRA 适配器?
先理解一个背景:在线强化学习(On-Policy RL)的核心循环是——用当前策略采样 → 用奖励函数打分 → 再优化策略。DiffusionNFT 的三步流程正是如此:
- 数据收集:采样策略 生成图片,奖励模型打分;
- 正负样本划分:按奖励把图片概念性地分成正/负子集;
- 前向过程优化:训练策略 在加噪图片上优化,奖励信号通过正负目标的加权直接融入参数。
问题在于:采样用的策略()和正在训练的策略()必须是两个独立的权重——采样时参数不能被更新干扰,训练时又需要独立的梯度通路。DiffusionNFT 的解法是 PEFT 的多适配器能力:在同一个 SD3.5 基座上挂两个 LoRA,用 set_adapter() 一键切换。
上图右侧的 NFT 分支展示了这一思想的直观表达:同一个模型既输出 (旧策略预测),又输出 (当前策略预测),两者配合奖励 完成一次前向过程的强化更新。
两个适配器各是谁?
| 适配器 | 角色 | 对应论文符号 | 是否可训练 |
|---|---|---|---|
default |
训练策略,接受梯度更新 | ✅ 进优化器 | |
old |
采样策略,负责生成数据 | ❌ 只读 + 衰减同步 |
创建过程非常直接(scripts/train_nft_sd3.py):如果配置了 config.train.lora_path,就把已有 LoRA 载入 default;否则用 get_peft_model() 新建。随后执行 transformer.add_adapter("old", transformer_lora_config) 添加第二个适配器,LoRA 秩为 32(r=32, lora_alpha=64)。
紧接着有一段很关键的"身份分离"代码:先切到 default 收集它的可训练参数列表交给 AdamW 优化器,再切到 old 收集一份参数列表仅用于后续的权重同步,最后切回 default。这保证了优化器只更新 default,永远不会碰 old。
双适配器协同的完整生命周期
1️⃣ 初始化:old 完全复制 default
训练开始前,old 的参数逐元素从 default 拷贝(scripts/train_nft_sd3.py),并有 assert src_param is not tgt_param 确保两者是独立内存。此刻两个策略完全一致——这是在线 RL 的起点。
2️⃣ 采样阶段:切换到 old 无梯度出图
每个采样 batch 开始前都执行一次 transformer_ddp.module.set_adapter("old"),在 torch.no_grad() 下调用 pipeline_with_logprob 生成图片(scripts/train_nft_sd3.py)。注意这里只保存了干净的最终图片 latents_clean 和调度器时间步,而不是整条采样轨迹——这正是 DiffusionNFT 相比 GRPO 省内存的关键:训练时只需要干净图,训练阶段会重新加噪构造 。
采样完成后立即 set_adapter("default") 切回,等待优化。
3️⃣ 训练阶段:每个时间步做三次前向
训练循环中最精彩的部分是每个时间步 j 上的"三前向"(scripts/train_nft_sd3.py):
- 第一次:
set_adapter("old")+ 无梯度 → 得到 ,作为数据收集策略的参考预测; - 第二次:
set_adapter("default")带梯度 → 得到 ,这是唯一贡献梯度的前向; - 第三次:
disable_adapter()彻底关闭 LoRA → 得到基座模型的预测,专门用于 KL 散度约束(防止策略跑飞)。
三个预测随后被组装成 NFT 的核心损失(scripts/train_nft_sd3.py):
- 隐式正目标:
positive = β·v_θ + (1-β)·v^old - 隐式负目标:
negative = (1+β)·v^old - β·v_θ
归一化优势值 作为权重: 大时图片"好",正损失占主导; 小时负损失占主导。奖励信号就这样通过正负目标的线性组合,直接"注入"到 的参数里,无需任何额外的奖励头。
4️⃣ 轮末同步:decay 软更新,而非硬拷贝
epoch 结束时,old 并不是简单地覆盖为 default,而是执行指数式软同步(scripts/train_nft_sd3.py):
old ← old · decay + default · (1 - decay)
其中 decay 由 return_decay 根据训练步数计算,共三种调度模式:
| decay_type | 行为 | 适用配置 |
|---|---|---|
| 0 | 永不更新(old 冻结) | — |
| 1 | decay 从 0 以 0.001/步 线性升到 0.5 | 默认、GenEval、PickScore |
| 2 | 前 75 步 decay=0,之后以 0.0075/步 升到 0.999 | OCR(config/nft.py) |
这个设计的妙处:decay 越大,old 越"惰性",采样策略变化越慢,训练信号更稳定;decay 越小,old 越紧跟 default,数据新鲜度越高。OCR 任务用 decay_type=2 正是希望前期完全复用同一策略采样、后期再缓慢漂移。
5️⃣ 保存检查点:只留 default
save_ckpt 通过 model_to_save.save_pretrained() 保存整个 PEFT 模型。由于只有 default 参与优化,推理时加载单一 LoRA 即可复现训练策略,配合 scripts/evaluation.py 里的 load_adapter(adapter_name="default") 完成离线评测。
关键参数速查
想动手调参,重点关注这两个(config/nft.py、config/base.py):
config.beta:正负目标的混合比例。1.0表示纯新策略主导(GenEval),0.1则更保守地锚定旧策略(OCR、multi-reward);config.train.beta:KL 正则系数(默认0.0001),约束 别离基座模型太远,与old适配器无关,参考模型是关闭所有 LoRA 后的基座。
这套"采样/训练双策略分离 + 软同步"的设计,正是 DiffusionNFT 能做到 25 倍训练效率(左图:GenEval 0.98 vs Flow-GRPO 0.95)且各奖励维度全面领先的底层原因之一:它让采样分布始终"略落后于"训练策略,既保证了数据的新鲜度,又避免了策略剧烈漂移带来的训练震荡(右图雷达图)。
小结
DiffusionNFT 的双 LoRA 适配器机制可以浓缩为一句话:default 负责进化,old 负责采样,decay 负责让两者以受控的节奏靠拢。
add_adapter("old")创建影子策略,与default参数独立;- 采样切
old无梯度出图,训练切default带梯度,disable_adapter()提供基座参考; - 轮末
old ← decay·old + (1-decay)·default完成软同步; - 检查点只保存
default,推理零额外负担。
理解了这套机制,你就能读懂 scripts/train_nft_sd3.py 中绝大多数 set_adapter 调用,也能为自己的扩散模型 RL 项目设计类似的在线更新流程。


