verl FSDP2升级指南:如何启用新一代分布式训练后端降低显存占用
verl FSDP2升级指南:如何启用新一代分布式训练后端降低显存占用
verl(即 HybridFlow)是一款流行的开源大模型强化学习后训练框架,支持 PPO、GRPO、DAPO 等算法。本文将带你用最少的配置,把 verl 的训练后端从 FSDP1 平滑切换到新一代 FSDP2 分布式训练后端——只需 3 行参数即可降低显存占用并提升训练吞吐,特别适合显存吃紧时训练大模型的 RL 场景 🚀
FSDP2 是什么?为什么值得升级?
FSDP2 是 PyTorch 团队推荐的新一代完全分片数据并行(Fully Sharded Data Parallel)实现,基于 fully_shard API 和 DTensor,采用逐参数(per-parameter)分片机制。相比老一代 FSDP1,它的优势来自 PyTorch 官方 TorchTitan 基准测试(见 docs/perf/perf_tuning.rst 的 "Migrating to FSDP2" 章节):
| 指标 | FSDP2 相对 FSDP1 的收益 |
|---|---|
| GPU 显存占用 | 平均降低约 7% |
| BF16 训练吞吐 | 提升约 1.5% |
| 组合能力 | 与 DTensor、torch.compile 等特性天然兼容 |
除了数字收益,FSDP2 还有一个对 RL 训练很实用的改进:CPU offload 与梯度累积兼容,而 FSDP1 的 CPUOffload 在梯度累积下会产生错误结果。这也是 verl 官方主推 FSDP2 的原因之一(参见 README.md 的 "Upgrade to FSDP2" 章节)。
三步启用 FSDP2:核心配置参数
verl 中启用 FSDP2 的方式非常直接——把 actor、ref、critic 三个角色的 strategy 从 fsdp 改成 fsdp2。以 GRPO 训练为例:
python3 -m verl.trainer.main_ppo \
actor_rollout_ref.actor.strategy=fsdp2 \
actor_rollout_ref.ref.strategy=fsdp2 \
critic.strategy=fsdp2 \
# ... 其余训练参数
- 使用 GRPO/DAPO 等不需要 critic 的算法时,
critic.strategy=fsdp2可省略 - 如果你使用 PPO(需要 critic 模型),则必须同时设置三行
📌 一个完整的参考脚本是 examples/grpo_trainer/run_qwen3_5_35b_fsdp.sh,其中第 85 行、第 98 行分别展示了 actor 和 ref 的 strategy=fsdp2 写法,可以直接照抄修改。
配置入口定义在 verl/trainer/config/actor/actor.yaml 与 verl/trainer/config/critic/critic.yaml,strategy 字段可选值为 fsdp、fsdp2、megatron。
进阶技巧:开启 offload_policy 进一步省显存
切换 FSDP2 后,你可以启用 FSDP2 独有的 offload_policy,把参数、梯度和优化器状态在训练期间卸载到 CPU(pinned memory),用少量速度换大幅显节省:
actor_rollout_ref.actor.fsdp_config.offload_policy=True
该选项定义在 verl/trainer/config/engine/fsdp.yaml,注释明确标注 "Only for FSDP2: offload param/grad/optimizer during train"。它的底层原理见 verl/workers/engine/fsdp/transformer_impl.py:verl 会为每个 fully_shard 模块注入 CPUOffloadPolicy(pin_memory=True)。
💡 提示:训练 35B 级别的 MoE 模型时,官方示例直接组合了
offload_policy=True+param_offload=True+optimizer_offload=True,再配合reshard_after_forward=True把前向后的参数分片收回,是当前大模型 RL 训练的主流省显存套路。
FSDP2 的底层实现:按 Transformer 层分片
如果你想了解 verl 是怎么接入 FSDP2 的,核心逻辑在 verl/utils/fsdp_utils.py 的 apply_fsdp2 函数:
- 读取模型
_no_split_modules,确定每个 Transformer 层作为分片单元 - 对每个层调用 PyTorch 的
fully_shard,并传入mesh、MixedPrecisionPolicy、offload_policy、reshard_after_forward等参数 - 最后对根模块再做一次
fully_shard
这种"逐层 + 根模块"的两级分片方式,正是 FSDP2 显存更优的关键所在。
哪些功能与 FSDP2 兼容?
- LoRA 微调:
strategy=fsdp或fsdp2均可搭配 vLLM/SGLang rollout(见 docs/advance/ppo_lora.rst) - 全异步 / one-step-off 训练:docs/advance/fully_async.md 和 docs/advance/one_step_off.md 的示例均以
fsdp2为默认训练策略 - Megatron Lite 后端:可搭配
OPTIMIZER=fsdp2使用 FSDP2 包装器(docs/advance/megatron_lite_backend.rst) - 梯度累积:FSDP2 使用
set_requires_gradient_sync延迟梯度同步,数值上与每个 micro-batch 都同步完全一致 - Ulysses 序列并行、LigerKernel 等性能特性同样适用(docs/perf/perf_tuning.rst)
升级检查清单
✅ 环境要求:verl 代码中明确断言需要 PyTorch >= 2.4(CPUOffloadPolicy 自 2.4 起可用),升级前先确认 torch.__version__
✅ 验证建议:按 docs/advance/fsdp_extension.rst 的验证清单,可用 SFT 冒烟脚本对比 FSDP1/FSDP2 两条路径:
MODEL_PATH=<模型路径> BACKEND=fsdp FSDP_STRATEGY=fsdp2 \
bash tests/special_e2e/sft/run_sft_engine.sh
✅ 权重同步:FSDP2 下每个 DTensor 参数在 get_per_tensor_param 时按需物化导出为 HuggingFace 命名权重,流式同步给 rollout 引擎,无需修改权重加载注册表
✅ 常见坑:actor.strategy=fsdp2 会同步到引擎配置(见 verl/workers/config/actor.py),若你自定义了 EngineConfig 却漏掉同步,引擎会静默回落到 FSDP1——升级后建议确认日志中的分片方式确为 FSDP2
小结
verl 已经全面拥抱 FSDP2:改 3 行 strategy 参数,即可换来更低的显存占用、更稳定的 CPU offload 和更好的 torch.compile 组合性。对于显存紧张的大模型 RL 后训练任务,建议直接把 FSDP2 作为默认选择,再按需叠加 offload_policy 进一步压榨显存 🎯