verl FSDP2升级指南:如何启用新一代分布式训练后端降低显存占用

原创2026-10-30 10:12:481,117 阅读

verl FSDP2升级指南:如何启用新一代分布式训练后端降低显存占用

verl(即 HybridFlow)是一款流行的开源大模型强化学习后训练框架,支持 PPO、GRPO、DAPO 等算法。本文将带你用最少的配置,把 verl 的训练后端从 FSDP1 平滑切换到新一代 FSDP2 分布式训练后端——只需 3 行参数即可降低显存占用并提升训练吞吐,特别适合显存吃紧时训练大模型的 RL 场景 🚀

FSDP2 是什么?为什么值得升级?

FSDP2 是 PyTorch 团队推荐的新一代完全分片数据并行(Fully Sharded Data Parallel)实现,基于 fully_shard API 和 DTensor,采用逐参数(per-parameter)分片机制。相比老一代 FSDP1,它的优势来自 PyTorch 官方 TorchTitan 基准测试(见 docs/perf/perf_tuning.rst 的 "Migrating to FSDP2" 章节):

指标 FSDP2 相对 FSDP1 的收益
GPU 显存占用 平均降低约 7%
BF16 训练吞吐 提升约 1.5%
组合能力 与 DTensor、torch.compile 等特性天然兼容

除了数字收益,FSDP2 还有一个对 RL 训练很实用的改进:CPU offload 与梯度累积兼容,而 FSDP1 的 CPUOffload 在梯度累积下会产生错误结果。这也是 verl 官方主推 FSDP2 的原因之一(参见 README.md 的 "Upgrade to FSDP2" 章节)。

三步启用 FSDP2:核心配置参数

verl 中启用 FSDP2 的方式非常直接——把 actor、ref、critic 三个角色的 strategy 从 fsdp 改成 fsdp2。以 GRPO 训练为例:

python3 -m verl.trainer.main_ppo \
    actor_rollout_ref.actor.strategy=fsdp2 \
    actor_rollout_ref.ref.strategy=fsdp2 \
    critic.strategy=fsdp2 \
    # ... 其余训练参数
  • 使用 GRPO/DAPO 等不需要 critic 的算法时,critic.strategy=fsdp2 可省略
  • 如果你使用 PPO(需要 critic 模型),则必须同时设置三行

📌 一个完整的参考脚本是 examples/grpo_trainer/run_qwen3_5_35b_fsdp.sh,其中第 85 行、第 98 行分别展示了 actor 和 ref 的 strategy=fsdp2 写法,可以直接照抄修改。

配置入口定义在 verl/trainer/config/actor/actor.yaml 与 verl/trainer/config/critic/critic.yaml,strategy 字段可选值为 fsdp、fsdp2、megatron。

进阶技巧:开启 offload_policy 进一步省显存

切换 FSDP2 后,你可以启用 FSDP2 独有的 offload_policy,把参数、梯度和优化器状态在训练期间卸载到 CPU(pinned memory),用少量速度换大幅显节省:

actor_rollout_ref.actor.fsdp_config.offload_policy=True

该选项定义在 verl/trainer/config/engine/fsdp.yaml,注释明确标注 "Only for FSDP2: offload param/grad/optimizer during train"。它的底层原理见 verl/workers/engine/fsdp/transformer_impl.py:verl 会为每个 fully_shard 模块注入 CPUOffloadPolicy(pin_memory=True)。

💡 提示:训练 35B 级别的 MoE 模型时,官方示例直接组合了 offload_policy=True + param_offload=True + optimizer_offload=True,再配合 reshard_after_forward=True 把前向后的参数分片收回,是当前大模型 RL 训练的主流省显存套路。

FSDP2 的底层实现:按 Transformer 层分片

如果你想了解 verl 是怎么接入 FSDP2 的,核心逻辑在 verl/utils/fsdp_utils.py 的 apply_fsdp2 函数:

  1. 读取模型 _no_split_modules,确定每个 Transformer 层作为分片单元
  2. 对每个层调用 PyTorch 的 fully_shard,并传入 mesh、MixedPrecisionPolicy、offload_policy、reshard_after_forward 等参数
  3. 最后对根模块再做一次 fully_shard

这种"逐层 + 根模块"的两级分片方式,正是 FSDP2 显存更优的关键所在。

哪些功能与 FSDP2 兼容?

升级检查清单

✅ 环境要求:verl 代码中明确断言需要 PyTorch >= 2.4(CPUOffloadPolicy 自 2.4 起可用),升级前先确认 torch.__version__

✅ 验证建议:按 docs/advance/fsdp_extension.rst 的验证清单,可用 SFT 冒烟脚本对比 FSDP1/FSDP2 两条路径:

MODEL_PATH=<模型路径> BACKEND=fsdp FSDP_STRATEGY=fsdp2 \
    bash tests/special_e2e/sft/run_sft_engine.sh

✅ 权重同步:FSDP2 下每个 DTensor 参数在 get_per_tensor_param 时按需物化导出为 HuggingFace 命名权重,流式同步给 rollout 引擎,无需修改权重加载注册表

✅ 常见坑:actor.strategy=fsdp2 会同步到引擎配置(见 verl/workers/config/actor.py),若你自定义了 EngineConfig 却漏掉同步,引擎会静默回落到 FSDP1——升级后建议确认日志中的分片方式确为 FSDP2

小结

verl 已经全面拥抱 FSDP2:改 3 行 strategy 参数,即可换来更低的显存占用、更稳定的 CPU offload 和更好的 torch.compile 组合性。对于显存紧张的大模型 RL 后训练任务,建议直接把 FSDP2 作为默认选择,再按需叠加 offload_policy 进一步压榨显存 🎯

登录后查看全文
verl