LoongForge VLM 异构并行训练全解析:为什么 ViT 和 LLM 要分开调度
LoongForge VLM 异构并行训练全解析:为什么 ViT 和 LLM 要分开调度
在 LoongForge VLM 异构并行训练中,视觉编码器(ViT)与语言模型(LLM)不再被迫共用同一套并行配置——这正是 LoongForge 框架针对多模态大模型训练痛点给出的核心答案。本文将带你从原理到配置,完整理解这套"分开调度"机制:异构 TP(Tensor Parallel)、异构 DP(Data Parallel)、Full Heterogeneous DP 三级方案,以及如何配合 ViT DP 负载均衡把 GPU 利用率拉满。
1. 问题起点:ViT 和 LLM 的"性格"完全不同
一个 VLM(如 Qwen2.5-VL、Qwen3-VL)的训练流程是两段式的:
- Encoder(ViT):把图片/视频切成 visual tokens,计算自注意力;
- Decoder(LLM):把文本 tokens 与视觉 tokens 拼接后做语言建模。
这两段的资源画像差异巨大:
| 维度 | ViT 编码器 | LLM 解码器 |
|---|---|---|
| 参数量 | 通常只有 0.3B~1B | 7B~数千 B |
| 显存压力 | 小 | 大(参数+激活+优化器状态) |
| 单卡能否放下 | 往往轻松放下 | 必须 TP/PP 切分 |
| 计算瓶颈 | 图像分辨率波动大 | 序列长度波动大 |
如果给整个模型套一个统一的 TP 配置,就会出现两种典型浪费:
- ViT 被"过度切分":明明 1 张卡就能装下 0.6B 的 ViT,却硬切成 TP=4,通信开销白付;
- ViT 变成"同步墙":LLM 各卡之间每算完一步都要 All-Reduce 同步,而 ViT 负载不均时,轻载的卡只能干等最重的卡跑完,形成 straggler(拖后腿者)。
LoongForge 的解法就是:把 encoder 和 decoder 视为两个计算特征完全不同的子模块,各自建立独立的并行组,在同一个训练任务里动态切换调度。
2. 异构 TP:ViT 和 LLM 各用各的张量并行度
在 LoongForge 中,encoder 与 decoder 分别持有独立的张量并行组。以 Qwen2.5-VL-7B 为例,LLM 用 TP=4,而 ViT 可以在自己的配置里单独指定 TP=1/2/4。
配置方法非常直接——在 ViT 的 YAML 里加一个字段即可:
# ViT 配置(以 qwen2.5vl 系列为例,位于 configs/models/image_encoder/ 或 vit 配置文件)
_target_: loongforge.models.encoder.Qwen2VisionRMSNormConfig
# ...
tensor_model_parallel_size: 2 # 只约束 ViT 的 TP
model_type: "qwen2_5_vit"
而 LLM 的 TP 大小仍由训练脚本的 --tensor-model-parallel-size 控制,互不干扰。
2.1 底层原理:并行状态的"动态切换"
同一进程里要跑两套并行组,关键在于运行时切换通信组上下文。LoongForge 用 PyTorch hook 机制实现"无感切换":
- 在 ViT 前向之前,
forward pre hook触发 change_parallel_state,把mpu(Megatron 并行状态管理器)的组信息切到 encoder 专属组; - ViT 前向结束后,
forward hook再切回 decoder 组,反向传播前又由backward pre hook切回 encoder 组。
核心实现在 omni_encoder_model.py:
self.image_encoder.register_forward_pre_hook(
make_encoder_forward_pre_hook("image_encoder") # 切入 encoder 并行状态
)
self.image_encoder.register_forward_hook(
make_encoder_forward_hook("text_decoder") # 切回 decoder 并行状态
)
所有并行组在启动时由 create_parallel_state 预创建并快照保存,前向/反向只需做"字典搬运"式切换,零建模代码改动。
2.2 实测收益:小 ViT 用 TP=1 反而更快
在 Qwen2.5-VL-7B(decoder TP=4)上测试不同 encoder TP 大小,可以看到 encoder tp=1 时单卡 token 吞吐量最高(相对 tp=4 提升约 5%),而 tp=2/4 随并行度增加通信开销上升:
💡 结论:并行度不是越大越好。让 ViT 按自己的体量选 TP,让 LLM 按自己的体量选 TP,才是异构 TP 的意义。具体最优值因模型而异,建议小范围实测。
3. 异构 DP:把 LLM 的 TP 卡变成 ViT 的"数据并行卡"
只给 ViT 降低 TP 还不够——如果 ViT 只占 1 张卡,而 LLM 在 4 张卡上做 TP,那么 LLM 组内其余 3 张卡在 ViT 阶段就完全空转。
LoongForge 的异构 DP(--enable-encoder-hetero-dp)把这笔账算回来了:让 encoder 复用 decoder 的 TP 组作为自己的数据并行组。TP 组的每一张卡各处理不同的图片,并行地跑 ViT 前向,最后把输出 gather 到一起再交给 decoder:
从图中可见,Qwen2.5-VL-7B 场景下 tp1-dp4(ViT 单卡 + TP 组内 4 路数据并行)相对 tp4-dp4 吞吐接近翻倍(约 1064 vs 543 tokens/s·GPU)。
启用方式:
MODEL_PARALLEL_ARGS=(
--tensor-model-parallel-size 4
--pipeline-model-parallel-size 2
--enable-encoder-hetero-dp # 开启 ViT 异构 DP
)
注意两点约束:
- 开启异构 DP 时要求 ViT 的
tensor_model_parallel_size: 1; - 异构 DP 对学习率敏感,官方建议采用较小的学习率(如
1e-5)。
4. Full Heterogeneous DP:让整个模型并行组都为 ViT 打工
上面第 3 节的异构 DP 只在 TP 维度扩展了 ViT 的数据并行度。LoongForge 更进一步提供了 Full Heterogeneous DP(--enable-full-hetero-dp),把整个模型并行组(TP × PP × CP)都变成 ViT 的数据并行组:
- Encoder 阶段:模型并行组内每张卡独立处理一个不同 microbatch 的 ViT 前向,输出 gather 到指定 rank——ViT 的有效数据并行度 = TP × PP × CP;
- Decoder 阶段:LLM 照常走 Megatron 的 PP/TP 流水线,直接使用预计算好的视觉 embeddings;
- 反向阶段:decoder 反向结束后,梯度 scatter 回每张卡,encoder 在本地独立完成反向。
这套逻辑由 model_chunk_schedule_plan.py 与 fine_grained_callables.py 中的细粒度调度节点(PreProcessNode 支持 enable_full_hetero_dp)驱动,encoder 数据访问则配合 encoder_strided_sampler.py 做跨卡取样。
使用约束(来自 arguments.py 与官方文档):
| 约束 | 说明 |
|---|---|
| ViT TP 必须为 1 | tensor_model_parallel_size: 1 |
micro-batch-size 必须为 1 |
需使用 packing 模式 |
| 暂不支持 CP | context-parallel-size 需为 1 |
| 显存紧张? | 可加 --full-hetero-dp-cpu-offload 把中间 embeddings/梯度异步卸载到 CPU pinned 内存(见 full_hetero_cpu_offload.py) |
MODEL_PARALLEL_ARGS=(
--tensor-model-parallel-size 4
--pipeline-model-parallel-size 2
--enable-full-hetero-dp # 开启全异构 DP
# --full-hetero-dp-cpu-offload # 可选:CPU 卸载
)
5. 补齐短板:ViT / VLM 两级 DP 负载均衡
分开调度解决了"卡数分配"问题,但还有一个数据层面的坑:不同 DP rank 拿到的图片分辨率差异巨大。ViT 自注意力代价与 visual token 数呈平方关系(load ∝ (T×H×W)²),分辨率不均会直接造成 rank 间负载失衡。
LoongForge 提供两级负载均衡,与异构并行可以叠加使用:
--use-vit-dp-balance:ViT 级平衡。前向前按l²成本模型把图片在 DP rank 间重新分配(all_to_all),前向后再还原;成本模型是纯二次型,无需 warm-up 校准,且通过可微all_to_all支持梯度回传。详见 vit_data_parallel_balancing.md;--use-vlm-dp-balance:LLM 级平衡。针对 packed 序列的 Attention O(n²) 代价,用校准过的成本模型a·l²+b·l+c重排样本,DP ≥ 32 时收益显著。详见 data_parallel_balancing.md。
下图展示了开启数据重排(with data reord)后,不同 DP 规模下平均吞吐(TGS)的改善——DP 规模越大,收益越明显:
两个开关都有内置的"失衡比 < 0.2 就跳过"机制,避免通信开销大于收益;可用 --dp-balance-verbose 观察每步的失衡比诊断。
6. 快速上手:VLM 异构并行配置清单
以 configs/models/qwen2.5vl/ 下的 Qwen2.5-VL 配置和 examples/qwen2.5_vl/ 下的训练脚本为起点,三步开启异构并行:
- ViT 配置(vit.yaml):设置
tensor_model_parallel_size(异构 TP 场景取 1/2/4;异构 DP / Full 场景必须为 1); - 训练脚本:按需加
--enable-encoder-hetero-dp或--enable-full-hetero-dp; - 负载均衡(推荐):同时加
--use-vit-dp-balance --use-vlm-dp-balance。
更多细节可参考官方文档:
- docs/source/features/heterogeneous_parallel.md:三种异构并行的完整说明与性能数据;
- docs/source/features/model_combination.md:encoder / LLM 组件的 YAML 拼装方式;
- docs/source/vlm_tutorial/quick_start_vlm_sft.md:VLM SFT 完整流程。
7. 总结
| 机制 | 解决的问题 | 关键开关 | 收益参考 |
|---|---|---|---|
| 异构 TP | ViT 被过度切分 | vit.yaml 中 tensor_model_parallel_size |
小 ViT 用 TP=1,吞吐 +5% |
| 异构 DP | TP 组内 ViT 空转 | --enable-encoder-hetero-dp |
吞吐接近翻倍 |
| Full Hetero DP | PP 组内 ViT 空转 | --enable-full-hetero-dp |
ViT 数据并行度 = TP×PP×CP |
| DP 负载均衡 | 图片分辨率不均 | --use-vit-dp-balance / --use-vlm-dp-balance |
DP 越大收益越明显 |
一句话理解 LoongForge 的 VLM 异构并行:ViT 是"小而波动大"的模块,LLM 是"大而需切分"的模块——让它们各自拿到最合适的并行组,再靠 hook 机制在同一进程内无缝切换调度,就是"分开调度"的全部秘密。对于新手,建议从"异构 TP(TP=1)+ ViT 负载均衡"这组最温和的配置开始,验证有效后再逐步上全异构 DP。



