LLaMA-Factory项目中Qwen2-VL多模态训练中的Loss异常问题分析

问题背景

在使用LLaMA-Factory项目对Qwen2-VL-7B-Instruct模型进行多模态训练时，开发者遇到了一个典型的技术问题：当采用两阶段训练策略（先训练纯文本数据，再训练多模态数据）时，模型在第二阶段会出现Loss变为NaN的情况。而单独训练多模态数据时则不会出现此问题。

问题现象

具体表现为：

1. 第一阶段使用纯文本数据集A进行训练，训练过程正常
2. 第二阶段加入包含图像的多模态数据集phone_web_0131_fix_merge_1500_wait_scroll_fix_hover后，Loss值变为NaN
3. 单独训练多模态数据时训练过程正常

技术配置分析

训练配置中几个关键参数值得关注：

• 使用BF16混合精度训练
• 每设备训练批大小为1，梯度累积步数为4
• 使用DeepSpeed Zero-2优化策略
• 冻结了视觉塔(vision tower)和多模态投影器(multi-modal projector)
• 图像最大像素设置为1048576

可能原因分析

仓库协作者Kuangdd01提出了两种可能的技术原因：

1. BF16数值溢出：在混合精度训练中，BF16格式的动态范围较小，可能在梯度计算过程中出现数值溢出，特别是在梯度累积步骤较多的情况下。

2. DeepSpeed配置问题：DeepSpeed的bucket_size设置过大可能导致内存分配或通信问题，特别是在处理多模态数据时，数据量较大可能加剧这一问题。

解决方案建议

针对上述分析，协作者提出了两个解决方案：

1. 调整批次大小和梯度累积：

   • 将per_device_train_batch_size从1调整为2
   • 将gradient_accumulation_steps从4减少到2
   • 这样可以降低单步计算的梯度规模，减少数值溢出的风险

2. 优化DeepSpeed配置：

   • 降低allgather_bucket_size和reduce_bucket_size参数值
   • 从默认的5e8降低到2e8
   • 这样可以优化内存使用和通信效率，特别是在处理多模态数据时

技术原理深入

BF16数值稳定性问题

BF16（Brain Floating Point 16）格式虽然能节省显存并加速训练，但其仅7位尾数的设计使其在表示大梯度或小梯度时容易出现问题。在多模态训练中，由于同时处理文本和图像特征，梯度值范围可能更大，更容易出现数值不稳定。

多模态训练的特殊性

多模态模型训练时，数据流包含：

1. 图像特征提取（通过冻结的视觉塔）
2. 文本特征提取
3. 多模态特征融合

这种复杂的数据处理流程对梯度计算和通信提出了更高要求，特别是在分布式训练环境下。

最佳实践建议

基于此案例，对于LLaMA-Factory项目中的多模态训练，建议：

1. 采用渐进式训练策略时，注意学习率和批次大小的调整
2. 监控训练初期的梯度范数，及时发现数值不稳定问题
3. 对于多模态训练，可以尝试：
   • 使用更保守的混合精度设置
   • 采用更小的初始学习率
   • 增加梯度裁剪
4. 充分利用DeepSpeed的配置灵活性，根据硬件条件调整通信参数

总结

这个案例展示了大型多模态模型训练中的典型数值稳定性问题。通过合理配置训练参数和分布式训练策略，可以有效解决这类问题。对于LLaMA-Factory项目的使用者，理解这些底层原理有助于更好地利用该项目进行多模态模型的微调和训练。