MiniCPM-V多图单轮对话全量SFT训练中的Loss归零问题分析

在MiniCPM-V模型的多图单轮对话全量SFT（Supervised Fine-Tuning）训练过程中，部分开发者遇到了一个值得关注的技术问题：训练过程中Loss突然降为零且不再恢复。这个问题在8卡训练环境下较为常见，而在4卡或单卡训练中则较少出现。

问题现象

从训练日志中可以观察到，模型在初始阶段Loss正常下降，但在某个时间点突然降至零，此后一直保持为零值。这种现象会导致模型无法继续有效学习，严重影响训练效果。

可能原因分析

经过开发者社区的讨论和实验验证，目前发现以下几个可能的原因：

1. 视觉模块调参问题：当开启视觉模块参数调优（tune vision）时，这个问题更容易出现。有开发者报告，将tune vision设置为false后问题不再复现。

2. 分布式训练同步问题：该问题在8卡训练中频繁出现，而在单卡或4卡训练中较少发生，暗示可能与分布式训练中的数据同步或梯度聚合机制有关。

3. 序列长度设置不当：有假设认为如果设置的有效序列长度过短，可能导致Loss计算被跳过。但进一步分析表明，这种情况应该不会导致Loss持续为零。

解决方案

目前验证有效的解决方案包括：

1. 关闭视觉模块调参：在配置中将tune vision参数设为false，这种方法简单有效，但会限制视觉模块的学习能力。

2. 改用LoRA微调：部分开发者发现将全量微调改为LoRA（Low-Rank Adaptation）微调可以避免这个问题，同时还能保持对视觉模块的调优能力。

3. 调整训练规模：在资源允许的情况下，可以尝试使用4卡而非8卡进行训练，虽然训练速度会降低，但稳定性更好。

技术建议

对于遇到类似问题的开发者，建议采取以下排查步骤：

1. 首先尝试最小化配置，使用单卡训练验证问题是否仍然存在
2. 逐步增加训练规模，观察问题出现的临界点
3. 检查数据预处理和加载流程，确保输入数据的正确性
4. 监控训练过程中的梯度变化，定位异常发生的具体环节

这个问题反映了在多模态模型训练中，不同模块参数更新策略与分布式训练的复杂交互关系。开发者在进行类似训练时，需要特别注意各模块的调参策略与训练规模的匹配性。