MiniGemini项目中的ConvNext与Siglip模型训练优化实践

引言

在视觉语言模型的研究中，MiniGemini项目采用了创新的架构设计，将ConvNext与CLIP等视觉编码器结合使用。本文针对项目实践中的两个关键技术点进行深入探讨：ConvNext的Drop Path机制优化以及Siglip模型替换CLIP时遇到的数值稳定性问题。

ConvNext的Drop Path机制优化

在原始MiniGemini实现中，ConvNext模型保留了0.1的Drop Path率，虽然训练时设置为不训练状态，但该路径仍会执行。经过项目团队的验证测试，完全移除Drop Path机制后，模型性能获得了显著提升：

• TextVQA任务：从65.2提升至65.9
• MME任务：从1523/316提升至1540/332
• MM-Vet任务：从40.8提升至42.1

这一改进表明，在视觉语言模型联合训练的场景下，取消Drop Path机制有助于模型性能的提升。项目团队已更新代码支持无Drop Path的训练配置。

Siglip模型替换的技术挑战

在尝试将CLIP替换为性能更优的Siglip模型时，开发者遇到了数值不稳定的问题：

1. 特征维度对齐问题：Siglip模型输入为384×384分辨率，输出特征图尺度为27×27。为保持空间对齐，需要将ConvNext输入分辨率调整为864×864，这对计算资源提出了更高要求。

2. 数值稳定性问题：在第一次前向传播后，注意力计算会出现NaN值，即使全部转换为FP32精度也无法解决。具体表现为：

   • 初始特征计算正常
   • 注意力权重计算(embed_att)出现NaN
   • 后续迭代中特征值逐渐变为NaN

3. 预处理差异：Siglip与CLIP在图像预处理时的均值和标准差存在显著差异，虽然理论上特征分布一致性更重要，但这种差异可能影响模型训练的稳定性。

解决方案建议

针对上述问题，建议采取以下措施：

1. 渐进式训练策略：先使用较低分辨率预训练，再逐步提高分辨率
2. 数值稳定性检查：
   • 实现梯度裁剪
   • 添加数值稳定性约束
   • 监控中间特征统计量
3. 特征归一化处理：考虑在跨模型特征融合前进行归一化处理
4. 混合精度训练优化：仔细调整FP16/FP32混合精度训练策略

结论

MiniGemini项目在视觉编码器选择和优化方面提供了宝贵的实践经验。ConvNext的Drop Path机制优化展示了特定场景下的参数调整价值，而Siglip模型替换的挑战则揭示了跨模型特征融合的复杂性。这些经验对视觉语言模型的架构设计和训练优化具有重要参考意义。