Qwen-VL微调模型推理结果不变的排查与解决

问题现象

在使用Qwen-VL-Chat-2B模型进行LoRA微调时，发现一个奇怪的现象：无论设置2、5、10还是50个训练epoch，微调后的模型在目标检测任务上的推理结果完全一致。这些结果与未微调的原始模型不同，但在不同epoch微调版本间却完全相同。

初步排查

技术团队首先检查了以下可能的问题点：

1. 模型加载流程：确认了每次推理时都正确加载了对应epoch的checkpoint
2. 输入数据：验证了输入图片和提示词的路径与内容正确无误
3. checkpoint内容：检查了各checkpoint中的trainer_state.json，确认训练epoch数符合预期
4. 损失曲线：观察到训练过程中损失值确实有变化，但并非单调下降

深入分析

经过仔细排查，发现问题可能出在训练数据集上。原始使用的训练数据仅包含20个对话样本，这种小规模数据集可能导致：

1. 模型收敛过快：在少量epoch后模型就已达到局部最优
2. 数据多样性不足：无法提供足够的梯度变化来推动模型参数更新
3. 过拟合风险：在小数据集上训练过多epoch可能导致模型记住样本而非学习通用特征

解决方案

更换更大规模、更具多样性的训练数据集后，问题得到解决。不同epoch微调后的模型开始表现出预期的性能差异。这表明：

1. 原始数据量过小是导致不同epoch微调结果相同的主要原因
2. 足够规模和多样性的数据才能有效驱动模型参数更新
3. 在微调视觉语言模型时，数据质量与数量同等重要

经验总结

1. 数据集规模：微调视觉语言模型时，建议使用足够大的数据集（至少数百至上千样本）
2. 监控指标：不仅要观察损失值，还应定期评估验证集上的实际任务表现
3. 早停机制：当验证指标不再提升时及时停止训练，避免无效计算
4. 数据多样性：确保训练样本覆盖预期的应用场景和变化

这个问题提醒我们，在模型微调过程中，数据质量与训练配置同等重要，需要综合考虑才能获得理想的微调效果。