XTuner与VLMEvalKit在MMBench评估结果差异分析

问题背景

在XTuner项目实践中，研究人员发现使用XTuner训练的LLaVA-Phi3模型在MMBench-Dev-EN基准测试中出现了评估结果不一致的情况。具体表现为：

• 使用XTuner原生评估工具得到的分数为0.7096
• 使用VLMEvalKit评估工具得到的分数为0.5498

这种显著差异引起了开发者的关注，经过深入分析，发现了问题根源并找到了解决方案。

原因分析

经过技术团队排查，发现导致评估结果不一致的核心原因在于模型配置参数设置不当。具体来说：

在VLMEvalKit的模型配置中，对于经过XTuner微调的LLaVA-Phi3模型，错误地将基础LLM路径设置为原始Phi-3模型（'microsoft/Phi-3-mini-4k-instruct'），而非微调后的模型路径。

这种配置错误会导致：

1. 评估时使用了未经微调的基础语言模型
2. 视觉特征与语言模型的适配性降低
3. 模型整体性能表现下降

解决方案

正确的配置方式应该是将llm_path和llava_path都指向微调后的模型路径（'xtuner/llava-phi-3-mini-xtuner'）。具体修改如下：

'llava-phi-3': partial(
    LLaVA_XTuner,
    llm_path='xtuner/llava-phi-3-mini-xtuner',  # 修改为微调后的模型路径
    llava_path='xtuner/llava-phi-3-mini-xtuner',
    visual_select_layer=-2,
    prompt_template='phi3_chat'),

技术启示

这一问题的解决过程为我们提供了以下重要经验：

1. 微调模型评估一致性：对于经过端到端微调的多模态模型，评估时必须确保所有组件都使用微调后的版本。

2. 配置参数验证：在使用不同评估工具时，需要仔细检查模型配置参数的对应关系，特别是当模型经过特殊处理（如微调）时。

3. 评估工具差异理解：不同评估工具可能有不同的默认假设，了解这些差异有助于正确解释评估结果。

4. 模型组件依赖关系：在多模态模型中，视觉编码器和语言模型的协同工作至关重要，任何组件版本不匹配都可能导致性能下降。

总结

XTuner与VLMEvalKit在MMBench评估结果上的差异案例，展示了在多模态模型评估中配置细节的重要性。通过正确设置模型路径，可以确保评估结果真实反映模型的实际性能。这一经验对于其他类似的多模态模型评估工作也具有参考价值，提醒开发者在模型评估过程中要特别注意配置参数的准确性。