lm-evaluation-harness项目中Qwen2-1.5B模型评估异常问题分析

在模型评估过程中，研究人员发现使用lm-evaluation-harness评估Qwen2-1.5B模型时出现了性能异常低下的情况。经过深入排查，最终确定了问题根源并找到了解决方案。

评估结果显示，Qwen2-1.5B在arc_easy基准测试中的准确率仅为26.47%，在winogrande测试中为51.07%，这些结果远低于预期水平，接近随机猜测的表现。更令人困惑的是，同系列的Qwen1.5-1B8模型在相同测试中表现正常，arc_easy的准确率达到59.01%，这表明问题并非普遍存在于所有Qwen系列模型中。

进一步测试发现，该模型在MMLU基准测试中也表现出类似的异常低分，整体准确率仅为22.95%，远低于预期值。这一现象引起了研究人员的重视，因为多个基准测试同时出现异常，表明问题可能具有系统性。

经过深入分析，研究人员最终确定问题根源在于模型推理时的精度设置。Qwen2-1.5B模型需要以BF16或FP32精度进行推理，而使用FP16精度会导致性能严重下降。这一发现解释了为何模型在评估中表现异常。

这个案例为模型评估工作提供了重要启示：

1. 模型评估时需要考虑推理精度的设置
2. 同一系列的不同模型可能对计算精度有不同要求
3. 评估结果异常时，计算精度是重要的排查方向之一

研究人员建议，在使用lm-evaluation-harness进行模型评估时，特别是评估较新或特殊架构的模型时，应当注意检查推理精度设置，确保与模型设计要求一致，以获得准确的评估结果。