Qwen2.5-72B-Instruct模型数学能力评测差异分析

在Qwen2.5系列大语言模型的评测过程中，研究人员发现了一个值得关注的现象：Qwen2.5-72B-Instruct模型在数学能力测试中，自测分数与官方榜单分数存在显著差异。这一现象引发了我们对大模型评测方法学的深入思考。

评测差异现象

测试数据显示，当使用OpenCompass标准评测流程时，Qwen2.5-72B-Instruct模型在数学数据集上的得分仅为49.18分。然而，官方公布的榜单分数却明显高于这一结果。经过仔细排查，发现问题根源在于评测提示词(prompt)的设计差异。

提示词设计的关键影响

研究发现，评测分数差异主要源于两种不同的提示词构造方式：

1. 系统消息包含CoT提示：将"请逐步推理，并将最终答案放在\boxed{}中"的提示放在系统消息中，这种方式得分较低。
2. 用户消息包含CoT提示：将同样的提示整合到用户问题中，这种方式能显著提高模型表现。

技术分析表明，当CoT提示作为系统消息时，模型可能没有充分将其与具体问题关联，导致推理过程不够系统化。而将提示直接嵌入用户问题中，则能更好地引导模型按照预期方式思考和回答。

评测方法优化

通过调整评测脚本中的提示词构造方式，研究人员成功将模型得分从49.18提升至75.18。这一改进证实了：

1. 大语言模型对提示词的构造方式极为敏感
2. 评测方法的设计直接影响模型能力的客观评估
3. 系统消息和用户消息的定位差异会影响模型响应质量

工程实践建议

基于这一发现，我们建议在评估和使用Qwen2.5系列模型时注意以下几点：

1. 对于数学推理任务，建议将解题要求直接整合到问题描述中
2. 系统消息更适合用于设定角色和基本行为准则
3. 关键的任务指令应放在用户消息中以确保执行效果
4. 进行模型能力对比时，必须确保评测方法的一致性

这一案例不仅揭示了Qwen2.5模型的特性，也为大语言模型的评测方法学提供了重要参考。它提醒我们，在评估模型能力时，不能忽视评测方法本身可能带来的偏差。