OpenCompass中Qwen1.5系列模型在C-Eval基准测试的性能分析

背景介绍

OpenCompass作为大型语言模型评估平台，持续跟踪各类开源模型的性能表现。近期，社区用户对Qwen1.5系列模型在C-Eval基准上的表现提出了验证需求。C-Eval是一个全面的中文语言理解评估基准，涵盖多个学科领域，是衡量模型中文能力的重要指标。

Qwen1.5系列模型测试结果

根据OpenCompass官方测试数据和社区验证，Qwen1.5系列不同规模模型在C-Eval基准上的表现如下：

模型规格	C-Eval开发集	C-Eval测试集
Qwen1.5-7B-Chat	70.62	68.18
Qwen1.5-32B-Chat	81.47	80.66
Qwen1.5-72B-Chat	82.44	81.37

从结果可以看出，随着模型规模的增大，性能呈现明显的提升趋势。7B到32B的跃升尤为显著，提升了约10个百分点；而从32B到72B的提升则相对平缓，约1个百分点。

测试注意事项

1. 测试配置：对于未提供标准配置的模型规格，用户可参考相近规格的配置文件进行修改，主要调整模型路径和GPU数量等参数。

2. 特殊基准说明：

   • lcbench数据集目前尚未公开
   • hellaswag、TheoremQA和sanitized_mbpp等基准的提示词设计可能存在优化空间
   • 数学能力测试采用0-shot设置，与常见排行榜的4-shot设置不同

3. 结果验证：社区测试结果与官方数据高度吻合，证实了评估的可靠性。

技术意义

这些结果表明Qwen1.5系列模型在中文理解任务上具有强大的能力，特别是32B及以上规模的模型表现尤为突出。对于中文NLP应用场景，这些数据为模型选型提供了重要参考。

测试结果也反映了模型规模与性能之间的非线性关系：在7B到32B阶段，增加参数带来的性能提升显著；而超过32B后，性能提升趋于平缓，这为计算资源投入与性能回报的权衡提供了实证依据。