OpenCompass评估Llama3-8B和Qwen2-7B模型时准确率为0的问题分析

在大型语言模型评估工具OpenCompass的使用过程中，部分用户遇到了一个典型问题：当使用生成模式(gen)评估Llama3-8B和Qwen2-7B等基础模型时，结果显示准确率为0%。本文将深入分析这一现象的原因，并提供正确的评估方法。

问题现象

用户在使用OpenCompass评估Llama3-8B和Qwen2-7B等基础模型时，特别是针对commonsense_qa数据集，发现评估结果中的准确率显示为0%。类似地，在评估truthfulqa数据集时，还会遇到关于truth_model未设置的错误提示。

根本原因分析

经过技术分析，这一问题主要源于两个关键因素：

1. 评估模式选择不当：基础模型(Base Model)不适合直接使用生成模式(gen)进行评估。生成模式通常适用于经过指令微调(Instruction-tuned)的模型，而基础模型更适合使用困惑度(perplexity, ppl)评估方法。

2. 数据集评估方法不匹配：对于多选类问题数据集(如commonsense_qa)，基础模型应该使用困惑度评估而非生成评估。生成评估更适合开放式问答场景。

解决方案

针对这一问题，OpenCompass官方给出了明确的解决方案：

1. 使用困惑度评估模式：对于基础模型，推荐使用ppl模式进行评估多选类问题。正确的命令格式如下：

python -u run.py --datasets commonsenseqa_ppl --hf-num-gpus 1 --hf-type base --hf-path meta-llama/Meta-Llama-3-8B --debug --model-kwargs device_map='auto' trust_remote_code=True --batch-size 8

2. 评估结果验证：使用正确的评估模式后，Llama3-8B在commonsense_qa数据集上的评估结果可达70.19%的准确率，这与预期性能相符。

技术建议

1. 模型类型与评估方法匹配：在使用OpenCompass进行评估时，必须注意模型类型(base/chat)与评估方法(gen/ppl)的匹配关系。基础模型应优先考虑ppl评估。

2. 数据集特性考量：不同数据集的设计目标不同，评估方法也应相应调整。多选类数据集通常更适合ppl评估，而开放式问答数据集则可以考虑gen评估。

3. 错误排查：当遇到评估结果为0%或预测结果为空时，首先应检查评估模式是否与模型类型匹配，其次确认数据集配置是否正确。

总结

OpenCompass作为专业的语言模型评估工具，其评估结果的准确性高度依赖于评估配置的正确性。本文分析的准确率为0%的问题，本质上是一个配置问题而非工具或模型本身的问题。通过正确理解模型特性和评估方法的关系，用户可以获取更准确的模型性能评估结果。

对于基础模型的评估，困惑度方法(ppl)通常能提供更稳定和可靠的评估结果，特别是在多选类问题的评估场景中。这一方法通过计算模型对各选项的困惑度来判断其选择倾向，避免了生成模式可能带来的格式解析问题。