OpenCompass评测框架中AlignBench自动评分提取失败问题分析

问题背景

OpenCompass作为大模型评测框架，在评估模型性能时提供了AlignBench数据集的支持。AlignBench是一个专业的主观评测数据集，用于测试模型在专业领域知识、事实准确性等方面的表现。在最新使用过程中，开发者发现使用Auto-J模型进行自动评分时出现了评分提取失败的问题。

问题现象

当使用Auto-J双语6B模型作为评判模型对Qwen1.5-14B-Chat模型在AlignBench数据集上的表现进行评分时，系统虽然成功生成了评分预测结果，但在最终汇总阶段却提示"成功提取0个评分"。从日志中可以看到，系统处理了683个评判结果，但未能正确提取出任何有效评分。

技术分析

1. 评分结果格式分析

从实际生成的评分结果文件可以看出，Auto-J模型确实产生了评分输出，格式如下：

评分:[[3]] 

这种格式与OpenCompass预期的评分提取模式存在差异。当前的AlignmentBenchSummarizer默认设计是针对GPT-4等评判模型的输出格式优化的，而Auto-J模型的输出格式需要特殊处理。

2. 汇总器配置问题

核心问题在于summarizer的配置缺少对evaluator_type的明确指定。在OpenCompass中，AlignmentBenchSummarizer需要明确知道评判模型的类型，才能采用正确的正则表达式模式来提取评分。

3. 解决方案

正确的配置方式是在summarizer中明确指定evaluator_type参数：

summarizer = dict(type=AlignmentBenchSummarizer, evaluator_type='autoj')

这一配置会告诉汇总器使用专门为Auto-J模型设计的评分提取模式。

深入原理

OpenCompass的评分提取机制实际上采用了不同的正则表达式模式来适配不同评判模型的输出：

1. 对于GPT-4类模型，默认匹配"[[rating]]"格式
2. 对于Auto-J模型，需要匹配"评分:[[rating]]"格式
3. 其他评判模型可能有各自的输出惯例

这种设计提高了框架的扩展性，但要求用户在配置时明确指定评判模型类型，以确保评分能够被正确提取。

最佳实践建议

1. 在使用非默认评判模型时，务必检查并正确配置evaluator_type参数
2. 对于新集成的评判模型，建议先在小样本上测试评分提取功能
3. 开发自定义评判模型时，应保持评分输出格式的一致性，或提供相应的提取模式
4. 定期检查汇总日志，确保所有评分都被正确处理

总结

OpenCompass框架通过灵活的配置支持多种评判模型，但需要正确设置相关参数。AlignBench与Auto-J的结合使用需要特别注意evaluator_type的配置，这是保证自动评分流程完整性的关键。该问题的解决方案简单明了，体现了框架设计的高度可配置性，同时也提醒开发者需要充分了解各组件间的配合关系。

对于大模型评测工作，这种细节配置的正确性直接影响评测结果的可靠性，值得开发者特别关注。