LM-Evaluation-Harness项目中BBH与GPQA数据集总分计算方法解析

在开源项目LM-Evaluation-Harness中，BBH(BIG-Bench Hard)和GPQA(Graduate-Level Google-Proof Q&A)是两个重要的多任务评估数据集。这两个数据集都由多个子任务组成，但在Open-LLM-Leaderboard上展示的是模型在这两个数据集上的总体得分。

总分计算原理

根据项目维护者的说明，这两个数据集的总体得分采用的是**宏平均(macro-average)**的计算方法。具体而言：

1. 首先计算模型在每个子任务上的准确率
2. 然后将所有子任务的准确率进行简单平均
3. 最后对多选题目进行重新标度，使得随机猜测(如25%准确率)对应的得分为0

技术细节解析

宏平均方法的特点是每个子任务对最终得分的贡献权重相同，不论各子任务的样本量大小。这种方法适用于评估模型在不同类型任务上的整体表现，避免了样本量大的子任务主导总体得分的情况。

对于包含多项选择题的子任务，项目采用了重新标度的处理方式。例如，对于一个四选一的选择题，随机猜测的准确率是25%，经过重新标度后，这个基准值会被映射为0分，高于随机猜测的表现会得到正分，低于随机猜测则得到负分。

实际应用意义

这种计算方法确保了：

1. 不同规模的子任务具有同等重要性
2. 得分能够真实反映模型超越随机猜测的能力
3. 评估结果更具可比性和解释性

理解这一计算机制对于正确解读Open-LLM-Leaderboard上的模型表现至关重要，特别是当研究人员需要比较不同模型在BBH和GPQA数据集上的性能时。