QwenLM/Qwen项目中MMLU评估模块的字母与数字匹配问题分析

问题背景

在QwenLM/Qwen项目的MMLU(Massive Multitask Language Understanding)评估模块中，发现了一个影响评估结果准确性的关键问题。MMLU作为衡量语言模型多任务理解能力的重要基准测试，其评估结果的准确性直接关系到模型性能的客观判断。

问题现象

评估模块在进行答案匹配时，出现了预测结果与参考答案格式不一致的情况：

• 预测结果(pred)以字母形式表示（如"A"、"B"、"C"、"D"）
• 参考答案(answer_list[i])则以数字形式存储（如0、1、2、3）

这种格式不一致导致所有比较结果都为False，最终计算出的准确率恒为0，完全失去了评估意义。

技术分析

原始代码逻辑缺陷

原始代码中的关键匹配逻辑存在明显缺陷：

pred = {0: "A", 1: "B", 2: "C", 3: "D"}[np.argmax(probs[i])]
correct = 1 if pred == answer_list[i] else 0

这里直接将字母形式的pred与数字形式的answer_list[i]进行比较，类型不匹配导致比较永远不成立。

问题影响

1. 评估失效：所有测试结果准确率均为0，无法反映模型真实性能
2. 调试困难：除非仔细检查代码，否则难以发现这个隐蔽的类型不匹配问题
3. 结果误导：可能让开发者误以为模型在MMLU任务上表现极差

解决方案

修正方案原理

解决方案的核心思想是统一比较双方的数据类型。有两种可行方案：

1. 将参考答案转换为字母形式：

ref_answer = {0: "A", 1: "B", 2: "C", 3: "D"}[answer_list[i]]
correct = True if pred == ref_answer else False

2. 将预测结果转换为数字形式：

pred_num = {"A":0, "B":1, "C":2, "D":3}[pred]
correct = 1 if pred_num == answer_list[i] else 0

方案选择建议

第一种方案更为合理，因为：

1. 预测结果已经是模型输出的自然形式
2. 字母选项更符合人类阅读习惯
3. 调试时输出更直观

实现细节

修正后的完整代码段应包含以下关键改进：

1. 建立参考答案的数字到字母映射
2. 在比较前统一转换参考答案格式
3. 添加调试输出以验证转换正确性

# 建立参考答案映射
ref_map = {0: "A", 1: "B", 2: "C", 3: "D"}

for i in range(len(probs)):
    # 计算各选项概率
    for j, choice in enumerate(choices):
        all_probs[f"prob_{choice}"].append(probs[i][j])
    
    # 获取预测结果（字母形式）
    pred = {0: "A", 1: "B", 2: "C", 3: "D"}[np.argmax(probs[i])]

    if answer_list != []:
        # 转换参考答案为字母形式
        ref_answer = ref_map[answer_list[i]]
        correct = True if pred == ref_answer else False
        score.append(correct)
        if args.debug:
            print(f'问题: {question} 预测: {pred} 参考答案: {ref_answer}')
    result.append(pred)

测试验证

修正后应进行以下验证步骤：

1. 检查预测结果和参考答案的格式是否一致
2. 验证比较逻辑是否正确
3. 确认准确率计算恢复正常
4. 检查调试输出是否清晰显示预测与参考答案

经验总结

1. 类型一致性：在比较操作前必须确保操作数类型一致
2. 防御性编程：添加类型检查或转换可以避免此类问题
3. 测试覆盖：评估模块本身也需要充分的测试用例
4. 调试输出：关键比较点应输出详细信息以便验证

这个问题提醒我们，在实现评估指标时，不仅要关注算法逻辑，还要注意数据格式的兼容性，特别是当数据来自不同来源时，类型转换往往是容易被忽视的细节。