lm-evaluation-harness项目中目标分隔符对评估结果的影响分析

在大型语言模型评估过程中，目标分隔符(target_delimiter)的设置对评估结果会产生显著影响。本文基于lm-evaluation-harness项目中的实际案例，深入分析这一技术细节及其对模型性能评估的影响。

问题背景

在语言模型评估框架中，目标分隔符用于分隔提示文本和目标答案。默认情况下，lm-evaluation-harness项目使用空格作为分隔符(target_delimiter=" ")。这种设计对于基础模型来说是合理的，但当评估使用聊天模板的模型时，这种默认设置可能导致意外结果。

问题表现

在mmlu_pro评估任务中，研究人员发现了一个微妙但重要的差异：在few-shot示例中，模型答案直接紧接在分隔符后(如"A")，而实际评估问题时，答案前却意外地多了一个空格字符(如" I")。这种差异源于评估框架默认添加的空格分隔符。

影响分析

这种看似微小的差异对评估结果产生了显著影响。测试数据显示：

• 当使用空格作为分隔符时，70B参数模型的性能表现异常，几乎与8B模型相当
• 移除空格分隔符后，评估结果与HuggingFace Leaderboard的分数完全匹配
• 性能差异表明，空格字符可能干扰了模型对选项标记的理解和处理

技术原理

这种现象的根本原因与tokenizer的工作机制有关：

1. 在few-shot示例中，答案作为长文本序列的一部分被tokenize
2. 在实际评估时，答案作为独立字符被tokenize
3. 某些tokenizer(如HuggingFace的tokenizer)具有"add_prefix_space"特性
4. 空格的存在可能导致选项字母被tokenize为不同的token ID

解决方案

针对这一问题，项目组采取了以下改进措施：

1. 对于使用聊天模板的任务，将target_delimiter设置为空字符串
2. 通过配置yaml文件明确指定分隔符行为
3. 确保评估设置与实际应用场景一致

实践建议

基于这一案例，我们建议在模型评估时注意以下几点：

1. 仔细检查tokenizer的特殊处理行为
2. 对于聊天模型，考虑禁用默认的分隔符
3. 进行评估前，验证输入输出的格式一致性
4. 比较不同设置下的评估结果，确保结论的可靠性

这一案例展示了评估框架中微小细节可能对结果产生的重大影响，强调了评估设置严谨性的重要性。