在lm-evaluation-harness项目中评估Phi-3.5-mini模型时GSM8K指标异常问题分析

在使用EleutherAI的lm-evaluation-harness工具评估微调后的Phi-3.5-mini模型时，开发者可能会遇到一个典型问题：模型在GSM8K数学推理任务上表现异常，尽管人工测试显示模型能够正确回答问题，但评估工具给出的分数却为0。这种情况通常与模型的对话模板处理方式有关。

问题现象

当开发者使用lm-evaluation-harness评估微调后的Phi-3.5-mini模型时，发现：

• 在MMLU和Hellaswag等任务上评估正常
• 在GSM8K数学推理任务上得分为0
• 直接使用模型推理GSM8K问题却能获得正确答案

这种不一致的表现往往让开发者感到困惑，特别是当其他任务评估正常时。

根本原因

该问题的核心在于Phi-3.5-mini这类对话模型对输入格式的特殊要求。与基础语言模型不同，对话模型通常需要特定的对话模板来包装输入提示。GSM8K评估任务对输入格式更为敏感，因为：

1. 数学推理任务需要模型严格遵循指令格式
2. 对话模板缺失会导致模型无法正确理解评估问题的上下文
3. 不同任务对输入格式的敏感性不同，MMLU等任务可能对格式要求较低

解决方案

解决此问题的方法是在评估命令中添加--apply_chat_template参数，强制评估工具使用正确的对话模板包装输入。具体命令格式如下：

lm_eval --model hf \
    --model_args pretrained=模型路径 \
    --tasks gsm8k \
    --device cuda:0 \
    --apply_chat_template \
    --batch_size 8

深入理解

为什么这个参数如此重要？因为现代对话模型如Phi-3.5-mini通常使用特殊的标记和格式来区分系统提示、用户输入和模型响应。评估工具默认可能不会自动应用这些模板，导致：

1. 输入格式不符合模型预期
2. 模型无法识别评估问题的意图
3. 生成的响应不符合评估脚本的解析要求

调试建议

当遇到类似评估问题时，开发者可以：

1. 使用--log_samples参数记录样本输出，检查模型实际接收的输入和生成的响应
2. 比较有无--apply_chat_template时的输入差异
3. 对于不同任务，可能需要不同的模板处理方式
4. 检查模型文档，了解其预期的输入格式要求

总结

在使用lm-evaluation-harness评估对话模型时，特别是对于数学推理等对格式敏感的任务，正确应用对话模板至关重要。--apply_chat_template参数是解决此类评估问题的关键，它能确保评估输入符合模型的预期格式，从而获得准确的评估结果。这一经验也适用于评估其他类似结构的对话模型。