OpenCompass评估中eager注意力模式输出异常的解决方案

在使用OpenCompass评估工具对DeepSeek-R1-Distill-Qwen-7B模型进行GSM8K数据集测试时，开发者发现了一个值得注意的现象：当使用默认配置时评估结果正常，但启用attn_implementation=eager参数后，模型输出变成了异常的"!!!!!!!"符号。

问题现象分析

该问题出现在特定配置条件下：

1. 正常评估：使用默认的注意力实现方式，评估结果符合预期
2. 异常情况：当显式指定attn_implementation=eager参数时，模型输出质量显著下降

根本原因

经过技术分析，发现问题的根源在于OpenCompass默认设置的torch_dtype=torch.float16与eager注意力模式的兼容性问题。在eager模式下，float16精度的累积误差会被放大，导致注意力权重概率分布被破坏，最终表现为模型输出异常符号。

解决方案

针对这一问题，开发者提供了明确的解决方案：

1. 在模型参数中添加torch_dtype=bfloat16配置
2. 通过命令行参数传递：--model-kwargs "attn_implementation=eager,torch_dtype=bfloat16"

bfloat16浮点格式相比float16具有更大的动态范围，能够有效缓解eager模式下的数值稳定性问题，特别是对于Qwen2.5这类模型架构。

技术背景

1. 注意力实现模式：现代Transformer模型通常提供多种注意力实现方式，包括优化的flash attention和基础的eager模式
2. 数值精度影响：float16在连续矩阵运算中容易产生累积误差，而bfloat16保持了与float32相同的指数位，更适合深度学习计算
3. 框架默认行为：OpenCompass出于性能考虑默认使用float16，但在某些特定场景下需要调整

最佳实践建议

1. 在使用eager模式进行评估时，始终考虑数值精度设置
2. 对于特定模型架构(如Qwen系列)，建议优先测试bfloat16配置
3. 关注模型官方文档对数值精度的推荐设置

该问题的解决不仅修复了当前评估流程，也为OpenCompass未来的版本改进提供了方向，计划通过自动读取模型默认配置来避免类似问题。