评测aiXcoder-7B模型时Exact Match结果差异的原因分析

在评测aiXcoder-7B等代码生成模型时，研究人员发现使用fim-extended数据集测试得到的Exact Match(EM)结果与官方报告存在显著差异。经过深入分析，发现这主要与评测过程中的几个关键因素有关。

评测配置的重要性

评测代码生成模型时，以下几个配置参数对结果有重大影响：

1. 解码方式：官方使用的是argmax解码，这是最基础的贪婪搜索方法
2. 序列长度设置：
   • 最大输入序列长度：16K tokens
   • 最大生成长度：512 tokens
3. 输入格式：采用PSM(Prefix-Suffix-Middle)格式构造输入

后处理的影响

评测过程中的后处理步骤也会显著影响结果：

1. 字符串处理：对模型输出和ground truth都执行strip()操作，去除首尾空白字符
2. 严格匹配：仅当处理后字符串完全一致时才计为正确

常见问题排查

当评测结果与预期不符时，可以检查以下方面：

1. 输入长度设置：特别是当输入提示较长时，需要确保max_length足够容纳完整提示
2. 解码一致性：确认是否与官方使用相同的解码策略
3. 后处理流程：确保字符串处理的步骤完全一致

未来改进方向

官方表示当前的评测数据和方法是初版，未来会进行以下改进：

1. 进一步整理评测数据集
2. 标准化评测方法
3. 完整开源评测方案

这些改进将帮助研究社区更准确、一致地评估代码生成模型的性能。

对于希望复现评测结果的研究人员，建议密切关注官方更新，并确保所有评测参数和后处理步骤与官方保持一致，特别是在处理长提示时的输入长度配置。