lm-evaluation-harness项目中MBPP任务pass@k指标实现问题分析

在EleutherAI的lm-evaluation-harness项目中，MBPP（Microsoft Big Programming Problems）和MBPP+这两个代码生成评估任务目前存在pass@k指标实现的问题。本文将深入分析该问题的技术背景、原因及解决方案。

问题背景

MBPP是一个流行的代码生成基准测试，用于评估模型生成Python函数的能力。与HumanEval类似，它需要计算pass@k指标来衡量模型生成正确代码的概率。然而在lm-evaluation-harness项目中，MBPP任务目前仅支持pass@1指标，且当尝试扩展为pass@k（k=5,10等）时会出现准确率归零的问题。

技术分析

问题的核心在于MBPP任务的数据处理流程存在两个关键点：

1. 过滤器配置问题：默认情况下，lm-evaluation-harness会使用take_first过滤器，该过滤器只保留每个问题的第一个生成结果。这显然不适合pass@k指标的计算，因为我们需要保留多个生成样本。

2. 代码执行方式差异：与HumanEval不同，MBPP要求模型从头开始生成完整的函数，而不是完成部分函数。因此在代码执行评估阶段需要特殊处理：

   • HumanEval需要将生成内容与提示拼接后执行
   • MBPP则直接执行生成的完整函数

解决方案

要实现MBPP任务的pass@k指标，需要进行以下修改：

1. 修改过滤器：将默认的take_first过滤器替换为passthrough过滤器，确保保留所有生成样本：

def build_predictions(resps: list[list[str]], docs: list[dict]) -> list[list[str]]:
    return resps

2. 调整评估逻辑：确保code_eval正确执行MBPP生成的完整函数，而不是像HumanEval那样拼接部分代码。

实现建议

在实际应用中，开发者需要注意：

1. MBPP和HumanEval虽然都是代码生成任务，但在评估实现上有重要区别
2. 多生成样本评估需要确保所有样本都被保留并正确传递给评估器
3. 代码执行环境需要正确处理不同任务的生成格式差异

该问题的解决方案已经过验证，可以稳定支持MBPP和MBPP+任务的pass@k指标计算。未来可以考虑将该修复合并到主分支，为社区提供更全面的评估能力。

对于代码生成评估任务的研究者，理解这些底层实现细节对于正确解读评估结果至关重要，特别是在比较不同模型或不同基准测试的性能时。