SWE-bench项目中文本数据集生成的内存优化实践

背景介绍

在SWE-bench项目中，研究人员经常需要生成包含完整代码库信息的文本提示数据集。这一过程通过create_text_dataset.py脚本实现，但用户反馈该脚本存在两个主要问题：运行时间过长（预计9小时处理测试集）和内存不足导致的进程被终止问题。

问题分析

通过分析用户反馈和项目代码，我们发现该脚本在处理大型代码库时会遇到以下技术挑战：

1. 内存消耗过高：当使用--file_source all参数时，脚本需要加载并处理整个代码库的所有文件内容，这对内存提出了极高要求。

2. 处理效率低下：原始实现中每个样本处理需要约14秒，对于包含2294个样本的测试集，总处理时间达到9小时。

3. 稳定性问题：在多台不同机器上测试时，进程都在处理到2177/2294样本时被终止，表明存在系统性内存管理问题而非偶发情况。

解决方案

项目维护团队在v3.0.6版本中对该脚本进行了重要优化：

1. 内存管理重构：重新设计了数据处理流程，减少中间变量的内存占用，避免不必要的内存保留。

2. 流式处理优化：改进了文件读取和处理方式，采用更高效的流式处理方法，降低峰值内存使用量。

3. 性能提升：通过算法优化和并行处理改进，显著提高了处理速度。

实践建议

对于需要使用该功能的开发者，建议：

1. 升级到最新版本：确保使用v3.0.6或更高版本的SWE-bench，以获得最佳性能和稳定性。

2. 资源规划：虽然优化后内存需求降低，但仍建议在具有足够内存的机器上运行大规模数据处理任务。

3. 监控处理进度：定期检查处理进度和资源使用情况，确保任务正常执行。

4. 分批处理：对于特别大的数据集，考虑分批处理以进一步降低内存压力。

总结

SWE-bench团队通过持续优化核心数据处理脚本，显著改善了文本数据集生成的效率和稳定性。这一案例展示了在AI工程实践中，对数据处理流程进行系统性优化的重要性。开发者在使用类似工具时，应关注版本更新并根据实际需求选择合适的参数配置。