Black项目在高并发环境下文件描述符泄漏问题分析

问题背景

在Black代码格式化工具的最新版本测试过程中，开发人员发现当测试环境具有较高的CPU核心数(如80核ARM64或256核SPARC架构)时，测试套件会在执行test_blackd.py测试文件时出现文件描述符耗尽的问题。具体表现为测试中途失败，随后pytest进程挂起无法正常退出。

问题现象

测试过程中会出现以下典型错误：

1. 操作系统返回"Too many open files"错误(Errno 24)
2. 测试用例test_blackd_request_needs_formatting和test_blackd_request_no_change相继失败
3. 测试进程最终无法正常退出，需要手动中断

技术分析

根本原因

问题根源在于Black的HTTP服务实现blackd中使用了ProcessPoolExecutor来处理并发请求。当系统CPU核心数较多时：

1. Python的ProcessPoolExecutor默认会创建与CPU核心数相同的worker进程
2. 每个worker进程需要多个文件描述符(管道、锁等)
3. 测试过程中没有及时清理这些资源
4. 系统默认的文件描述符限制(通常1024)很快被耗尽

相关技术细节

1. 进程池工作机制：Python的multiprocessing模块在创建子进程时会建立多个通信管道和同步原语，每个都需要文件描述符。

2. 资源泄漏点：测试表明即使显式调用shutdown()或添加gc.collect()也无法完全解决问题，说明可能存在更深层次的资源管理问题。

3. 并发环境差异：使用pytest-xdist时问题不出现，因为xdist改变了测试的执行方式。

解决方案

Black项目团队最终通过以下方式解决了这个问题：

1. 限制最大工作进程数：为ProcessPoolExecutor显式设置max_workers参数，避免在高核数系统上创建过多进程。

2. 资源清理优化：确保测试完成后正确清理所有进程池资源。

经验总结

这个问题给我们的启示：

1. 考虑极端环境：开发时需要考虑不同硬件配置下的表现，特别是高并发环境。

2. 资源管理重要性：使用进程池等资源密集型组件时，必须注意资源限制和及时释放。

3. 测试覆盖全面性：测试环境应该尽可能模拟各种可能的运行环境。

对于开发者来说，当实现类似功能时，建议：

• 显式设置资源限制
• 添加资源监控机制
• 编写针对资源泄漏的专项测试

这个问题也反映了Python多进程编程中需要特别注意的资源管理问题，特别是在高并发场景下。