PyTorch BoTorch 项目中发现 SciPy 1.15 导致的性能下降问题分析

在 PyTorch BoTorch 项目中，开发团队最近发现了一个与 SciPy 版本升级相关的性能问题。当项目从 SciPy 1.14.1 升级到 1.15 版本后，在持续集成(CI)环境中运行教程时出现了显著的性能下降，某些情况下运行时间增加了4倍以上。

性能下降现象

通过对比两个不同日期的CI运行结果，可以清晰地观察到性能差异：

• 使用 SciPy 1.14.1 时：

  • GIBBON教程运行时间：19.36秒
  • 多目标多保真度BO教程：149.58秒
  • baxus教程：978.33秒
  • 带扭曲GP的BO教程：237.89秒

• 升级到 SciPy 1.15 后：

  • GIBBON教程运行时间增加到39.89秒
  • 多目标多保真度BO教程增加到483.36秒
  • baxus教程和带扭曲GP的BO教程甚至超过了30分钟的最大运行时间限制

问题特点

1. 环境特异性：这个问题在开发者的M1 Mac设备上无法复现，表明它与CI环境配置密切相关，可能与底层数值线性代数库有关。

2. 影响范围：性能下降影响了多个教程，特别是计算密集型的贝叶斯优化相关教程。

3. 内存影响：虽然运行时间显著增加，但内存使用情况变化不大，表明问题主要与计算效率而非内存管理相关。

技术分析

这种性能下降可能有几个潜在原因：

1. 线性代数后端变化：SciPy 1.15可能更改了默认的线性代数后端实现，或者CI环境中相关数学库的链接方式发生了变化。

2. 算法实现调整：新版本中某些数值算法的实现可能有调整，导致在特定硬件或操作系统上的性能变化。

3. 线程管理问题：可能涉及多线程处理的配置变化，导致在某些环境下的并行效率降低。

解决方案

开发团队通过锁定SciPy版本来解决这个问题，确保在问题根本原因查明前使用已知性能良好的版本。这种做法在依赖关系管理中很常见，特别是当性能对版本敏感时。

对用户的建议

1. 版本控制：在科学计算项目中，密切监控依赖库版本升级对性能的影响。

2. 性能基准测试：建立定期性能测试机制，及时发现版本升级带来的性能变化。

3. 环境一致性：确保开发、测试和生产环境的一致性，避免因环境差异导致的问题。

这个问题提醒我们，在科学计算和机器学习项目中，即使是次要版本升级也可能带来显著的性能影响，需要谨慎对待依赖管理。