scikit-learn中32位环境下LinearRegression的样本权重等价性测试失败问题分析

问题背景

在scikit-learn项目的持续集成测试中，发现了一个仅在32位Debian环境下出现的测试失败问题。该问题涉及LinearRegression模型的样本权重等价性测试，具体表现为当设置positive=True参数时，模型在使用样本权重拟合和重复数据点拟合两种方式下，预测结果存在显著差异。

问题现象

测试失败的具体表现为：

• 最大绝对差异达到2.51
• 最大相对差异达到2.17
• 15个测试样本中有6个(40%)不匹配

这种差异明显超出了正常的浮点数计算误差范围，表明存在更深层次的问题。

技术分析

通过深入调查，发现问题与以下因素相关：

1. SciPy版本差异：通过比对不同测试运行环境，发现通过测试的环境使用SciPy 1.14.1，而失败的环境使用SciPy 1.15.2。

2. NNLS算法实现变更：在SciPy 1.15.0版本中，nnls(非负最小二乘)算法被重新实现为Cython版本，这可能是导致32位环境下计算结果差异的根本原因。

3. 32位环境特殊性：问题仅在32位Linux环境下出现，64位环境和其他架构下均正常。这表明问题可能与32位环境下的数值计算处理方式有关。

根本原因

进一步分析表明，问题源于SciPy中NNLS算法的新实现。在32位环境下，该算法对样本权重处理的计算路径与原始实现存在差异，导致最终结果不一致。特别是：

• 新实现直接调用底层BLAS/LAPACK例程
• 32位环境下的浮点运算处理可能引入额外误差
• 样本权重缩放后的数值稳定性可能受到影响

解决方案

针对此问题，社区采取了以下措施：

1. 临时解决方案：在scikit-learn测试套件中，将该测试标记为预期失败(XFAIL)，以避免阻塞其他开发工作。

2. 长期修复：向SciPy项目报告此问题，并协助修复NNLS算法在32位环境下的实现问题。

3. 测试增强：考虑在测试中增加对32位环境的特殊处理，或调整数值比较的容差范围。

经验总结

此案例提供了几个重要的技术经验：

1. 数值算法的架构敏感性：数值计算算法的行为可能因运行环境架构(32/64位)而异，测试覆盖需要全面。

2. 依赖版本控制的重要性：即使是次要版本升级，也可能引入不兼容的行为变化。

3. 跨项目协作的价值：当问题涉及底层依赖时，需要与相关项目团队紧密合作解决。

4. 测试设计考虑：对于涉及数值比较的测试，需要合理设置容差并考虑不同运行环境的影响。

这个问题展示了开源生态系统中各组件间复杂的依赖关系，以及全面测试覆盖的重要性。通过社区协作，此类跨项目问题能够得到有效解决。