scikit-learn中稀疏矩阵线性回归的样本权重一致性问题

在机器学习库scikit-learn的使用过程中，我们发现当使用稀疏矩阵(如csr_array)作为输入数据时，LinearRegression模型在样本权重处理上存在不一致性问题。这个问题在用户设置或不设置样本权重时，会导致模型系数出现显著差异。

问题现象

当使用稀疏矩阵作为输入特征X时，LinearRegression模型会出现以下异常情况：

1. 即使样本权重设置为单位权重(即所有样本权重为1)，模型系数与不设置样本权重时的结果不一致
2. 这种不一致性在设置fit_intercept为True或False时都会出现
3. 使用密集矩阵(dense array)作为输入时，不会出现此问题

技术分析

经过深入分析，我们发现问题的根源在于LinearRegression在处理稀疏矩阵时使用的底层求解器scipy.sparse.linalg.lsqr。这个求解器对数值精度和收敛条件较为敏感，特别是在处理样本权重时。

对比Ridge回归模型(当alpha=0时理论上等同于线性回归)的表现，我们发现：

1. 当设置较小的容差(tol=1e-12)时，Ridge回归能够保持样本权重一致性
2. 但当容差设置较大(tol=1e-4)时，Ridge回归也会出现类似的不一致问题

这表明数值精度和求解器的收敛条件对结果有重要影响。

解决方案建议

针对这一问题，我们建议采取以下改进措施：

1. 在LinearRegression中暴露tol参数，允许用户控制求解精度，类似于Ridge回归的做法
2. 设置默认的严格容差值，基于输入数据的dtype自动确定
3. 在文档中明确说明稀疏矩阵输入时的数值精度注意事项

这些改进将有助于确保模型在不同输入形式和样本权重设置下保持结果的一致性，提高模型的可靠性和可预测性。

影响范围

该问题主要影响以下使用场景：

1. 使用稀疏矩阵作为输入数据的线性回归任务
2. 需要精确控制样本权重的应用场景
3. 对模型系数稳定性要求较高的应用

对于大多数使用密集矩阵的常规应用，不会受到此问题的影响。

结论

稀疏矩阵在线性回归中的应用需要特别注意数值精度问题。通过适当调整求解器参数和收敛条件，可以确保模型在不同设置下保持稳定和一致的表现。这一发现也为scikit-learn中其他基于稀疏矩阵的算法实现提供了有价值的参考。