Scipy-2017-sklearn项目中的监督学习回归分析教程

回归分析概述

在机器学习中，回归分析是一种用于预测连续输出变量的监督学习技术。与分类问题不同，回归问题处理的是数值型输出而非类别标签。本教程将基于Scipy-2017-sklearn项目中的回归分析示例，详细介绍线性回归和K近邻回归两种基本方法。

准备数据

我们首先创建一个简单的数据集，基于正弦曲线添加一些噪声：

import numpy as np
import matplotlib.pyplot as plt

# 生成-3到3之间的100个等间距点
x = np.linspace(-3, 3, 100)

# 添加随机噪声的正弦曲线
rng = np.random.RandomState(42)
y = np.sin(4 * x) + x + rng.uniform(size=len(x))

# 可视化数据
plt.plot(x, y, 'o')
plt.show()

线性回归模型

数据预处理

在应用线性回归前，我们需要将数据转换为适合scikit-learn API的格式：

# 将1D数组转换为2D特征矩阵
X = x[:, np.newaxis]

# 划分训练集和测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

模型训练与评估

from sklearn.linear_model import LinearRegression

# 创建并训练模型
regressor = LinearRegression()
regressor.fit(X_train, y_train)

# 查看模型参数
print('权重系数:', regressor.coef_)
print('截距项:', regressor.intercept_)

线性回归模型的预测公式为：y = 权重 × x + 截距

可视化结果

# 计算拟合线的两个端点
min_pt = X.min() * regressor.coef_[0] + regressor.intercept_
max_pt = X.max() * regressor.coef_[0] + regressor.intercept_

# 绘制结果
plt.plot([X.min(), X.max()], [min_pt, max_pt], label='拟合线')
plt.plot(X_train, y_train, 'o', label='训练数据')
plt.legend()
plt.show()

模型评估

使用R²分数评估模型性能：

score = regressor.score(X_test, y_test)
print(f"测试集R²分数: {score:.2f}")

特征工程改进

为了提高模型性能，我们可以添加非线性特征：

# 添加sin(4x)作为新特征
X_new = np.hstack([X, np.sin(4 * X)])

# 重新训练模型
X_train_new, X_test_new, y_train, y_test = train_test_split(X_new, y, test_size=0.25, random_state=42)
regressor_new = LinearRegression().fit(X_train_new, y_train)

# 评估改进后的模型
new_score = regressor_new.score(X_test_new, y_test)
print(f"改进后测试集R²分数: {new_score:.2f}")

K近邻回归

当数据关系不是线性时，K近邻回归可能是更好的选择：

from sklearn.neighbors import KNeighborsRegressor

# 创建并训练KNN回归模型
knn_reg = KNeighborsRegressor(n_neighbors=1)
knn_reg.fit(X_train, y_train)

# 预测并可视化
y_pred_train = knn_reg.predict(X_train)
plt.plot(X_train, y_train, 'o', label="真实值")
plt.plot(X_train, y_pred_train, 's', label="预测值")
plt.legend()
plt.show()

# 评估模型
knn_score = knn_reg.score(X_test, y_test)
print(f"KNN回归测试集R²分数: {knn_score:.2f}")

模型比较与选择

• 线性回归：简单、解释性强，但可能欠拟合复杂模式
• K近邻回归：更灵活，能捕捉局部模式，但可能过拟合噪声

在实际应用中，建议：

1. 先尝试简单模型（如线性回归）作为基准
2. 根据数据特点考虑添加非线性特征
3. 如果线性模型表现不佳，尝试KNN等非线性方法
4. 使用交叉验证评估模型泛化性能

实战练习

尝试在波士顿房价数据集上比较这两种回归方法：

from sklearn.datasets import load_boston

# 加载数据
boston = load_boston()
X, y = boston.data, boston.target

# 数据预处理和模型比较代码...

通过本教程，您应该已经掌握了回归分析的基本概念和实现方法。在实际项目中，还需要考虑特征缩放、正则化、模型调参等进阶技术来进一步提升模型性能。