D2L-KR项目：多层感知机中的欠拟合与过拟合问题解析

引言

在机器学习中，模型选择是一个核心问题。我们不仅希望模型能在训练数据上表现良好，更希望它能在未见过的测试数据上保持良好性能。本文将深入探讨多层感知机(MLP)中的欠拟合(underfitting)和过拟合(overfitting)现象，这是D2L-KR项目中关于模型选择的重要内容。

基本概念

训练误差与泛化误差

• 训练误差：模型在训练数据集上的误差
• 泛化误差：模型在从原始数据分布中抽取的无限数据流上的期望误差

由于我们无法获得无限数据流，通常使用独立测试集来估计泛化误差。

过拟合与欠拟合

• 过拟合：模型在训练数据上表现很好，但在测试数据上表现差
• 欠拟合：模型在训练数据上就无法达到令人满意的性能

模型复杂度的影响

模型复杂度是影响拟合情况的关键因素：

1. 可调参数数量：参数越多，模型越容易过拟合
2. 参数取值范围：参数取值范围越大，过拟合风险越高
3. 训练样本数量：样本越少，越容易过拟合

多项式回归示例

通过多项式回归可以直观展示模型复杂度的影响：

# 生成多项式特征
max_degree = 20
n_train, n_test = 100, 100
true_w = np.zeros(max_degree)
true_w[0:4] = np.array([5, 1.2, -3.4, 5.6])

features = np.random.normal(size=(n_train + n_test, 1))
poly_features = np.power(features, np.arange(max_degree).reshape(1, -1))
for i in range(max_degree):
    poly_features[:, i] /= math.gamma(i + 1)  # 使用gamma函数缩放
labels = np.dot(poly_features, true_w)
labels += np.random.normal(scale=0.1, size=labels.shape)

模型选择策略

验证数据集

为了进行模型选择，我们需要：

1. 将数据分为训练集、验证集和测试集
2. 使用验证集评估不同模型/超参数
3. 最终在测试集上评估选定模型的性能

K折交叉验证

当数据量有限时，可以使用K折交叉验证：

1. 将训练数据分成K个不重叠的子集
2. 进行K轮训练和验证，每轮使用K-1个子集训练，剩余子集验证
3. 最终取K轮结果的平均作为性能估计

实际案例分析

三阶多项式拟合(正常情况)

使用与数据生成相同阶数的多项式拟合：

train(poly_features[:n_train, :4], poly_features[n_train:, :4],
      labels[:n_train], labels[n_train:])

这种情况下，模型能够很好地捕捉数据模式，训练和测试误差都较低。

线性拟合(欠拟合)

使用线性模型(一阶多项式)拟合：

train(poly_features[:n_train, :2], poly_features[n_train:, :2],
      labels[:n_train], labels[n_train:])

模型过于简单，无法捕捉数据中的非线性模式，导致训练和测试误差都较高。

高阶多项式拟合(过拟合)

使用高阶多项式(20阶)拟合：

train(poly_features[:n_train, :], poly_features[n_train:, :],
      labels[:n_train], labels[n_train:], num_epochs=1500)

模型过于复杂，开始拟合训练数据中的噪声，导致训练误差很低但测试误差很高。

关键结论

1. 训练误差最小化不等于泛化误差最小化
2. 验证集应谨慎使用，避免信息泄露
3. 模型复杂度需要与数据量匹配
4. 欠拟合和过拟合都是需要避免的问题

在实际应用中，我们需要通过调整模型复杂度、使用正则化技术等手段来找到最佳平衡点。后续章节将介绍更多防止过拟合的具体方法，如权重衰减和dropout等。