CS231n 神经网络案例研究：从线性分类器到2层神经网络

引言

在深度学习中，理解神经网络如何从简单的线性分类器演变为复杂的非线性模型至关重要。本文将通过一个二维螺旋数据集的案例，详细讲解如何实现从Softmax线性分类器到2层神经网络的完整过程。这个案例来自CS231n课程，是理解神经网络基础原理的绝佳示例。

数据准备

螺旋数据集生成

我们首先生成一个非线性可分的螺旋数据集，这个数据集由三个类别组成，每个类别有100个样本点：

N = 100  # 每类样本数
D = 2    # 数据维度
K = 3    # 类别数
X = np.zeros((N*K,D))  # 数据矩阵
y = np.zeros(N*K, dtype='uint8')  # 类别标签

for j in range(K):
    ix = range(N*j, N*(j+1))
    r = np.linspace(0.0, 1, N)  # 半径
    t = np.linspace(j*4, (j+1)*4, N) + np.random.randn(N)*0.2  # 角度
    X[ix] = np.c_[r*np.sin(t), r*np.cos(t)]
    y[ix] = j

这个数据集的特点是三个类别的点呈螺旋状分布，无法用一条直线完美分隔，这正是我们需要的非线性可分数据集。

Softmax线性分类器

参数初始化

线性分类器的参数包括权重矩阵W和偏置向量b：

W = 0.01 * np.random.randn(D,K)  # 权重矩阵
b = np.zeros((1,K))  # 偏置向量

这里我们使用小随机数初始化权重，偏置初始化为零。

计算类别得分

线性分类器的得分计算非常简单：

scores = np.dot(X, W) + b

得到的scores矩阵大小为[300×3]，每行包含三个类别的得分。

计算损失函数

我们使用交叉熵损失函数，它由两部分组成：

1. 数据损失：所有样本的平均交叉熵损失
2. 正则化损失：L2正则化项

exp_scores = np.exp(scores)
probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True)

corect_logprobs = -np.log(probs[range(num_examples),y])
data_loss = np.sum(corect_logprobs)/num_examples
reg_loss = 0.5*reg*np.sum(W*W)
loss = data_loss + reg_loss

反向传播计算梯度

交叉熵损失关于得分的梯度计算非常优雅：

dscores = probs
dscores[range(num_examples),y] -= 1
dscores /= num_examples

然后我们可以计算权重和偏置的梯度：

dW = np.dot(X.T, dscores)
db = np.sum(dscores, axis=0, keepdims=True)
dW += reg*W  # 正则化项梯度

参数更新

使用梯度下降法更新参数：

W += -step_size * dW
b += -step_size * db

训练结果

经过200次迭代后，训练准确率仅为49%，这验证了线性分类器无法处理非线性可分数据：

scores = np.dot(X, W) + b
predicted_class = np.argmax(scores, axis=1)
print('training accuracy: %.2f' % (np.mean(predicted_class == y)))

2层神经网络

网络结构

我们在线性分类器的基础上增加一个隐藏层，形成2层神经网络：

• 输入层：2个神经元（对应2D输入）
• 隐藏层：100个神经元（使用ReLU激活函数）
• 输出层：3个神经元（对应3个类别）

参数初始化

h = 100  # 隐藏层大小
W = 0.01 * np.random.randn(D,h)
b = np.zeros((1,h))
W2 = 0.01 * np.random.randn(h,K)
b2 = np.zeros((1,K))

前向传播

hidden_layer = np.maximum(0, np.dot(X, W) + b)  # ReLU激活
scores = np.dot(hidden_layer, W2) + b2

关键变化是增加了ReLU非线性激活函数：max(0, x)。

反向传播

反向传播现在需要多计算一步：

1. 首先计算输出层的梯度（与之前相同）
2. 然后传播到隐藏层
3. 处理ReLU非线性
4. 最后传播到第一层参数

# 输出层梯度
dW2 = np.dot(hidden_layer.T, dscores)
db2 = np.sum(dscores, axis=0, keepdims=True)

# 隐藏层梯度
dhidden = np.dot(dscores, W2.T)

# ReLU梯度
dhidden[hidden_layer <= 0] = 0

# 第一层梯度
dW = np.dot(X.T, dhidden)
db = np.sum(dhidden, axis=0, keepdims=True)

训练结果

经过10000次迭代后，训练准确率达到98%，显著优于线性分类器：

hidden_layer = np.maximum(0, np.dot(X, W) + b)
scores = np.dot(hidden_layer, W2) + b2
predicted_class = np.argmax(scores, axis=1)
print('training accuracy: %.2f' % (np.mean(predicted_class == y)))

关键点总结

1. 非线性可分数据：螺旋数据集展示了线性分类器的局限性
2. Softmax分类器：简单但功能强大，适合线性可分问题
3. 神经网络扩展：只需增加一个隐藏层和ReLU激活，就能显著提升性能
4. 反向传播：通过链式法则高效计算梯度
5. ReLU激活：在前向传播中引入非线性，在反向传播中作为开关

这个案例清晰地展示了从线性模型到神经网络的关键转变，以及神经网络如何通过引入非线性来解决更复杂的问题。理解这个简单案例是掌握更复杂神经网络架构的重要基础。