从零实现神经网络：微分编程与线性回归基础

本文基于深度学习工作坊项目中的微分编程内容，重点讲解如何从零开始实现神经网络的基础组件。我们将以线性回归作为切入点，逐步深入理解梯度优化、损失函数等核心概念，为后续构建更复杂的神经网络模型打下坚实基础。

环境准备与基础概念

在开始之前，我们需要配置好计算环境并理解几个关键概念：

%load_ext autoreload
%autoreload 2
%matplotlib inline
%config InlineBackend.figure_format = 'retina'

import jax.numpy as np
from jax import jit
import numpy.random as npr
import matplotlib.pyplot as plt

微分编程是现代深度学习框架的核心，它允许我们自动计算导数，这对于训练神经网络至关重要。线性回归作为最简单的模型，是理解这一机制的理想起点。

线性回归模型解析

模型方程

线性回归的基本方程为：

$$y = wx + b$$

其中：

• $y$ 是输出变量（预测值）
• $x$ 是输入变量（特征）
• $w$ 是权重参数（斜率）
• $b$ 是偏置参数（截距）

我们的目标是找到最优的 $w$ 和 $b$ 值，使模型能最好地拟合观测数据。

数据生成与可视化

为了更好地理解，我们首先生成一些模拟数据：

# 真实参数值
w_true = 2.5  # 斜率
b_true = 1.0  # 截距

# 生成带噪声的线性数据
def make_y(x, w, b):
    return w * x + b + np.random.normal(scale=0.5, size=x.shape)

x = np.linspace(0, 1, 50)
y = make_y(x, w_true, b_true)

# 可视化真实数据
plt.scatter(x, y)
plt.xlabel('x')
plt.ylabel('y')
plt.title('模拟线性数据')

模型评估与损失函数

初始参数尝试

让我们尝试一组明显不合适的参数，观察模型表现：

w_bad = -5  # 错误斜率
b_bad = 3   # 错误截距

y_pred = w_bad * x + b_bad

plt.plot(x, y_pred, color='red', label='错误模型')
plt.scatter(x, y, label='真实数据')
plt.legend()
plt.title('错误参数下的模型表现')

均方误差(MSE)损失

为了量化模型的好坏，我们引入均方误差(Mean Squared Error)作为损失函数：

def mse(y_true, y_pred):
    return np.mean((y_true - y_pred)**2)

print(f"错误模型的MSE: {mse(y, y_pred):.2f}")

MSE衡量了预测值与真实值之间的平均平方差异，值越小表示模型拟合越好。

手动参数优化

通过交互式可视化，我们可以直观地感受参数变化对模型的影响：

from ipywidgets import interact, FloatSlider

@interact(w=FloatSlider(value=0, min=-10, max=10), 
          b=FloatSlider(value=0, min=-10, max=30))
def plot_model(w, b):
    y_pred = w * x + b
    plt.scatter(x, y)
    plt.plot(x, y_pred)
    plt.title(f"MSE: {mse(y, y_pred):.2f}")

手动调整参数时，我们会发现：

1. 当斜率$w$接近真实值2.5时，MSE减小
2. 当截距$b$接近真实值1.0时，MSE进一步减小
3. 最优参数组合使MSE达到最小值

自动优化原理

手动优化虽然直观，但不实用。自动优化依赖于梯度下降算法：

1. 计算损失函数对参数的梯度
2. 沿梯度反方向更新参数（因为我们要最小化损失）
3. 重复上述步骤直到收敛

对于线性回归，梯度计算如下：

• $\frac{\partial MSE}{\partial w} = -\frac{2}{n}\sum_{i=1}^n x_i(y_i - (wx_i + b))$
• $\frac{\partial MSE}{\partial b} = -\frac{2}{n}\sum_{i=1}^n (y_i - (wx_i + b))$

从线性回归到神经网络

理解线性回归的优化过程是掌握神经网络的基础，因为：

1. 神经网络可以看作是多层线性变换与非线性的组合
2. 训练过程同样使用梯度下降和反向传播
3. 损失函数的选择取决于任务类型（回归/分类）

在后续内容中，我们将把这里的知识扩展到：

• 逻辑回归（分类问题）
• 多层感知机
• 更复杂的神经网络结构

通过这种从简单到复杂的渐进式学习，读者可以扎实掌握深度学习的核心原理，而不仅仅是框架的使用方法。