从感知机到多层感知机:在 generative-ai-for-beginners 中手写反向传播与自己的神经网络框架

原创2026-09-09 19:16:002,475 阅读
文章标签:人工智能大模型教程示例工程提示工程RAGAI Agent微调向量数据库教育

从感知机到多层感知机:在 generative-ai-for-beginners 中手写反向传播与自己的神经网络框架

本篇技术指南以 generative-ai-for-beginners 课程中《Introduction to Neural Networks. Multi-Layered Perceptron》一文为骨架,系统讲解机器学习问题的形式化、损失函数、梯度下降与随机梯度下降(SGD),以及多层感知机(MLP)的核心训练算法——反向传播(backpropagation)。读者将掌握如何用 Python 自建一个模块化的神经网络框架,理解现代神经网络"前向计算 + 反向求导"的底层原理,并最终用该框架完成 MNIST 手写数字分类任务。

为什么需要从单层感知机走向多层感知机

课程的知识体系是循序渐进的。在更早的 perceptron.md 中,我们接触了由 Frank Rosenblatt 于 1957 年提出的感知机模型——一个用于二分类的线性模型,其输出为 y(x) = f(wᵀx),其中 f 是阶跃激活函数,输入特征向量 x 的每个维度对应一个权重。

单层感知机的能力边界非常明确:它只能划分线性可分的两类数据。一旦类别边界弯曲、或者需要同时区分多个类别,单层模型就失效了。这正是本文要解决的问题——把感知机扩展为更灵活的框架,使其能够:

  • 在二分类之外执行多分类(multi-class classification);
  • 在分类之外求解回归问题(regression);
  • 分离线性不可分的类别。

达成这些目标的手段,是组合多个网络层形成多层感知机(Multi-Layered Perceptron, MLP),并配套地实现可训练任意层参数的优化算法——反向传播。更重要的是,课程要求我们自己动手,用 Python 构建一个模块化的神经网络框架,用这个框架去搭建不同的网络架构,而不是直接套用现成的深度学习库。

机器学习问题的形式化:数据集、模型、损失函数与参数

在动手写代码之前,先把问题用数学语言严格定义。假设我们有训练数据集 X 及其标签 Y,需要构建一个模型 f,使其预测尽可能准确。预测质量用损失函数(Loss Function) ℒ 度量,常用的损失函数如下:

问题类型 损失函数 数学形式
回归(预测数值) 绝对误差(absolute error) `∑ᵢ
回归(预测数值) 平方误差(squared error) ∑ᵢ(f(x⁽ⁱ⁾) − y⁽ⁱ⁾)²
分类 0-1 损失(等价于模型准确率) 预测正确计 0,错误计 1
分类 逻辑损失(logistic loss) 基于逻辑回归输出的概率损失

对于单层感知机,模型 f 是线性函数 f(x) = wx + b,其中 w 是权重矩阵,x 是输入特征向量,b 是偏置向量。对于更复杂的网络架构,f 的形式会更复杂,但"用损失函数衡量好坏、通过调整参数降低损失"的基本框架不变。

注意 softmax 的关键作用:在分类任务中,我们通常希望网络的输出是"属于各个类别的概率"。为了把任意实数输出转换成概率(即归一化输出),常使用 softmax 函数 σ,此时模型变为 f(x) = σ(wx + b)。

在 f 的定义中,w 和 b 被称为参数,记作 θ = ⟨w, b⟩。给定数据集 ⟨X, Y⟩,可以算出整个数据集上的总误差,它是参数 θ 的函数。

✅ 神经网络训练的目标,就是通过改变参数 θ 来最小化误差。

梯度下降优化:从全量到小批量

误差是参数的函数,最小化它需要一种通用的函数优化方法——梯度下降(Gradient Descent)。其核心思想是:计算损失函数关于参数的导数(在多维情况下称为梯度),然后沿着让误差减小的方向调整参数。形式化描述如下:

  1. 初始化:用随机值初始化参数 w⁽⁰⁾, b⁽⁰⁾;
  2. 反复迭代(执行很多次):
    • w⁽ⁱ⁺¹⁾ = w⁽ⁱ⁾ − η·∂ℒ/∂w
    • b⁽ⁱ⁺¹⁾ = b⁽ⁱ⁾ − η·∂ℒ/∂b

其中 η 是学习率(learning rate),控制每一步参数调整的幅度;∂ℒ/∂w、∂ℒ/∂b 是损失对参数的偏导数。

理论上,每一步优化都应基于整个数据集计算(因为损失本身是所有训练样本损失之和)。但在实际训练中,我们取数据集的一小部分,称为 minibatch(小批量),基于这批子集数据计算梯度。由于每次选取的子集都是随机的,这种方法被称为随机梯度下降(Stochastic Gradient Descent, SGD)。SGD 是当前所有深度学习框架训练神经网络的事实标准,它在大数据集上显著降低了单步计算成本,并天然引入随机性,往往有助于逃离局部极小值。

多层感知机与反向传播

多层网络的前向计算

如前所述,单层网络只能划分线性可分的类别。为了构建更强的模型,我们把多个层组合起来。数学上,模型 f 变成更复杂的形式,分几步计算:

  • z₁ = w₁x + b₁
  • z₂ = w₂α(z₁) + b₂
  • f = σ(z₂)

其中:

  • α 是非线性激活函数(如 ReLU、tanh、sigmoid 等),它赋予网络表达非线性决策边界的能力;
  • σ 是 softmax 函数;
  • 参数集合扩展为 θ = ⟨w₁, b₁, w₂, b₂⟩。

中间层 z₁ 经过激活函数 α 之后才进入下一层,这个"非线性"是神经网络表达能力的关键——如果层与层之间只有线性变换,那么再多层也等价于一个线性模型,永远无法处理线性不可分的类别。

反向传播:用链式法则逐层回传梯度

多层化之后,梯度下降算法本身不变,但计算梯度变得困难了:损失函数到第一层权重 w₁ 之间隔着 softmax、第二层线性变换、激活函数等多道关卡。解决办法是链式求导法则(chain rule),把复合函数的导数拆解成逐层偏导的乘积:

  • ∂ℒ/∂w₂ = (∂ℒ/∂σ)·(∂σ/∂z₂)·(∂z₂/∂w₂)
  • ∂ℒ/∂w₁ = (∂ℒ/∂σ)·(∂σ/∂z₂)·(∂z₂/∂α)·(∂α/∂z₁)·(∂z₁/∂w₁)

✅ 链式求导法则用于计算损失函数关于参数的导数。

观察上面两个式子可以发现一个非常重要的性质:所有表达式最左侧的部分是相同的(都是 (∂ℒ/∂σ)·(∂σ/∂z₂))。因此,我们可以从损失函数出发,沿着计算图**"从后往前"**高效地复用这些中间梯度。这正是"多层感知机训练方法被称为 backpropagation(反向传播,简称 backprop)"的原因——梯度信息从输出端逐层回传,每层的局部梯度只需计算一次。

用这个框架理解现代深度学习引擎也毫不费力:前向传播把输入逐层变换得到输出和损失,反向传播从损失开始逐层回传梯度,优化器再用梯度更新每一层的参数,如此循环直至收敛。

在仓库中的位置:一份被 RAG 课程当作知识库语料的神经网络讲义

值得强调的是,本文档在仓库中有一个独特的角色:它既是独立的神经网络理论讲义,又是 第 15 课 RAG 与向量数据库 中用于 grounding LLM 的真实知识库数据。该课的 README 明确说明其场景是"把《AI for beginners》的神经网络课程内容作为数据,让聊天机器人基于这些笔记生成测验题、复习闪卡和摘要"。

在 notebook-rag-vector-databases.ipynb 中,可以看到加载知识库语料的 data_paths 列表,其中明确包含了三个文件:

  • data/frameworks.md(神经网络框架与过拟合)
  • data/own_framework.md(本文,多层感知机与反向传播)
  • data/perceptron.md(单层感知机)

也就是说,这篇关于多层感知机的讲义会被切块(chunking)、转成 embedding 向量、存入向量数据库并建立搜索索引;当用户提问"what is a perceptron?"这类问题时,检索器找到最相近的语料块,拼进 prompt,再交给 gpt-4o-mini 等 LLM 生成 grounded 的答案。从源码结构看,这份"神经网络三件套"文档既是理论知识,也充当了 RAG 应用的可验证语料——学完本文的数学原理,再回到 notebook-rag-vector-databases.ipynb 观察这些文本如何被嵌入与检索,可以形成"理论 → 工程"的完整闭环。

动手实践:自建框架并挑战 MNIST

🚀 挑战:实现自己的训练框架

本文的配套任务是实现一个属于自己的、可构建并训练多层感知机的框架,从而细致观察现代神经网络是如何运转的:

  • 用 Python 定义线性层(权重矩阵 + 偏置)、激活函数与 softmax 输出层;
  • 为每个算子实现 forward(前向)与 backward(反向)两个方向:forward 计算输出,backward 依据链式法则逐层回传梯度;
  • 实现基于 minibatch 的 SGD 优化循环,用梯度更新各层参数。

关于"在框架中手写梯度"的代价,frameworks.md 中有更深入的讨论:numpy 能完成张量运算(矩阵乘、加法、sigmoid、softmax 等),但计算任意表达式的梯度需要专门机制——在我们自建的框架里,必须手动在 backward 方法中编写所有导数函数。这正是理解 PyTorch、TensorFlow 自动微分(autograd)机制的最佳铺垫:自动微分框架本质上是把这份手工工作自动化。

📝 任务:MNIST 手写数字分类

本实验(Assignment)要求使用课堂上构建的框架,解决 MNIST 手写数字分类问题:

  • 数据集:70,000 张 28×28 的手写数字灰度图,共 10 个类别(0–9),输入维度 784;
  • 模型:由若干全连接层堆叠而成的多层感知机,末尾接 softmax 输出;
  • 训练:用 SGD 配合交叉熵/逻辑损失迭代优化;
  • 评估:在测试集上衡量分类准确率。

这个任务完美覆盖了本文的全部要点:多分类(10 类,需要 softmax 而非阶跃函数)、非线性可分(数字之间边界复杂,单层感知机无法胜任)、以及通过反向传播高效训练多层网络。

小结与延伸学习

本节我们完成了一次"从零搭建神经网络"的旅程:

  1. 形式化:用损失函数 ℒ 度量模型 f 的预测质量,用参数 θ 描述模型,训练目标即最小化 ℒ;
  2. 优化:用梯度下降更新参数,实践中以小批量(minibatch)进行随机梯度下降(SGD);
  3. 多层化:组合多个带非线性激活的层,使模型具备处理多分类、回归和线性不可分问题的能力;
  4. 反向传播:借助链式求导法则从损失函数出发沿计算图回传梯度,高效计算每一层的参数梯度。

反向传播是 AI/ML 领域最基础的通用算法,值得深入研究。下一步建议:回到 notebook-rag-vector-databases.ipynb 完成配套的 OwnFramework 练习,再把学到的多层感知机知识放进 RAG 知识库,观察"一份能讲清感知机与反向传播的讲义",如何通过 embedding 与向量检索变成聊天机器人的可靠上下文。

登录后查看全文
generative-ai-for-beginners