NYU-DLSP20 卷积基础全解:神经网络可视化、参数变换与离散卷积

原创2026-10-10 23:44:111,927 阅读
文章标签:示例工程

NYU-DLSP20 卷积基础全解:神经网络可视化、参数变换与离散卷积

本文是 NYU Deep Learning Spring 2020(NYU-DLSP20)第 3 周讲座 A 部分(Yann LeCun 主讲)的技术讲义。你将系统掌握三个层面的知识:一是通过 6 层小网络的可视化实验理解神经网络"逐层仿射 + 非线性"的内部工作机制,并回答"为什么窄网络难训练";二是理解参数变换(含重权共享、超网络)及其反向传播公式;三是彻底吃透离散卷积的数学定义、深度学习框架中的"交叉相关"惯例、Stride 与 Padding 等实战细节,以及 CNN 设计背后的生物神经科学依据。读完本文,你将具备从原理到 PyTorch 实验(对应仓库中的 06-convnet.ipynb 与 02-space_stretching.ipynb)的完整知识链。

一、神经网络内部工作原理的可视化

本节的目标非常直观:把神经网络内部到底在做什么"画"出来。通过把输入限制在二维平面,我们可以在每个隐藏层之后观察数据点如何被变换,从而获得对网络行为的直觉。

1.1 可视化实验所用的 6 层网络结构

下图是本次可视化实验采用的网络结构:

6 层神经网络结构示意:粉色为输入神经元,蓝色为输出神经元,绿色为 4 个隐藏层

图 1:可视化实验的网络结构(来源:docs/ja/week03/03-1.md 配套插图)

画神经网络时通常约定:输入画在下侧(或左侧),输出画在上侧(或右侧)。图 1 中,粉色神经元代表输入,蓝色神经元代表输出,绿色部分是隐藏层。该网络共有 4 个隐藏层 + 1 个输入层 + 1 个输出层 = 6 层。

关键设计在于:每个隐藏层只有 2 个神经元,因此每一层的权重矩阵 WW 的维度都是 2×22 \times 2。之所以这样做,是因为我们希望把"输入平面"逐层变换成另一个仍然可以可视化的"平面"——输入、中间表示、输出全部落在二维空间里,变换过程一目了然。

1.2 "折叠空间":逐层仿射变换的可视化

二维平面被网络逐层折叠的散点可视化(folding space)

图 2:平面折叠(folding space)的可视化(来源:docs/ja/week03/03-1.md 配套插图)

每一层对数据的变换,相当于在特定区域把平面"折叠"起来。这种折叠看起来非常"生硬",原因是所有变换都被限制在二维平面上——2 个神经元构成的线性变换自由度太小,只能做旋转、缩放、切变这类操作,折叠只能沿着少数的方向发生。

实验者发现了一个值得深思的现象:当每个隐藏层只有 2 个神经元时,优化过程明显变慢;而隐藏层神经元越多,优化越容易。这引出一个核心问题:为什么隐藏层神经元越少,网络越难训练?读者可以先自行思考,我们将在 1.3 节可视化完 ReLU 之后给出答案。

1.3 ReLU 算子的可视化:非线性变换与线性可分

当网络逐层前向传播时,每一层执行的实际上是两步操作:

  1. 仿射变换(affine transformation):z=Wx+bz = Wx + b,即线性变换加偏置;
  2. 非线性激活 ReLU:σ(z)=max⁡(0,z)\sigma(z) = \max(0, z),把所有负值归零。

下图 (a)、(b) 展示了 ReLU 算子的可视化效果——平面的一部分(负值区域)被"压平"到零,形成折痕:

(a) (b)
ReLU 操作前的平面分布 ReLU 操作后的平面分布

(对应原文图 3(a)/(b),源图位于 docs/images/week03/03-1/Visual2a.png、docs/images/week03/03-1/Visual2b.png)

正是这个 ReLU 算子,为网络提供了非线性变换能力。经过多轮"仿射变换 + ReLU"的组合之后,原本线性不可分的数据,最终可以被超平面线性分离——这正是多层神经网络能够解决复杂分类问题的本质:非线性激活把空间逐层"揉捏",直到数据在最后一层变得线性可分。

在仓库的 02-space_stretching.ipynb 中,可以直观复现这一过程:

  • 先生成 1000 个二维高斯随机点,用 Zieger 色图给每个点着色(res/plot_lib.py 中的 show_scatterplot);
  • 构造 nn.Linear(2, 2, bias=False) 做纯线性变换,观察随机矩阵 WW 如何拉伸/压缩/旋转/反射点云(通过 torch.svd(W) 查看奇异值,奇异值越大拉伸越强,越小压缩越明显);
  • 再叠加 nn.Tanh() 非线性,观察 f(x)=tanh⁡(s⋅x)f(x)=\tanh(s \cdot x) 如何把点云"卷"成方形;
  • 最后构造 1 层、5 个隐藏神经元的随机网络(nn.Linear(2, 5) -> nn.Tanh() -> nn.Linear(5, 2)),观察随机权重的网络如何产生无法由线性变换实现的"弯曲"变形。

这一系列可视化依赖 res/plot_lib.py 中的绘图工具(set_default 设置暗色绘图风格、show_scatterplot 绘制带色点的散点图、plot_bases 绘制坐标基向量),读者可在 Jupyter 环境中直接运行复现。

1.4 为什么窄(2 神经元)隐藏层难训练?

回到 1.2 节留下的问题。这个 6 层网络在每个隐藏层都有一个偏置向量 bb。考虑这样一种情况:如果某一层的偏置把某些数据点移出了"右上象限"(即 z<0z < 0 的区域),那么紧接着的 ReLU 操作会把它们清零。而一旦激活值变成 0,后续无论多少层对它做怎样的变换,这些点的值都将永远是 0——信息被永久"杀死"了。

这正是窄网络难训练的核心原因:2 个神经元的隐藏层意味着决策边界(ReLU 的"折痕")数量极少,偏置稍微不合适,就可能让大量样本被 ReLU 直接抹除,梯度也随之消失。解决办法有两个方向:

  • 把网络"加宽"(fatter):增加隐藏层的神经元数量,让每一层有更多"折痕"可用;
  • 把网络"加深":堆叠更多隐藏层,让非线性变换有更多轮次逐步展开;
  • 两者也可以组合使用。

至于"给定问题到底该用多宽、多深的网络",这正是本课程后续各周(从 LeNet5 到现代 CNN 架构,见 docs/ja/week03/03.md 中 Lecture B 的预告)要持续探讨的架构设计问题。

二、参数变换(Parameter Transformations)

2.1 一般参数变换与反向传播公式

所谓一般参数变换,指的是:网络的参数向量 ww 本身是另一个函数 HH 的输出。通过这种变换,我们可以把原始的"参数空间"映射到另一个空间。记:

  • uu:外层参数向量,维度 [Nu×1][N_u \times 1];
  • w=H(u)w = H(u):由 HH 生成的网络参数,维度 [Nw×1][N_w \times 1];
  • G(x,w)G(x, w):网络函数,xx 为输入;
  • C(y,yˉ)C(y, \bar y):代价(损失)函数,yy 为网络输出,yˉ\bar y 为期望输出。

此时反向传播公式相应改写为:

u←u−η∂H∂u⊤∂C∂w⊤u \leftarrow u - \eta\frac{\partial H}{\partial u}^\top\frac{\partial C}{\partial w}^\top

w←w−η∂H∂u∂H∂u⊤∂C∂w⊤w \leftarrow w - \eta\frac{\partial H}{\partial u}\frac{\partial H}{\partial u}^\top\frac{\partial C}{\partial w}^\top

其中 ∂H∂u⊤\frac{\partial H}{\partial u}^\top 的维度为 [Nu×Nw][N_u \times N_w],∂C∂w⊤\frac{\partial C}{\partial w}^\top 的维度为 [Nw×1][N_w \times 1]。可以验证:

  • 第一个公式中 [Nu×Nw]×[Nw×1][N_u \times N_w] \times [N_w \times 1] 得 [Nu×1][N_u \times 1],与 uu 同维,可作减法;
  • 第二个公式中 [Nu×Nw]×[Nw×Nu][N_u \times N_w] \times [N_w \times N_u] 得 [Nu×Nu][N_u \times N_u],再乘 [Nw×1][N_w \times 1] 得 [Nu×1][N_u \times 1]…… 需要注意中间项 ∂H∂u∂H∂u⊤\frac{\partial H}{\partial u}\frac{\partial H}{\partial u}^\top 实际得到 [Nu×Nu][N_u \times N_u] 矩阵,最终结果与 ww 的维度 [Nw×1][N_w \times 1] 一致,整个链路的矩阵维度是自洽的。

2.2 一个简单的参数变换:重权共享(Weight Sharing)

重权共享变换的含义是:H(u)H(u) 把 uu 的某一个分量复制到 ww 的多个分量上。可以把 H(u)H(u) 想象成一个 Y 形分支:把 u1u_1 复制给 w1w_1、w2w_2,把 u2u_2 复制给 w3w_3、w4w_4,即:

w1=w2=u1,w3=w4=u2w_1 = w_2 = u_1,\quad w_3 = w_4 = u_2

由于我们强制共享的参数保持相等,反向传播时共享参数的梯度会被求和。例如,代价函数 C(y,yˉ)C(y, \bar y) 对 u1u_1 的梯度,等于它对 w1w_1 的梯度与它对 w2w_2 的梯度之和:

∂C∂u1=∂C∂w1+∂C∂w2\frac{\partial C}{\partial u_1} = \frac{\partial C}{\partial w_1} + \frac{\partial C}{\partial w_2}

这一"梯度求和"机制是重权共享的灵魂:它让同一个参数从多条路径接收到更新信号,从而在参数总量大幅减少的同时,让每个参数被更多样本"监督"。这正是 CNN 中卷积核被全图共享的数学基础(详见第三节)。

2.3 超网络(Hypernetwork)

超网络是一种更一般的参数变换:一个网络的权重,是另一个网络的输出。计算图如下:

超网络结构示意:网络 H(x,u) 的输出动态配置网络 G(x,w) 的权重

图 3:"超网络"结构示意(来源:docs/ja/week03/03-1.md 配套插图)

在图 3 中,函数 HH 是带参数向量 uu、输入 xx 的一个网络;G(x,w)G(x, w) 是主网络。于是 GG 的权重 ww 由 H(x,u)H(x, u) 动态地生成和配置。超网络虽然是一个"古老"的想法(可追溯到 1990 年代初期),但至今仍然非常强大,在元学习、条件生成、Neural Architecture Search 等方向都有广泛应用。

2.4 序列数据中的 motif 检测

重权共享变换有一个非常实用的应用场景:motif 检测。所谓 motif,指的是连续数据中反复出现的局部模式——比如语音中的某个特定音素、文本中的某个关键词。

实现方式如图 4 所示:用一个滑动窗口在数据上移动,窗口中放置"重权共享"的检测函数,用于检测特定的 motif(例如语音信号中的某个特定声音);每个位置的输出(一个分数)进入一个 max 函数做聚合:

序列数据中的 motif 检测:滑动窗口 + 重权共享函数 + max 聚合

图 4:连续数据中的 motif 检测示意(来源:docs/ja/week03/03-1.md 配套插图)

示例中准备了 5 个这样的重权共享检测函数。由于 5 个位置共享同一组参数 ww,反向传播时会把 5 个位置的梯度求和后再更新参数 ww。这里有一个 PyTorch 工程实践要点:PyTorch 中梯度默认是"累积"的,如果不在每次迭代前清空梯度,多次 backward() 的梯度会不断累加,导致参数更新错误。因此实现时必须调用 optimizer.zero_grad()(或 model.zero_grad())来把梯度归零。仓库 06-convnet.ipynb 的训练循环正是标准写法:

optimizer.zero_grad()   # 清空上一次迭代累积的梯度
output = model(data)    # 前向
loss = F.nll_loss(output, target)  # 计算损失
loss.backward()         # 反向传播,梯度累加到 .grad
optimizer.step()        # 更新参数

2.5 图像中的 motif 检测与平移不变性

另一类应用是图像中的 motif 检测:我们通常用一组"模板"在图像上扫描,从而检测与位置无关、与形变无关的形状。一个经典例子是区分字母 "C" 和 "D":

  • "C" 的特征是两个端点(endpoints);
  • "D" 的特征是两个角(corners)。

于是我们可以手工设计"端点模板"和"角模板"。当图像局部与某个模板相似时,该模板的输出会超过阈值;把所有位置的输出求和,就能根据"端点数量 vs 角数量"区分字母。例如图 5 中,网络检测到两个端点、零个角,于是激活 "C" 的判定:

图像中的 motif 检测:端点模板与角模板区分 C 与 D

图 5:图像中的 motif 检测(来源:docs/ja/week03/03-1.md 配套插图)

这种"模板匹配"有一个重要性质必须满足:平移不变性(shift invariance)——输入平移之后,输出(识别的字母)不应改变。这恰好可以由重权共享变换解决:如图 6 所示,即使 "D" 的位置发生移动,扫描窗口中的共享模板依然能在新位置检测到角 motif,求和后依然激活 "D" 的判定:

平移不变性:D 位置变化后,共享模板仍能检测到角 motif

图 6:平移不变性示意(来源:docs/ja/week03/03-1.md 配套插图)

这种"手工设计局部检测器 + 求和"的方法在数字识别领域沿用了很多年,但它带来一个根本性问题:这些"模板"能不能由神经网络自动学习出来? 答案就是下一节的主角——卷积(convolution),即"用模板去匹配图像"这个操作的数学化、可学习化版本。

三、离散卷积(Discrete Convolution)

3.1 数学定义:1D 卷积与"反转"

一维情况下,输入 xx 与权重 ww 的卷积的严格数学定义是:

yi=∑jwjxi−jy_i = \sum_j w_j x_{i-j}

即:第 ii 个输出 = 反转后的 ww 与 xx 中同尺寸窗口的点积。要计算全部输出,从序列头部开始放置窗口,每次向后移动一个位置,直到 xx 被遍历完毕。注意这里的 ww 是反转使用的——这是数学上卷积与"相关"的区别所在。

3.2 深度学习框架的惯例:交叉相关(Cross-correlation)

然而,PyTorch 等深度学习框架实际采用的惯例略有不同:ww 并不反转,直接计算:

yi=∑jwjxi+jy_i = \sum_j w_j x_{i+j}

数学家把这种不带反转的公式称为交叉相关(cross-correlation)。在我们的语境下,两者只是约定不同:由于卷积核的权重在训练中本来就是自由学习的,网络完全可以通过把记忆中的权重"正着读"或"反着读"来等价实现两种运算,因此实际效果可以互换。

但理解这一差异仍然重要:如果你要从数学文献中套用卷积/相关的某些性质(如卷积定理、傅里叶变换性质),必须清楚框架内部到底实现的是哪一种运算,否则容易推导出错。

3.3 高维卷积与卷积核

对于图像这样的二维输入,使用二维卷积:

yij=∑klwkl xi+k, j+ly_{ij} = \sum_{kl} w_{kl}\, x_{i+k,\, j+l}

该定义可以轻松扩展到三维、四维乃至更高维。这里的 ww 被称为卷积核(convolution kernel)——它正是上一节"模板"的可学习版本:网络通过反向传播自动调整卷积核的数值,使其在训练中"演化"成有用的特征检测器。

3.4 DCNN 中卷积算子的常用变体:Stride 与 Padding

在深度卷积神经网络(DCNN)中,卷积算子通常配合两种变体使用:

(1)Stride(步幅):不再每次移动一个位置,而是以更大的步长移动窗口(例如一次移动 2 或 3 个位置),用于下采样、压缩特征图尺寸、降低计算量。

示例:设一维输入 xx 的长度为 100,ww 的长度为 5,则不同 Stride 下的输出尺寸如下:

Stride 1 2
输出尺寸 100−(5−1)1=96\frac{100 - (5-1)}{1}=96 100−(5−1)2=48\frac{100 - (5-1)}{2}=48

(2)Padding(填充):设计网络架构时,经常希望卷积输出与输入同尺寸。做法是在输入两端填充若干个(通常为 0 的)条目。Padding 主要是为了方便——它让特征图尺寸可控、边界信息得以保留。但也要注意:填充有时会影响性能并带来奇怪的边界效应;不过当后续使用 ReLU 非线性时,零填充通常是合理的选择(因为填充的 0 值经 ReLU 后依然为 0,不会引入虚假信号)。

仓库 06-convnet.ipynb 中的 CNN 定义展示了这些概念的 PyTorch 落地:nn.Conv2d(in_channels=1, out_channels=n_feature, kernel_size=5) 定义 5×5 卷积核,F.max_pool2d(x, kernel_size=2) 做 2×2 最大池化(另一种空间下采样方式),正是"卷积 + 非线性 + 池化"交替堆叠的典型结构。

四、深度卷积神经网络(DCNN)与组合性

4.1 层次化表示:从像素到物体

如前所述,深度神经网络通常被组织为线性算子层与逐点非线性层的交替重复;在卷积神经网络中,线性算子就是上文定义的卷积算子。此外,还有一个可选的第三类层——池化层(pooling layer)。

为什么要堆叠多层这样的结构?因为我们要构建数据的层次化表示(hierarchical representation)。这种层次的来源是:我们生活的世界是构成性的(compositional):

  • 局部像素聚集,形成简单 motif,如定向边缘;
  • 边缘再组合成角、T 形连接等局部特征;
  • 这些局部特征继续组合成更抽象的 motif;
  • 层层递进,最终形成我们在真实世界中观察到的物体。

下图展示了在 ImageNet 上训练的卷积网络逐层学习到的特征(来自 Zeiler & Fergus 2013 的经典可视化)——底层是边缘与纹理,中间层是部件,高层是完整物体:

ImageNet 训练的卷积网络层级特征可视化(底层边缘、中层部件、高层物体,源自 Zeiler & Fergus 2013)

图 7:卷积网络层级特征可视化(来源:docs/ja/week03/03-1.md 配套插图,引用自 Zeiler & Fergus 2013)

这种构成性不仅在视觉感知层面成立,在物理层面同样成立:基本粒子构成原子,原子构成分子,分子构成材料,材料构成物体部件,最终构成真实世界的完整物体。正是这种世界的组合式结构,让人脑(以及神经网络)可以用"层级构建"的方式理解世界。正如爱因斯坦那句著名的反问式感叹:

宇宙最不可理解之处,在于它居然是可以理解的。

事实上,人类之所以能理解世界,恰恰得益于这种构成性。数学家 Stuart Geman 有一句更直接的断言:

世界要么是构成性的,要么神是存在的。

4.2 CNN 的先验假设:局部性、平稳性与构成性

从工程角度看,CNN 之所以高效,是因为它把三条关于自然信号的先验知识编码进了网络结构。仓库 06-convnet.ipynb 的开头明确列出这三条假设:

  • 多层的构成性(compositionality):很多层堆叠;
  • 卷积的局部性 + 平稳性(locality + stationarity):图像中的特征通常局部相关,且统计特性在空间上平稳(同一检测器可在全图复用);
  • 池化的平移不变性:物体类别对平移保持近似不变。

这些假设在成立时带来巨大收益,在失效时也会带来代价——"恰到好处的假设,不多不少"。该 notebook 用一组对照实验精确地验证了这一点:

  • 实验一(先验成立):分别训练一个 2 层全连接网络(FC2Layer,3 个 nn.Linear + ReLU + LogSoftmax)和一个 CNN(2 个 5×5 卷积层 + 2 个 2×2 最大池化 + 全连接分类头)。在参数数量相近的条件下,CNN 的 MNIST 测试准确率明显高于全连接网络——因为 CNN 利用了图像的局部性与平稳性先验,而 FCN 没有。
  • 实验二(先验被破坏):用 torch.randperm(784) 随机打乱所有像素位置后重新训练两者。结果 CNN 性能显著下降(局部性/平稳性假设不再成立),而 FCN 性能基本不变——因为 FCN 本来就没有依赖这些假设,也因此当假设成立时它无法从中获益。

这个"假设成立则受益、假设失效则受损"的对照,是对本讲义第四节理论最直观的源码级印证。

五、来自生物学的启示

为什么深度学习要扎根于"世界可理解、且具有构成性"这一信念?神经生物学研究提供了强有力的动机。

5.1 Simon Thorpe:100ms 物体识别与前馈假设

Simon Thorpe 的研究表明:人类识别日常物体的速度极快。实验中被试者每 100ms 被闪示一组图像,仍能成功识别。这意味着人类检测物体大约只需 100ms——在这么短的时间里,神经信号最多只能传导几个突触层级,根本来不及做复杂的迭代/循环计算。由此可以推断:物体识别可能是一个单遍的前馈(feed-forward)过程,而不是需要反复"思考"的递归过程。

5.2 视觉信息流:视网膜 → LGN → V1 → V2 → V4 → PIT

下图展示了 Thorpe 模型中视觉信号在大脑中的传导路径与时间标注:

Simon Thorpe 的脑内视觉信息流模型:视网膜→LGN→V1→V2→V4→PIT,各区间传导时间标注

图 8:Simon Thorpe 的脑内视觉信息流模型(来源:docs/ja/week03/03-1.md 配套插图)

信号从视网膜出发,经外膝状体(LGN,负责对比度增强、门控等),到达初级视觉皮层 V1,再依次经过 V2、V4,最终到达下颞叶皮层(PIT)——这是大脑中定义"物体类别"的区域。开颅手术观测发现:给人放映影片时,PIT 中的某些神经元只对特定图像发火(例如某个特定公众人物、或被试者的祖母),对其他图像完全沉默;而且这种发火对位置、大小、光照、朝向、衣着等变化都不敏感——这正是我们想要的"识别不变量"。

结合 5.1 的快速反应时间,这些洞察共同指向一个结论:可以设计完全前馈的神经网络架构,在对输入无关变换保持不变的条件下解决识别问题——这正是 CNN 的生物学动机。

5.3 Gallant & Van Essen:背侧与腹侧通路

Gallant 与 Van Essen 的大脑模型揭示了两条分离的通路:

  • 腹侧通路(ventral pathway):回答"你看到的是什么"(物体识别);
  • 背侧通路(dorsal pathway):负责位置、几何与运动的识别。

这两条通路在人类(及灵长类)视觉皮层中相当分离(当然彼此之间仍有少量交互)。这种"双通路"分工提示我们:识别与定位可以被建模为相对独立的处理流,为后续"检测 + 识别"分离的现代架构提供了神经科学注脚。

5.4 Hubel & Weisel(1962):简单细胞与复杂细胞

Hubel 与 Weisel 用电极测量猫脑在视觉刺激下的神经发火,做出了两项奠基性发现:

发现一:简单细胞(simple cells)。 V1 区的神经元只对视野中的特定区域(受容野, receptive field)敏感,且负责检测该区域内的定向边缘。实验显示:给猫看一根竖直棒并旋转它,神经元只在特定角度发火,棒偏离该角度越远,激活越弱。这类局部特征检测神经元被命名为"简单细胞"。当棒移出受容野时,该神经元不再发火,但视野其他区域的对应神经元会接力发火——也就是说,视觉场中布满了一整套局部特征检测器。这正是"大脑把视觉信息当作一组卷积来处理"的直觉来源。

发现二:复杂细胞(complex cells)。 另一类神经元会聚合某个区域内的多个简单细胞的输出——聚合函数可以是最大值、求和、平方和,或其他与顺序无关的函数。复杂细胞能检测区域内的边缘与朝向,与刺激在区域内的具体位置无关,即对输入位置的小幅变化具有平移不变性。

5.5 福岛邦彦(1982)与 LeCun(1989/1998):从神经科学到现代 CNN

福岛邦彦(Kunihiko Fukushima)在 1982 年首次用计算机模型实现了"多层简单细胞 + 复杂细胞"的思想(即 Neocognitron 架构),并应用于手写数字数据集。不过,当时反向传播尚未普及,其特征检测器部分是手工设计的、部分是用无监督聚类算法逐层单独训练获得的。

几年后(1989、1998 年),Yann LeCun 实现了同样的架构,但改用反向传播做端到端的监督训练(即 LeNet 系列)。这一工作被普遍视为现代卷积神经网络的起源。(注:1999 年 MIT 的 Riesenhuber 也曾独立"再发现"这一架构,但未使用反向传播。)

从福岛到 LeCun 的演进脉络,完整呼应了本文的主题链:受容野/简单细胞 → 卷积核(局部、共享);复杂细胞 → 池化(聚合、平移不变);层级组合 → 深度 CNN 的构成性表示。

六、总结与实践指引

本文从三个层次梳理了卷积神经网络的地基:

  1. 可视化层面:6 层 2 神经元小网络的"折叠平面"实验揭示了"仿射 + ReLU"的逐层机制,也解释了窄网络难训练的原因(偏置把点移出右上象限后被 ReLU 永久清零);
  2. 参数变换层面:重权共享(梯度求和)、超网络(权重由另一网络生成)、motif 检测(滑动窗口 + 共享检测器 + max 聚合)共同构成了"共享模板"的数学框架,并引出 PyTorch 中 zero_grad() 的梯度管理要点;
  3. 卷积层面:离散卷积的严格定义(ww 反转)与框架实际采用的交叉相关(ww 不反转)之区别、二维/高维卷积核、Stride 与 Padding 的尺寸计算,以及 CNN 背后的三大先验(局部性、平稳性、构成性)与神经科学依据(Thorpe 前馈假设、Hubel & Weisel 的简单/复杂细胞、福岛与 LeCun 的工程化)。

想动手验证这些概念,仓库已备好两条实践路径:

运行环境可参考仓库根目录 README.md 与 environment.yml:使用 Miniconda 创建隔离环境(conda env create -f environment.yml)后,通过 jupyter lab 或 jupyter notebook 启动即可逐 cell 运行。本讲义对应的课程概览可参见 docs/ja/week03/03.md,其中预告了 Lecture B 将讨论 LeNet5 及 CNN 的演进历史——那将是本文"离散卷积 + 层次化表示"的直接延续。

登录后查看全文
NYU-DLSP20