NYU-DLSP20 第 3 周笔记:神经网络可视化、参数变换与卷积基础
NYU-DLSP20 第 3 周笔记:神经网络可视化、参数变换与卷积基础
本篇文章围绕 NYU Deep Learning Spring 2020 课程第 3 周第一部分(docs/tr/week03/03-1.md,Yann LeCun 主讲,Alfredo Canziani 课程团队整理)展开,系统讲解三块核心技术:如何可视化多层神经网络内部的"平面折叠"变换、参数变换(权重共享、超网络、motif 检测)的数学形式,以及离散卷积与卷积神经网络(DCNN)的底层原理。读完本文,你将理解为什么窄隐藏层的网络难以训练、PyTorch 中卷积为何采用"交叉相关"约定、striding/padding 如何改变输出尺寸,并能把课程理论直接对应到仓库内 06-convnet.ipynb 与 07-listening_to_kernels.ipynb 的可运行实现上。
神经网络内部机制的可视化:一个 6 层网络示例
课程首先展示了一个用于"看到网络内部发生了什么"的最小网络。图 1 描述了该网络的结构:粉色神经元代表输入,蓝色神经元代表输出,绿色神经元构成 4 个隐藏层,因此网络总共有 6 层(4 个隐藏层 + 1 个输入层 + 1 个输出层)。每个隐藏层只有 2 个神经元,所以每一层权重矩阵 的维度都是 ——这样设计的目的是把输入平面变换成另一个仍能被可视化观察的平面。
图 1:课程中用于可视化实验的网络结构(来源:docs/tr/week03/03-1.md)
平面折叠:每一层变换的空间直觉
如图 2 所示,每一层的变换就像把输入平面在特定区域进行"折叠"(folding)。由于所有变换都发生在 2D 平面上,折叠非常"剧烈"(abrupt)。实验中一个值得注意的现象是:当每个隐藏层只有 2 个神经元时,优化耗时显著变长;隐藏层神经元越多,优化越容易。这引出一个贯穿全课的思考题:为什么隐藏层神经元更少的网络反而更难训练?课程建议读者先自行思考,在可视化完 ReLU 之后再回来解答。
图 2:二维平面上逐层变换产生的"折叠空间"可视化
ReLU 可视化与线性可分
逐层"步进"观察网络时可以看到,每个隐藏层执行的模式是:先做仿射变换(affine transformation),再应用非线性 ReLU 操作,而 ReLU 会把所有负值清零。图 3(a)、(b) 展示了 ReLU 算子对平面作用的效果——它正是网络实现非线性变换的关键。经过多轮"仿射变换 + ReLU"的叠加后,如图 4 所示,数据最终可以被直线(线性决策边界)分开。
为什么"窄"隐藏层更难训练
回到之前的问题,ReLU 的可视化给出了洞见:这个 6 层网络在每个隐藏层各有一个偏置(bias)。如果某个偏置把数据点移出了第一象限(右上象限),ReLU 会把这些点直接清零;而一旦某个点被清零,无论后续层如何变换,该点的值将永远保持为 0——梯度也随之无法回传,优化因此卡死。2 神经元隐藏层之所以难训练,本质上就是因为这种"ReLU 死亡"更容易发生,且网络几乎没有冗余路径去弥补。
课程给出的两个缓解手段(也是后面各周反复探讨的架构设计主题):
- 把网络加"胖":增加每个隐藏层的神经元数量;
- 加深网络:增加更多隐藏层;
- 或者两者组合使用。
参数变换(Parameter Transformations)
广义的参数变换(general parameter transformation)指的是:参数向量 本身是某个函数 的输出。借助这一变换,可以把原始参数空间映射到另一个空间。图 5 给出了通用形式: 是函数 以 为参数(对超网络而言还以输入 为参数)的输出; 是网络, 是代价函数。
此时反向传播公式需要相应改写为矩阵形式:
注意各项维度必须一致: 的维度是 , 是 , 是 , 是 ,因此整个反向传播公式的维度是自洽的。
最简单的参数变换:权重共享(Weight Sharing)
权重共享变换意味着 只是把 的某个分量复制到 的多个分量上。 像一根 Y 形分支,把 复制给 、,即:
由于共享参数被强制相等,反向传播时对共享参数的梯度会求和。例如代价函数 对 的梯度,等于它对 的梯度与对 的梯度之和。这正是 CNN 参数数量大幅下降的数学根源——卷积核在被滑窗复用时,等价于在不同位置强制共享同一组权重。
超网络(Hypernetwork)
超网络是这样一种网络:一个网络的权重是另一个网络的输出。图 6 展示了"超网络"的计算图:这里 是以参数向量 和输入 为输入的网络, 的权重由 动态配置。课程明确指出:这是一个古老的 idea,但至今仍然非常强大(今天常说的权重生成网络、Meta-learning 中的权重预测都可归入此类)。
序列数据中的 motif 检测
权重共享变换可直接应用于 motif 检测——即在语音、文本等序列数据中寻找特定模式(如语音信号里的某个特定声音)。如图 7 所示,经典做法是在数据上滑动一个窗口,让共享权重的函数在窗口内检测特定 motif,输出(例如一个分数)送入最大值函数。
图 7:滑动窗口在序列数据上检测 motif 的示意图
该例子中并列使用了 5 个这样的检测函数,因此总共会有 5 个梯度被求和后用于反向传播更新参数 。课程特别提醒 PyTorch 实现细节:PyTorch 默认会隐式累积梯度,所以在每次迭代开始前必须调用 optimizer.zero_grad()(或 model.zero_grad())把梯度归零,否则多个 batch 的梯度会叠加出错误结果。
图像中的 motif 检测与平移不变性
另一类重要应用是图像中的 motif 检测:把"模板"(templates)扫过图像,从而与位置和形变无关地识别形状。图 8 给出了区分字母 "C" 与 "D" 的经典例子:两者的差别在于 "C" 有两个端点(endpoints)、"D" 有两个角(corners)。于是可以设计"端点模板"和"角模板":当形状与模板相似时,输出会被阈值化激活;把所有模板输出求和,即可区分字母。在图 8 中,网络检测到两个端点、零个角,因此激活了 "C"。
图 8:用"模板匹配 + 求和"在图像中检测字母
关键性质是平移不变性(shift invariance):输入平移后,输出(识别的字母)不应改变。这正可以由权重共享变换保证——如图 9 所示,即使把 "D" 平移到新位置,角落 motif 依然能被检测到,求和后仍激活 "D" 的检测。课程同时指出,这种"手工人脸模板 + 求和"的识别方法被使用了多年,但它自然引出一个核心问题:这些"模板"能否自动设计?能否让神经网络自己学出模板? 这正是下一节引入"卷积"操作的动机——卷积就是用来把图像与"模板"匹配的操作。
离散卷积:数学定义与深度学习框架的约定
一维卷积与"反转的 "
一维情况下,输入 与核 之间卷积的精确定义为:
用语言描述:第 个输出等于反转后的 与 中同尺寸窗口的点积。要计算完整输出,窗口从开头启动、每次移动一个位置,直到 被遍历完。
交叉相关(Cross-correlation):PyTorch 的实际约定
然而,深度学习框架(如 PyTorch)采用的约定略有不同:PyTorch 中的卷积不反转 :
数学家把这种形式称为"交叉相关(cross-correlation)"。在深度学习的语境下,这只是一个约定差异:只要把内存中的权重按正向或反向读取,交叉相关与卷积在实践上可以互换。意识到这一点很重要——例如当你希望利用数学文献中卷积/相关的某些性质时,必须清楚框架实现遵循的是哪一套约定。
高维卷积与卷积核
对于图像这类二维输入,使用二维卷积:
这一定义可以轻松推广到三维、四维乃至更高维。这里 被称为卷积核(convolution kernel)。
DCNN 中围绕卷积操作的两个常规变体
课程归纳了两个最常用的操作:
1. 步长(Striding):窗口不再每次移动一个位置,而是可以一次跨过两个、三个甚至更多位置。示例:假设一维输入 尺寸为 100, 尺寸为 5,则输出尺寸随步长变化如下表:
| 步长 | 1 | 2 |
|---|---|---|
| 输出尺寸 |
2. 填充(Padding):设计深度网络时,常希望卷积输出与输入尺寸一致。这通常通过在输入两端(一般双侧)补零实现。填充主要是为了便利,但有时会影响性能并在边界产生奇怪的效果;不过在使用 ReLU 非线性的情况下,补零并非不合理——因为 ReLU 本身就会把负值清零,零填充不会引入不合理的信息。
DCNN:层级表征与世界的组合性
如前所述,深度神经网络通常被组织为线性算子与逐点非线性层的反复交替;在卷积神经网络中,线性算子就是上文定义的卷积操作,此外还有一个可选的第三类层——池化层(pooling)。
为什么要堆叠多层:层级表征
堆叠多层的目的,是构建数据的层级表征(hierarchical representation)。CNN 并不局限于图像:它们也已被成功应用于语音与语言处理;从技术上讲,任何以数组(array)形式呈现的数据都可以应用 CNN,只不过这些数组需要满足特定性质。
为什么要捕捉世界的层级表征?因为我们所处的世界是组合性(compositional)的:局部像素拼合成有方向的边缘等简单 motif;这些边缘再拼合成角点、T 形交叉等局部特征;局部特征继续组合成更抽象的 motif;如此层层构建,最终形成我们在真实世界中观察到的物体。图 10 展示了在 ImageNet 上训练的卷积网络的各层特征可视化([Zeiler & Fergus 2013])——底层学习边缘/色彩等基础特征,中层组合出纹理与局部形状,高层则逼近语义级的物体部件。
图 10:ImageNet 预训练卷积网络的特征层级(低层 → 中层 → 高层)
这种组合性不仅存在于视觉感知层面,在物理层面同样成立:基本粒子组成原子,原子组成分子,再不断构建出材料、物体部件,最终形成物理世界中的完整物体。课程引用爱因斯坦的修辞式发问作为注脚:
宇宙最不可理解之处,在于它是可理解的。(The most incomprehensible thing about the universe is that it is comprehensible.)
并引用数学家 Stuart Geman 的名言收束这一节:
世界要么是组合性的,要么上帝存在。(The world is compositional or God exists.)
来自生物学的灵感:为什么卷积架构是合理的
为什么深度学习要建立在"世界可理解且具有组合性"这一信念之上?Simon Thorpe 的研究提供了关键动机:人类识别日常物体的速度极快。实验以每 100ms 一张的频率闪现图片并要求被试识别,被试均能成功完成——这说明人类大约 100ms 即可完成物体识别。图 11 展示了 Thorpe 的视觉信息流模型:信号从视网膜(retina)→ LGN(负责对比度增强、门控等)→ V1 初级视皮层 → V2 → V4 → 下颞叶皮层(PIT,类别在这里被定义)。
开颅手术的观测显示:给人类被试播放电影时,PIT 中的神经元只在检测到特定图像时才放电——例如"詹妮弗·安妮斯顿"或某人的祖母——其他图像一概不响应,且这种放电对位置、大小、光照、朝向、衣着等变化保持不变。更关键的是,极快的分类反应时间(只够几个脉冲通过)说明:识别不需要复杂的循环(recurrent)计算,而是单一的前馈(feed-forward)过程。这直接启发了"完全前馈、却能对输入的无关变换保持不变"的识别网络架构。
另一条来自人脑的洞见来自 Gallant & Van Essen 的模型(图 12),它展示了大脑的两条独立通路:**腹侧通路(ventral pathway)**告诉你"正在看什么",**背侧通路(dorsal pathway)**负责位置、几何与运动。在人类与灵长类的视皮层中这两条通路大体分离(当然其间存在一些交互)——这提示视觉处理中"是什么"与"在哪里"是分开的。
Hubel & Weisel 的贡献(1962):简单细胞与复杂细胞
Hubel 与 Weisel 用电极测量猫脑对视觉刺激的神经元放电,发现了 V1 区域神经元的两个关键事实:
- 神经元只对视野中的特定区域(感受野,receptive fields)敏感,并检测该区域内的有向边缘。例如给猫看一根竖直的棒并旋转它,棒转到特定角度时神经元放电,偏离该角度则放电减弱。这类能检测局部特征的神经元被命名为简单细胞(simple cells);
- 把棒移出感受野后,这个神经元不再放电,但视野其他区域对应的另一个神经元会放电——视野的每个区域都有对应的局部特征检测器,"大脑把视觉信息当作一组卷积来处理"的想法即源于此。
第二类神经元被称为复杂细胞(complex cells),它们聚合一定区域内多个简单细胞的输出——可以理解为用最大值、求和、平方和或其他与顺序无关的函数计算激活的聚合值。复杂细胞能检测某个区域内的边缘与方向,无论刺激具体位于区域内何处——换言之,它们对输入位置的小幅变化具有平移不变性。这正是"卷积 + 池化"架构的生物学对应物。
Fukushima 的贡献(1982)与 LeCun 的反向传播革命
Fukushima 是第一个用计算机模型实现"简单细胞 + 复杂细胞"多层结构的人,并使用了手写数字数据集。其中部分特征检测器是手工设计的或学习得到的,但学习采用的是无监督聚类算法、逐层分别训练——因为当时反向传播尚未被采用。
几年后(1989、1998),Yann LeCun 实现了同样的架构,但改用有监督方式 + 反向传播进行训练。这被广泛视为现代卷积神经网络的起点。(课程附注:MIT 的 Riesenhuber 在 1999 年也独立重新发现了这一架构,但未使用反向传播。)
仓库配套实战:把理论落到可运行的 PyTorch 代码
本仓库为这一讲提供了两套直接对应的可运行材料,可用来验证上文全部概念。
06-convnet.ipynb:用 MNIST 验证"先验知识"的价值
06-convnet.ipynb 是第 3 周配套的核心实践:在 MNIST(28×28、10 类)上分别训练一个小型全连接网络 FC2Layer 与一个小型 CNN,并对比两者性能。关键实现要点:
FC2Layer使用nn.Sequential堆叠nn.Linear与nn.ReLU,把 784 维输入经两个隐藏层映射到 10 类输出(nn.LogSoftmax);CNN类展示了卷积原语的组合方式:nn.Conv2d(in_channels=1, out_channels=n_feature, kernel_size=5)+F.relu+F.max_pool2d(x, kernel_size=2),经两层"卷积-ReLU-池化"后展平接入nn.Linear分类头;- 两个模型用
optim.SGD(lr=0.01, momentum=0.5)训练,并用get_n_params统计参数量——在参数数量几乎相同的前提下,CNN 因利用了图像的局部性(locality)与平稳性(stationarity)先验而表现更好; - 最有说服力的实验是"像素打乱"(
torch.randperm(784)重排像素):打乱后 CNN 性能显著下降,而全连接网络性能保持不变。这说明 CNN 的性能来自"像素位于网格上且局部/平稳"这一假设;假设成立时它受益,假设被破坏时它受损;不做该假设的全连接网络则既不受益也不受损。
这正是本文第三节"层级表征/组合性"与图 10 的实践注脚:卷积利用 locality + stationarity,池化利用平移不变性,而堆叠层利用 compositionality。
07-listening_to_kernels.ipynb:把卷积理解为"滑动标量积"
07-listening_to_kernels.ipynb 从另一个角度深化本节理论:在局部性、平稳性、组合性假设下,矩阵向量乘可以退化为稀疏(因局部)的 Toeplitz/常对角(因平稳)矩阵,从而"重新发现"卷积算子。该 notebook 将卷积解释为"运行中的标量积(running scalar product)",并直接用 librosa 加载 res/win_xp_shutdown.wav 音频信号,演示在序列数据(正是本文"序列数据 motif 检测"一节的场景)上滑动窗口计算卷积/标量积的过程。
延伸阅读路径
- 本讲的土耳其语全文与英文原文:docs/tr/week03/03-1.md、docs/en/week03/03-1.md;
- 第 3 周整体大纲(含 Part A/Part B 与实验定位):docs/tr/week03/03.md;
- 下一节(03-2)继续从生物学原型讲到 LeNet5 等现代 CNN 架构与实现细节:docs/en/week03/03-2.md。
小结
本讲从三个层面为 CNN 建立了完整的心智模型:可视化层(6 层网络逐层折叠平面、ReLU 清零效应解释了窄网络训练困难的原因);数学层(参数变换的反向传播公式、权重共享的梯度求和、超网络、motif 检测、离散卷积与交叉相关的约定、striding/padding 的输出尺寸公式);动机层(世界是组合性的,大脑用 100ms 的前馈过程完成识别,Hubel & Weisel 的简单/复杂细胞与 Fukushima 的分层模型最终由 LeCun 以反向传播训练成现代 CNN)。配合仓库中的 06-convnet.ipynb 与 07-listening_to_kernels.ipynb,你可以亲手复现"相同参数下 CNN 优于全连接网络、像素打乱后优势消失"这一讲的核心结论。




