NYU-DLSP20 第 1 周(上):CNN 的演化、特征提取与深度学习表示学习深度解析
NYU-DLSP20 第 1 周(上):CNN 的演化、特征提取与深度学习表示学习深度解析
本文是 NYU Deep Learning Spring 2020(NYU-DLSP20)课程第 1 周第二部分(Lecture 01-2,对应 docs/it/week01/01-2.md 及其英文原版 docs/en/week01/01-2.md)的技术导读。课程由 Yann LeCun 主讲,本讲以三个递进的主题展开:卷积神经网络(CNN)的历史演化(从 Fukushima 到 LeCun 再到 AlexNet)、深度学习与特征提取的本质(组合式层级结构),以及表示学习的理论基础(多层 vs 两层、流形假设)。读完本文,你将掌握 CNN 演化的关键里程碑与技术动因、特征提取的经典方法与层级表示框架,并能用仓库中的 Jupyter Notebook(06-convnet.ipynb、02-space_stretching.ipynb)亲手验证"网络如何通过逐层变换学习特征表示"这一核心思想。
一、CNN 的演化:从生物视觉到 AlexNet
1.1 生物学起点:大脑皮层中的方向选择性神经元
本讲首先从神经科学的观察出发:在动物大脑中,神经元对特定方向的边缘(edge)信息做出反应。而"对同一方向起反应的神经元群会被复制遍整个视野"——这一拓扑重复结构是理解卷积网络平移不变性的第一块基石。
Fukushima(1982)基于上述两个概念构建了一个与大脑工作方式一致的神经网络:
- 第一,神经元跨越整个视野进行复制(即权值共享的雏形);
- 第二,存在"复杂细胞",它们负责汇合(pooling)来自简单细胞(方向选择性单元)的信息。
由此带来的关键性质是:图片的平移会改变简单细胞的激活模式,却不会影响复杂细胞的集成激活——这正是后来被称为"卷积汇合(convolutional pooling)"的操作。换句话说,平移不变性不是卷积的"副产品",而是从一开始就从生物视觉系统中提炼出的设计目标。
1.2 LeCun(1990):反向传播训练 CNN 与端到端革命
LeCun(1990)使用**反向传播(backprop)**训练 CNN 完成手写数字识别。文档特别提到一个 1992 年的演示:算法能够识别任意书写风格的数字。在当时,使用一个端到端(end-to-end)训练的模型直接做字符/模式识别,是划时代的新事物——此前的主流方案是"手工设计的特征提取器 + 顶层的监督模型"两段式流水线。
在此基础上,新的 CNN 系统可以在同一张图像中同时识别多个字符。实现手法是:构造一个小的输入窗口,让 CNN 在该窗口上工作,将窗口滑过整幅图像;若窗口内 CNN 被激活,即判定该位置存在某个特定字符。
这一"滑动窗口 + 激活检测"的思想随后被推广到更广泛的视觉任务:
- 人脸/行人检测;
- 语义分割(semantic segmentation),即逐像素分类(pixel-wise classification),代表性工作包括 Hadsell(2009)与 Farabet(2012);
- 并最终进入工业界,典型应用是自动驾驶中的车道跟踪(lane tracking)。
文档还记录了一个耐人寻味的产业周期:20 世纪 80 年代,用于训练 CNN 的特殊硬件曾是热门话题;随后兴趣衰退;而如今(2020 年前后)这一主题再度变得炙手可热——GPU、TPU 等专用加速器的兴起,正是本仓库各 Notebook 中"GPU 可用则用 GPU"这一写法的时代背景。
1.3 AlexNet(2012):深度学习革命的引爆点
深度学习革命(尽管当时尚未使用"深度学习"一词)始于 2010—2013 年。研究者们的焦点在于发明能更快训练大型 CNN 的算法。Krizhevsky(2012)提出的 AlexNet 是这一时期的标志性产物:
- 它远比此前任何 CNN 更大;
- 在 ImageNet 数据集(约 130 万张样本) 上使用 GPU 训练;
- 经过约两周的运行,AlexNet 以压倒性优势击败了当时最好的竞争系统——第二名的最佳系统 Top-5 错误率为 25.8%,而 AlexNet 仅为 16.4%。
AlexNet 的成功彻底说服了计算机视觉(CV)社区:CNN 确实有效。文档给出了一个戏剧性的对比——2011—2012 年间,凡是提及 CNN 的论文几乎都被拒稿;而自 2016 年起,大多数被接收的 CV 论文都采用了 CNN。
1.4 层数的增长与压缩权衡
多年以来,主流 CNN 的层数持续攀升:
| 网络 | 层数 |
|---|---|
| LeNet | 7 |
| AlexNet | 12 |
| VGG | 19 |
| ResNet | 50 |
但文档强调,层数增加的同时存在一个三元权衡:计算输出所需的操作数、模型的大小、以及准确率。因此,如何压缩网络使计算更快(剪枝、量化、蒸馏等)成为当下的热门研究主题——这也是"为什么我们需要兼顾模型效率与精度"这一工程问题的源头。
1.5 仓库源码印证:一个最小可运行的 CNN 长什么样
本仓库的 06-convnet.ipynb 恰好给出了一个与 LeNet 精神一脉相承的、可在本地直接运行验证的 CNN 实现,是理解上述历史演化的最佳"活标本"。其网络结构如下:
class CNN(nn.Module):
def __init__(self, input_size, n_feature, output_size):
super(CNN, self).__init__()
self.n_feature = n_feature
self.conv1 = nn.Conv2d(in_channels=1, out_channels=n_feature, kernel_size=5)
self.conv2 = nn.Conv2d(n_feature, n_feature, kernel_size=5)
self.fc1 = nn.Linear(n_feature*4*4, 50)
self.fc2 = nn.Linear(50, 10)
def forward(self, x, verbose=False):
x = self.conv1(x)
x = F.relu(x)
x = F.max_pool2d(x, kernel_size=2)
x = self.conv2(x)
x = F.relu(x)
x = F.max_pool2d(x, kernel_size=2)
x = x.view(-1, self.n_feature*4*4)
x = self.fc1(x)
x = F.relu(x)
x = self.fc2(x)
x = F.log_softmax(x, dim=1)
return x
这段代码直观地复现了本讲的核心概念链条:
- 卷积 + 池化交替堆叠,正是 Fukushima"简单细胞 + 复杂细胞汇合"的工程化表达;
- 两个
nn.Conv2d(..., kernel_size=5)构成局部感受野与权值共享; - 两次
F.max_pool2d(kernel_size=2)实现空间下采样与平移鲁棒性; - 末尾的全连接层
fc1/fc2充当分类头,对应"特征提取器 + 监督分类器"的现代一体化形态。
训练配置同样值得注意:Notebook 用 torch.utils.data.DataLoader 加载 MNIST(28×28 灰度图,训练批 batch_size=64、测试批 batch_size=1000),并采用 optim.SGD(..., lr=0.01, momentum=0.5) 优化器——这与文档中"算法能更快训练大型 CNN"的历史诉求一脉相承。若要在本地复现,可参照 README.md 用 environment.yml 创建 NYU-DL 环境(包含 pytorch、torchvision、jupyterlab 等),再启动 Jupyter 运行该 Notebook。
二、深度学习与特征提取
2.1 组合式层级结构:深度学习为何"深"
本讲给出了一个贯穿全篇的论断:多层网络之所以成功,是因为它们利用了自然数据内在的组合式结构(compositional structure)。
所谓组合层级(compositional hierarchy),是指:层级中某一层对象的组合,构成下一层的对象。例如,句子由从句组合而成,从句由词组组合而成,词组由单词组合而成。如果我们用多个层来模拟这种层级,并让网络自行学习"特征的合适组合方式",就得到了所谓的深度学习架构。因此:
深度学习网络在本质上就是**层次化(hierarchical)**的。
这也是"深"的工程含义:每一层都在前一层特征的基础上,组合出更高一层的抽象表示。
2.2 深度学习给计算机视觉带来了什么
文档指出,深度学习架构使计算机视觉任务取得了难以置信的进展,从"围绕目标生成精确遮罩(mask)"到"识别目标的空间性质",其中 Mask-RCNN 与 RetinaNet 是贡献最大的两类架构:
- Mask RCNN 广泛用于分割单个对象:为图像中的每一个对象建立遮罩,输入和输出都是图像;它还可以执行实例分割(instance segmentation)——即在一张图像中区分同一类型的不同个体对象;
- Detectron 是 Facebook AI Research(FAIR)开发的软件系统,开源实现了这些 SOTA 目标检测算法。
在实际应用层面,文档列举了两个 CNN 的典型落地场景:赋能自动驾驶与分析医学影像。
2.3 尚待回答的开放问题
尽管深度学习的科学与数学基础已相当清晰,文档仍列出了四个值得深入研究的开放问题,它们也是后续课程反复回扣的主题:
- 既然两层网络就能逼近任意函数,为什么多层架构反而表现更好?
- 为什么 CNN 对自然数据(语音、图像、文本)如此有效?
- 我们为什么能把非凸函数优化得这么好?
- 为什么**过度参数化(over-parametrised)**的架构依然有效(甚至更好)?
这四个问题构成了本讲第三部分"学习表示"的直接引子。
2.4 特征提取的本质与经典方法
本讲给出特征提取的一个精炼定义:
特征提取 = 扩展表示维度,使扩展后的特征更可能线性可分。高维空间中的数据点之所以更可能线性可分,是因为可用的分离平面数量增加了。
早期机器学习实践者依赖高质量、手工制作、任务特定的特征来构建 AI 模型;而深度学习的出现,使模型能够自动提取通用特征。文档列举了特征提取算法的若干经典方法:
- 空间分割(tiling)
- 随机投影(random projections)
- 多项式分类器(特征叉乘,feature cross-products)
- 径向基函数(radial basis functions)
- 核机器(kernel machines)
值得注意的是,"随机投影"这一思想在本仓库的 02-space_stretching.ipynb 中有直接的可视化演练:Notebook 先用 torch.randn(n_points, 2) 在二维平面生成点云,再通过矩阵乘法与非线性变换观察点云的"拉伸/折叠",直观演示"如何通过变换让点线性可分"这一特征提取的本质动机;其中还用 SVD 将矩阵分解为旋转(、)与缩放(对角阵 )来解释线性变换的几何作用。
2.5 数据的内在层级:图像、文本、语音
由于数据具有组合性质,学习到的特征会呈现出抽象程度逐级上升的表示层级。文档以三类自然数据为例:
图像:像素 → 边缘(edges)→ textons(多边缘形状)→ 纹样(motifs)→ 图像的组成部分(parts)→ 最终对象。
文本:字符 → 单词 → 词组 → 从句 → 句子 → 所叙述的故事。
语音:采样点 → 频带(bands)→ 声音 → 电话音(phones)→ 音素(phonemes)→ 完整单词 → 句子。
这一"从微观到宏观"的层级图景,正是 CNN(图像)与 RNN/Transformer(文本、语音)等深度架构能够成功的数据侧依据——架构的深度与数据的内在组合层级是相互匹配的。
三、学习表示:为什么要"深",以及如何学习好特征
3.1 反驳"两层谬误":两层网络为什么不够
有一种常见的质疑:"既然两层网络能逼近任意函数,为什么还需要更多层?" 本讲用支持向量机(SVM)作为例子予以回应:
- SVM 在"数据的张成空间(span of the data)"中寻找分离超平面,其预测本质上依赖于与训练样本的比对;
- 从结构上看,SVM 本质上是一个非常简化的两层神经网络:第一层定义"模板(templates)",第二层是线性分类器;
- 两层谬误(2-layer fallacy)的问题在于:中间层的复杂度与规模是随样本数 指数级增长的——要在困难任务上表现良好,需要海量的模板。
而如果把层数扩展到 量级,每一层的规模就能回到与 成线性关系。这构成了一个时间与空间的权衡:层数少则单层臃肿,层数多则单层精简。
3.2 布尔电路类比
文档还给出了一个直观的电路类比:设计一个不超过两层门电路的布尔函数计算器,理论上可以计算任意布尔函数——但第一层所需的门电路数量会随函数复杂度迅速变得不可行(infeasible)。深层的意义正在于:用更多层数换取每层资源的可控。
3.3 什么是"深度"?
本讲给出判定"深度"的三条标准:
- SVM 不深:因为它只有两层;
- 分类树(classification tree)不深:因为每一层分析的都是相同的原始特征(没有特征的组合式再抽象);
- 深度网络是深的:因为它拥有多个层,并用这些层构建一条复杂度递增的特征层级(hierarchy of features of increasing complexity)。
这一定义与前文"组合式层级结构"严格呼应:深度的本质不是"层数多",而是逐层抽象、逐层组合的能力。
3.4 流形假设:自然数据如何被表示
最后一个关键问题是:模型怎样才能学到好的表示(特征)? 本讲引入了流形假设(manifold hypothesis):
自然数据生活在一个低维流形上。所有可能图像的集合本质上无穷大,而"自然图像"只是其中极小的一个子集。
文档给出了一个生动的例子:给定一个人的图像,可能出现的图像集合的量级,大致与此人能活动的面部肌肉数量(自由度,约 50)相当。一个理想(且不现实)的特征提取器,应当表示出所有变化因素——每块肌肉、光照条件等等。
这意味着:学习表示的目标,就是找出数据背后那些低维的变化因素,而非在像素级的高维空间中打转。这也是为什么"特征提取 = 扩展表示维度以利于线性分离"与"流形假设 = 数据本质低维"看似矛盾、实则互补——网络要做的是:把低维流形上的变化因素展开,使其在表示空间中线性可分。
3.5 课堂 Q&A:PCA 能提取这些特征吗?
文档记录了讲座末尾的一个问答,对本节内容做了极好的收束:
- 问:在人脸这个例子中,其他降维技术(例如 PCA,主成分分析)能否提取出这些特征?
- 答:只有当流形表面恰好是一个超平面时 PCA 才可能有效——但自然数据的流形并不是超平面。
这解释了为什么简单的线性降维不足以替代深度特征学习,也为后续课程中"非线性变换 + 逐层组合"的必要性埋下伏笔。
四、学习路径与配套资源
作为第 1 周课程的一部分,本讲(Lecture 01-2,Part B)与同一周的 Part A(docs/it/week01/01-1.md,主讲深度学习的动机、历史与反向传播)以及实践课(Part C,空间变换可视化)共同构成完整的知识闭环。第 1 周整体概览可参考 docs/it/week01/01.md。
如果你想动手验证本文中的概念,推荐以下路线:
- 运行 02-space_stretching.ipynb:观察线性变换、SVD 分解、非线性变换与未训练神经网络对二维点云的不同作用,直观理解"特征提取即空间变换";
- 运行 06-convnet.ipynb:用 5×5 卷积 + 2×2 池化的经典结构在 MNIST 上完成手写数字分类,对照本文第一节的 CNN 演化史;
- 后续课程的 CNN 进阶内容(卷积核可视化、序列分类等)可在 07-listening_to_kernels.ipynb 与 08-seq_classification.ipynb 中继续探索。
环境准备:参照 README.md,用 conda env create -f environment.yml 创建 NYU-DL 环境后,即可通过 jupyter lab 打开上述 Notebook。