《动手学深度学习》前言深度解读:概念、数学与可运行代码三位一体的学习框架
《动手学深度学习》前言深度解读:概念、数学与可运行代码三位一体的学习框架
《动手学深度学习》(Dive into Deep Learning,D2L)的开源仓库以本书正文为骨架,本前言章节回答了"这本书为什么存在、如何组织、读者如何上手"三个根本问题:它试图将概念、背景知识和代码统一到同一本可免费获取的教科书中,让读者在动手实现真实模型的过程中掌握深度学习。读完本文,你将理解本书"在实践中学习"的教学设计、全书三大知识板块的划分逻辑、d2l 工具包的设计动机与依赖边界,以及基于本仓库快速进入学习流程的完整路径。
写作背景:深度学习从边缘学科到产业主引擎
前言开篇回顾了深度学习爆发前的行业状况:机器学习曾是"具有前瞻性但应用范围很窄"的学科,语音识别、计算机视觉等应用需要大量领域知识,以至于被认为是与机器学习相互独立的领域,而神经网络则被视为过时的工具。过去五年间,深度学习推动了计算机视觉、自然语言处理、自动语音识别、强化学习和统计建模等方向的快速发展,催生了更自主的自动驾驶原型、自动起草的邮件智能回复、超越人类顶尖棋手的围棋程序,并持续改变电影制作、疾病诊断,甚至进入天体物理学与生物学等基础科学领域。
这段背景的写作动机很明确:深度学习要产生全行业影响力,离不开充分理解、充分文档化且维护良好的工具生态。动态网页应用之所以在 20 世纪 90 年代数据库应用之后爆发,正是因为出现了功能强大、文档完整的框架。前言将这一类比作为全书的出发点——深度学习同样需要"关键思想被清晰提炼 + 成熟库自动化常见任务 + 示例代码易于修改扩展"三位一体的资源。
关于本书:为何需要一种"代码、数学与 HTML"统一媒介
应用深度学习同时要求四方面能力:
- 以特定方式提出问题的动机;
- 给定建模方法的数学;
- 将模型拟合数据的优化算法;
- 有效训练模型、克服数值缺陷并充分利用硬件的工程方法。
写书之前作者们调研了既有资源,发现它们都只满足部分条件:要么过时,要么未覆盖现代机器学习全领域,要么只给代码片段(如 LeNet、AlexNet、ResNet 的实现)却忽略"为什么做出某些算法决策"的讨论,要么只谈概念(如《深度学习》教材)却不把描述与代码实现结合起来,还有大量资源被商业付费壁垒挡住。
本书于是立下五项目标:(1)人人免费可得;(2)技术深度足以支撑成为应用机器学习科学家;(3)包含可运行代码,展示如何解决实际问题;(4)支持作者与社区快速更新;(5)由技术讨论论坛作为补充。
这些目标天然相互冲突——公式、定理适合用 LaTeX 管理,代码适合用 Python 描述,网页原生是 HTML 与 JavaScript,而内容又需要同时输出为可执行代码、纸质书、PDF 和网站。最终的工作流组合可以从本仓库得到印证:用 GitHub 共享源码并允许社区编辑,用 Jupyter Notebook 混合代码、公式与文本,用 Sphinx 作为渲染引擎产出多格式输出。仓库根目录的 config.ini 正是这套构建体系的配置中心,其中 [build] 段定义了 tabs = mxnet, pytorch, tensorflow, paddle 四个多框架代码标签页,[html]、[pdf] 段则分别管理网页导航链接、LaTeX 字体与 PDF 后处理脚本,notebooks = *.md */*.md 表明所有 Markdown 章节文件都会作为 Jupyter 笔记本被求值。
在实践中学习:按需引入、先动手后理论
前言交代了本书与"每章穷尽式深入"的传统教科书(如 Bishop 的经典教材)的差异:按需适时教授概念——读者将在实现某个实际目的所必需的时机学习对应知识点。具体策略有三点:
- 先打基础:开头少量篇幅快速覆盖线性代数、概率等预备知识,但让读者在思考深奥的概率分布之前,先体会到训练模型成功的满足感;
- 一节一个可独立工作的例子:除预备章节外,每章引入适量新概念并提供使用真实数据集的完整可运行示例,使读者可以"复制一节内容并开始修改"来启动自己的研究项目;
- 代码与背景材料交错:常常在充分解释工具之前就使用工具(例如先使用随机梯度下降,再解释其原理),为从业者提供快速解决问题的"弹药"。
此外,本书坚持"从头开始教概念":当某模型细节通常被框架高级抽象隐藏时,会同时给出两个版本——一个仅依赖张量操作与自动微分、从零实现一切的版本,另一个使用框架高级 API 的简洁版本。教会组件原理后,后续章节便改用高级 API 提高效率。
内容和结构:三大板块与全书导航
全书分三大部分,结构图如下:
- 第一部分:基础与预备知识。chapter_introduction 提供深度学习入门课程;chapter_preliminaries 快速介绍存储处理数据的方法以及线性代数、微积分、概率等数值运算基础;chapter_linear-networks 与 chapter_multilayer-perceptrons 覆盖线性回归、多层感知机与正则化等最基本概念。
- 第二部分:现代深度学习技术(连续五章)。chapter_deep-learning-computation 讲解深度学习计算的关键组件;chapter_convolutional-neural-networks 与 chapter_convolutional-modern 介绍构成现代计算机视觉骨干的卷积神经网络(CNN);chapter_recurrent-neural-networks 与 chapter_recurrent-modern 引入利用时间/序列结构的循环神经网络(RNN),常用于自然语言处理与时间序列预测;chapter_attention-mechanisms 介绍注意力机制模型,这类模型正在自然语言处理中逐步取代循环神经网络。
- 第三部分:可伸缩性、效率与应用。chapter_optimization 讨论常用优化算法;chapter_computational-performance 探讨影响计算性能的关键因素;chapter_computer-vision 展示计算机视觉应用;chapter_natural-language-processing-pretraining 与 chapter_natural-language-processing-applications 讲解如何预训练语言表示模型并应用于 NLP 任务。
仓库根目录的 index.md 以 toc 指令的形式固化了上述章节顺序:前言、安装、符号 三节为前置内容,其后是上述三大部分共十六个章节,最后以参考文献收尾,读者可以据此把握从入门到应用的完整学习路线。
代码:d2l 包的定位、依赖与多框架支持
本书大部分章节都以可执行代码为特色,因为"某些直觉只能通过试错、小幅调整代码并观察结果来发展"。为避免重复,书中经常导入和引用的函数、类被封装进 d2l 包;任何需要保存进包的代码块都会标记 #@save。d2l 包保持轻量,仅依赖如下标准与常用模块:
#@tab all
#@save
import collections
from collections import defaultdict
from IPython import display
import math
from matplotlib import pyplot as plt
from matplotlib_inline import backend_inline
import os
import pandas as pd
import random
import re
import shutil
import sys
import tarfile
import time
import requests
import zipfile
import hashlib
d2l = sys.modules[__name__]
仓库中 setup.py 印证了这份依赖清单,其 requirements 明确为 jupyter==1.0.0、numpy==1.21.5、matplotlib==3.5.1、requests==2.25.1、pandas==1.2.4,并声明 python_requires='>=3.5',包版本号由 d2l/init.py 中的 __version__ = "2.0.0" 提供。
四种深度学习框架的导入方式
本书代码同时支持 MXNet、PyTorch、TensorFlow、PaddlePaddle 四个后端,前言中给出了各框架的模块导入方式(均为 #@save 标记):
#@tab mxnet
#@save
from mxnet import autograd, context, gluon, image, init, np, npx
from mxnet.gluon import nn, rnn
#@tab pytorch
#@save
import numpy as np
import torch
import torchvision
from torch import nn
from torch.nn import functional as F
from torch.utils import data
from torchvision import transforms
from PIL import Image
#@tab tensorflow
#@save
import numpy as np
import tensorflow as tf
#@tab paddle
#@save
import numpy as np
import warnings
warnings.filterwarnings("ignore")
import paddle
from paddle import nn
from paddle.nn import functional as F
from paddle.vision import transforms
import paddle.vision as paddlevision
from PIL import Image
paddle.disable_signal_handler()
这些导入在仓库源码中得到一一对应:d2l/torch.py 顶部即 torch、torchvision、nn、functional as F、data、transforms、PIL.Image 的导入;d2l/mxnet.py、d2l/tensorflow.py、d2l/paddle.py 分别承载另外三个后端。d2l 的导入方式在 d2l/init.py 中明确给出:
from d2l import mxnet as d2l # Use MXNet as the backend
from d2l import torch as d2l # Use PyTorch as the backend
from d2l import tensorflow as d2l # Use TensorFlow as the backend
from d2l import paddle as d2l # Use Paddle as the backend
config.ini 的 [library-pytorch]、[library-tensorflow] 等段进一步揭示了 d2l 包的多框架抽象机制:通过 simple_alias(如 PyTorch 的 concat -> cat、transpose -> t)、fluent_alias(如 numpy -> detach().numpy)与 alias(如 nn_Module = nn.Module)把跨框架 API 差异统一到同一套 d2l.xxx 调用上,这些文件由 d2lbook build lib 自动生成,文件头部的 WARNING 注释即说明了这一点。
框架版本与运行前提
前言与各框架代码标签页均强调:书中的代码在编写时的最新框架版本下通过测试,但由于深度学习发展迅速,印刷版代码可能在未来版本无法运行;在线版本会保持更新,遇到问题时请参照安装章节更新代码与运行时环境。chapter_installation/index.md 给出了完整的实践流程:安装 Miniconda、conda create --name d2l python=3.9 创建环境、按对应框架标签页安装深度学习框架(如 pip install torch==1.12.0 与 pip install torchvision==0.13.0)、pip install d2l==0.17.6 安装工具包,最后解压 Notebook 并运行 jupyter notebook。
目标受众与数学/编程前提
本书面向希望扎实掌握深度学习实用技术的学生(本科生或研究生)、工程师和研究人员。由于每个概念都从头解释,无需任何深度学习或机器学习背景;但需要读者具备线性代数、微积分、概率与基础 Python 编程知识。全书大部分时候优先直觉与想法而非数学严谨性,附录则提供大多数数学知识的复习——仓库中 chapter_appendix-tools-for-deep-learning 即包含这类补充工具章节。
论坛与社区支持
与本书配套的讨论论坛用于技术细节的互动答疑:读者对任何一节有疑问时,可在该节末尾找到对应的讨论页链接,并可通过注册论坛账号、在对应主题下提问来与作者和社区交流。本仓库每个章节文件(含本前言)末尾都保留了指向对应讨论主题的标识,例如本文对应 MXNet、PyTorch、TensorFlow、Paddle 四个框架版本的讨论入口。
小结与练习
前言以小结与练习收束:
小结
- 深度学习已彻底改变模式识别,催生了计算机视觉、自然语言处理、自动语音识别等一系列技术;
- 要成功应用深度学习,必须同时掌握如何提出问题、建模的数学、拟合模型的算法以及实现这些的工程技术;
- 本书把文本、图表、数学与代码集中在一处,构成统一资源;
- 所有 Jupyter 记事本均可从仓库获取。
练习
- 在本书配套论坛上注册账号;
- 在计算机上安装 Python;
- 沿着对应章节底部的讨论链接进入论坛,寻求帮助、讨论本书内容并与作者和社区互动。
基于仓库的进一步学习路径
如果想继续深入,可以从以下仓库内的路径出发:
- 了解
d2l包全部可用成员:查看 d2l API 文档,其按"模型、数据、训练、公用"四类列出Module、DataModule、Trainer、SGD、ProgressBoard、HyperParameters等组件,对应实现在 d2l/torch.py 等源码文件中; - 搭建可运行环境:按 安装章节 安装 Miniconda、框架与
d2l包,再下载 D2L Notebook 运行全书代码; - 参与内容改进:前言提及的协作流程详见 为本书做贡献,其中说明了
#@tab多框架代码块标记规范(如#@tab pytorch、#@tab all)与基于版本控制的 PR 流程,CI 系统会自动执行更新部分以生成输出; - 对照全书章节导航:index.md 与 符号章节 分别提供目录与全书数学符号约定,便于按需检索。