《动手学深度学习》(d2l-zh)概率章节精读:用概率语言构建可推理的机器学习模型

原创2026-10-01 10:45:042,211 阅读
文章标签:教程文档深度学习机器学习人工智能示例工程

《动手学深度学习》(d2l-zh)概率章节精读:用概率语言构建可推理的机器学习模型

机器学习本质上是在不确定环境下做出预测:根据病人的临床病史推测其下一年心脏病发作的概率、评估飞机发动机读数处于正常运行状态的可能性、让强化学习智能体权衡每种行为获得高回报的几率、为在线书店估计某位用户购买特定图书的概率……这些任务共享同一套形式化语言——概率。本文以 《动手学深度学习》概率章节(位于预备知识部分,对应仓库路径 chapter_preliminaries/probability.md)为核心骨架,结合仓库中 d2l/ 目录下四个框架(MXNet、PyTorch、TensorFlow、PaddlePaddle)的实现细节,系统讲解概率基础、抽样与大数定律、随机变量与概率论公理、多随机变量分析(联合/条件/贝叶斯/边际化/独立性)、HIV 检测贝叶斯推断实战,以及期望与方差等关键概念。读完本文,你将掌握用概率严格描述"确定程度"的方法,能够在深度学习建模中正确运用抽样、条件概率与贝叶斯定理,并学会在 d2l-zh 仓库中直接运行四框架对齐的概率实验代码。

不同分辨率下的猫狗图像对比,分辨率从 10×10 到 160×160 像素逐步提升,人类区分猫狗的难度随分辨率降低而急剧上升,这是概率讨论的直观起点

为什么机器学习需要概率:从猫狗分类说起

在 概率章节 的开篇,作者用"根据照片区分猫和狗"这一经典任务引出概率的动机。如上图所示,人类在 160×160 像素分辨率下可以轻松区分猫和狗,但在 40×40 像素下就变得具有挑战性,到了 10×10 像素几乎只能靠猜测。这里的核心观点是:

  • 如果我们完全确定图像是猫,可以说标签 yy="猫" 的概率 P(y="猫")=1P(y=\text{"猫"})=1;
  • 如果没有任何证据,则 P(y="猫")=P(y="狗")=0.5P(y=\text{"猫"})=P(y=\text{"狗"})=0.5;
  • 如果倾向但不确定,可以赋值 0.5<P(y="猫")<10.5<P(y=\text{"猫"})<1。

概率因此被定位为"一种灵活的语言,用于说明我们的确定程度",它既能描述"图像事实上是猫或狗二选一"这种客观不确定性,也能描述"明天北京是否下雨"这类随机事件不确定性,广泛适用于各种预测场景。这一节为全书后续所有涉及"不确定性"的建模(分类、回归、强化学习、推荐系统)提供了统一的形式化基础。

基本概率论:抽样、多项分布与大数定律

骰子实验与事件概率的估计

假设掷一枚公平骰子,六个结果 {1,…,6}\{1,\ldots,6\} 等可能发生,因此看到 1 的概率是 16\frac{1}{6}。但工厂生产的真实骰子可能有瑕疵,唯一检验方式是多次投掷并记录结果:把某个值出现的次数除以总投掷次数,就得到该事件概率的估计值。大数定律(law of large numbers)保证:随着投掷次数增加,该估计值会越来越接近真实的潜在概率。

在统计学中,从概率分布中抽取样本的过程称为抽样(sampling);把概率分配给若干离散选择的分布称为多项分布(multinomial distribution)。掷一次骰子就是按概率向量进行一次多项分布抽样——输出是同样长度的向量,其索引 ii 处的值表示结果 ii 在样本中出现的次数。

四框架抽样代码:一次调用抽取多个样本

章节中给出了四个深度学习框架完全对齐的抽样写法(这也是 d2l-zh 仓库"一码四跑"风格的典型示例,#@tab 标签在 chapter_preliminaries/probability.md 源码中对应 pytorch、tensorflow、paddle、mxnet 四份代码):

# MXNet(d2l.mxnet)
from d2l import mxnet as d2l
from mxnet import np, npx
npx.set_np()
fair_probs = [1.0 / 6] * 6
np.random.multinomial(1, fair_probs)          # 掷一次骰子
np.random.multinomial(10, fair_probs)        # 一次掷 10 次
counts = np.random.multinomial(1000, fair_probs).astype(np.float32)
counts / 1000                                # 相对频率作为真实概率的估计
# PyTorch(d2l.torch)
from d2l import torch as d2l
import torch
from torch.distributions import multinomial
fair_probs = torch.ones([6]) / 6
multinomial.Multinomial(1, fair_probs).sample()
multinomial.Multinomial(10, fair_probs).sample()
counts = multinomial.Multinomial(1000, fair_probs).sample()
counts / 1000
# TensorFlow(d2l.tensorflow)
from d2l import tensorflow as d2l
import tensorflow as tf
import tensorflow_probability as tfp
import numpy as np
fair_probs = tf.ones(6) / 6
tfp.distributions.Multinomial(1, fair_probs).sample()
tfp.distributions.Multinomial(10, fair_probs).sample()
counts = tfp.distributions.Multinomial(1000, fair_probs).sample()
counts / 1000
# PaddlePaddle(d2l.paddle)
from d2l import paddle as d2l
import paddle
import random
import numpy as np
fair_probs = [1.0 / 6] * 6
paddle.distribution.Multinomial(1, paddle.to_tensor(fair_probs)).sample()
paddle.distribution.Multinomial(10, paddle.to_tensor(fair_probs)).sample()
counts = paddle.distribution.Multinomial(1000, paddle.to_tensor(fair_probs)).sample()
counts / 1000

由于从公平骰子生成数据,每个结果的真实概率为 16≈0.167\frac{1}{6}\approx 0.167,上述相对频率估计值会围绕该值波动。文档特别指出:若用 Python for 循环逐次抽样,"速度会慢得惊人",因此要利用深度学习框架的向量化函数同时抽取多个样本,得到任意形状的独立样本数组——这正是后续深度学习训练中"批量采样(batch sampling)"效率思想的雏形。

收敛可视化:500 组实验验证大数定律

章节用一个绘图实验直观展示"估计概率随时间收敛到真实概率":进行 500 组实验,每组抽取 10 个样本,对计数做累积求和(cumsum)得到累积相对频率,并绘制 6 条曲线与 y=0.167y=0.167 的虚线参考线对照。

# 以 PyTorch 版本为例(MXNet/TensorFlow/Paddle 写法见仓库原文)
counts = multinomial.Multinomial(10, fair_probs).sample((500,))
cum_counts = counts.cumsum(dim=0)
estimates = cum_counts / cum_counts.sum(dim=1, keepdims=True)

d2l.set_figsize((6, 4.5))
for i in range(6):
    d2l.plt.plot(estimates[:, i].numpy(), label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend();

运行结果中,6 条实线随实验组数增加逐步向 0.167 收敛。这里的 d2l.set_figsize、d2l.plt 均来自仓库的 d2l 工具库:set_figsize 在 d2l/torch.py、d2l/mxnet.py、d2l/tensorflow.py、d2l/paddle.py 中均有实现(默认 figsize=(3.5, 2.5),并调用 use_svg_display 以 SVG 格式在 Jupyter 中显示绘图)。可以看到四个框架的绘图代码保持同一套 API,仅数据访问方式不同(如 .asnumpy()、.numpy()),这正是 d2l 库统一封装的体现。

概率论公理与随机变量

科尔莫戈罗夫公理:严格推理的基础

掷骰子实验中,集合 S={1,2,3,4,5,6}\mathcal{S}=\{1,2,3,4,5,6\} 称为样本空间(sample space)或结果空间(outcome space),每个元素是一个结果(outcome),事件(event)是样本空间的子集(例如"看到 5"即 {5}\{5\},"看到奇数"即 {1,3,5}\{1,3,5\})。概率 P(A)P(\mathcal{A}) 可视为把集合映射到实数的函数,满足三条公理(由科尔莫戈罗夫于 1933 年提出):

  1. 非负性:对任意事件 A\mathcal{A},P(A)≥0P(\mathcal{A}) \geq 0;
  2. 规范性:整个样本空间的概率为 1,P(S)=1P(\mathcal{S}) = 1;
  3. 可数可加性:对任意互斥事件序列 A1,A2,…\mathcal{A}_1,\mathcal{A}_2,\ldots(i≠ji\neq j 时 Ai∩Aj=∅\mathcal{A}_i \cap \mathcal{A}_j = \emptyset),有 P(⋃i=1∞Ai)=∑i=1∞P(Ai)P(\bigcup_{i=1}^{\infty}\mathcal{A}_i)=\sum_{i=1}^{\infty}P(\mathcal{A}_i)。

借助这套公理系统,可以避免关于随机性的哲学争论,用数学语言严格推理。例如令 A1=S\mathcal{A}_1=\mathcal{S} 且 i>1i>1 时 Ai=∅\mathcal{A}_i=\emptyset,即可证明 P(∅)=0P(\emptyset)=0,即不可能事件的概率为 0。

随机变量:离散与连续

随机变量(random variable)几乎可以是任何数量,并在随机实验的一组可能性中取值。事件"看到一个 5"可表示为 {X=5}\{X=5\} 或 X=5X=5,概率记为 P(X=5)P(X=5);P(X)P(X) 表示随机变量 XX 上的分布(distribution),P(a)P(a) 则简记取值 aa 的概率;区间事件如 P(1≤X≤3)P(1\leq X\leq 3) 对应 {X=1,2,or,3}\{X=1,2,\text{or},3\}。

需要注意离散随机变量(如骰子每一面)与连续随机变量(如人的身高体重)的区别:现实中精确测量时,这个星球上不存在身高完全相同的两个人,因此询问"身高是否落入 1.79 到 1.81 米区间"比询问"身高恰好 1.80 米"更有意义。连续情形下,某个精确数值的概率为 0,但密度(density)不为 0,任何两个不同高度之间都有非零概率。本章余下内容聚焦离散空间;连续随机变量的深入讨论(含其在深度学习数学附录中的展开)可参见原文档中关于随机变量的延伸阅读部分,这里不再展开。

处理多个随机变量

真实世界几乎总是同时涉及多个随机变量:疾病与症状的关系建模(如"流感"与"咳嗽"是否同时存在于患者身上)、图像中数百万像素与标签、乃至位置、时间、光圈、ISO 等全部元数据,都是联合发生的随机变量。本节给出分析多变量的四个核心工具。

联合概率与条件概率

联合概率(joint probability)P(A=a,B=b)P(A=a,B=b) 回答"A=aA=a 且 B=bB=b 同时满足"的概率。因为同时发生必然要求各自发生,所以恒有 P(A=a,B=b)≤P(A=a)P(A=a,B=b)\leq P(A=a)。由此得到一个有趣的比率:

0≤P(A=a,B=b)P(A=a)≤10 \leq \frac{P(A=a, B=b)}{P(A=a)} \leq 1

它被称为条件概率(conditional probability),记为 P(B=b∣A=a)P(B=b \mid A=a),含义是"在 A=aA=a 已发生的前提下 B=bB=b 的概率"。

贝叶斯定理

由乘法法则 P(A,B)=P(B∣A)P(A)P(A,B)=P(B\mid A)P(A) 及对称性 P(A,B)=P(A∣B)P(B)P(A,B)=P(A\mid B)P(B),在 P(B)>0P(B)>0 时解得统计学中最有用的方程之一——贝叶斯定理:

P(A∣B)=P(B∣A)P(A)P(B)P(A \mid B) = \frac{P(B \mid A) P(A)}{P(B)}

其中 P(A,B)P(A,B) 是联合分布,P(A∣B)P(A\mid B) 是条件分布,均可在给定取值 A=a,B=bA=a,B=b 上求值。

边际化:求和法则

要得到 BB 的概率,可以穷举 AA 的所有可能取值并把联合概率聚合起来,即求和法则:

P(B)=∑AP(A,B)P(B) = \sum_{A} P(A, B)

这也称为边际化(marginalization),其结果称为边际概率(marginal probability)或边际分布(marginal distribution)。

独立性与条件独立性

若事件 AA 的发生与 BB 无关,则称 AA 与 BB 独立(记为 A⊥BA\perp B),此时由贝叶斯定理可得 P(A∣B)=P(A)P(A\mid B)=P(A)。由于 P(A∣B)=P(A,B)P(B)=P(A)P(A\mid B)=\frac{P(A,B)}{P(B)}=P(A) 等价于 P(A,B)=P(A)P(B)P(A,B)=P(A)P(B),所以两个随机变量独立当且仅当联合分布等于各自分布的乘积。例如连续两次抛骰子的事件相互独立,而灯开关位置与房间亮度则不是(可能存在灯泡损坏、电源故障或开关故障)。更进一步,给定第三个随机变量 CC 时,若 P(A,B∣C)=P(A∣C)P(B∣C)P(A,B\mid C)=P(A\mid C)P(B\mid C),则称 AA 与 BB 条件独立,记为 A⊥B∣CA\perp B\mid C。

实战应用:HIV 检测中的贝叶斯推断

章节用一个违反直觉的医学案例展示上述工具的完整闭环。设 D1D_1 表示第一次诊断结果(阳性为 1,阴性为 0),HH 表示是否感染 HIV(阳性为 1,阴性为 0),第一次测试的条件概率如下(注意每列之和为 1,因为条件概率与概率一样需要总和为 1):

条件概率 H=1H=1 H=0H=0
P(D1=1∣H)P(D_1 = 1 \mid H) 1 0.01
P(D1=0∣H)P(D_1 = 0 \mid H) 0 0.99

假设总体相当健康,先验 P(H=1)=0.0015P(H=1)=0.0015。若测试呈阳性,患者感染 HIV 的概率 P(H=1∣D1=1)P(H=1\mid D_1=1) 需要结合边际化与乘法法则计算 P(D1=1)P(D_1=1):

P(D1=1)=P(D1=1∣H=0)P(H=0)+P(D1=1∣H=1)P(H=1)=0.011485P(D_1=1)=P(D_1=1\mid H=0)P(H=0)+P(D_1=1\mid H=1)P(H=1)=0.011485

于是

P(H=1∣D1=1)=P(D1=1∣H=1)P(H=1)P(D1=1)≈0.1306P(H=1\mid D_1=1)=\frac{P(D_1=1\mid H=1)P(H=1)}{P(D_1=1)}\approx 0.1306

结论令人警醒:尽管测试"相当准确",一次阳性结果对应的真实感染概率只有约 13.06%——因为疾病在人群中极罕见,大量健康者贡献了海量误报。这直观展示了先验(疾病流行率)如何影响后验推断。

患者随后做第二次测试,其精度略低(假阳性率 3%,漏检率 2%):

条件概率 H=1H=1 H=0H=0
P(D2=1∣H)P(D_2 = 1 \mid H) 0.98 0.03
P(D2=0∣H)P(D_2 = 0 \mid H) 0.02 0.97

不幸的是第二次也是阳性。利用条件独立性假设(D1⊥D2∣HD_1\perp D_2\mid H,即给定感染状态后两次测试结果相互独立),可计算:

P(D1=1,D2=1∣H=0)=P(D1=1∣H=0)P(D2=1∣H=0)=0.0003P(D_1=1,D_2=1\mid H=0)=P(D_1=1\mid H=0)P(D_2=1\mid H=0)=0.0003

P(D1=1,D2=1∣H=1)=P(D1=1∣H=1)P(D2=1∣H=1)=0.98P(D_1=1,D_2=1\mid H=1)=P(D_1=1\mid H=1)P(D_2=1\mid H=1)=0.98

再由边际化与乘法法则:

P(D1=1,D2=1)=P(D1=1,D2=1∣H=0)P(H=0)+P(D1=1,D2=1∣H=1)P(H=1)=0.00176955P(D_1=1,D_2=1)=P(D_1=1,D_2=1\mid H=0)P(H=0)+P(D_1=1,D_2=1\mid H=1)P(H=1)=0.00176955

最终,两次阳性条件下的感染概率为:

P(H=1∣D1=1,D2=1)=P(D1=1,D2=1∣H=1)P(H=1)P(D1=1,D2=1)≈0.8307P(H=1\mid D_1=1,D_2=1)=\frac{P(D_1=1,D_2=1\mid H=1)P(H=1)}{P(D_1=1,D_2=1)}\approx 0.8307

第二次测试虽然单项精度更低,却把后验概率从 13.06% 大幅提升到 83.07%。这说明条件独立性假设 + 贝叶斯更新的威力:多个(哪怕不完美的)证据可以显著提升推断置信度。本节也顺带回答了章节练习第 4 题:若两次运行同一个测试,误报与漏报模式高度相关,难以提供真正的独立信息;而两个特性不同的测试(错误模式不完全相关)才能通过条件独立性带来增量信息。

期望与方差:概括分布的关键特征

为概括概率分布的关键特征,需要两类度量。期望(expectation,或称平均值)定义为:

E[X]=∑xxP(X=x)E[X] = \sum_{x} x P(X = x)

当输入 xx 从分布 PP 中抽取时,函数 f(x)f(x) 的期望为 Ex∼P[f(x)]=∑xf(x)P(x)E_{x\sim P}[f(x)]=\sum_x f(x)P(x)。方差(variance)衡量随机变量 XX 与其期望的偏离程度:

Var[X]=E[(X−E[X])2]=E[X2]−E[X]2\mathrm{Var}[X] = E\left[(X - E[X])^2\right] = E[X^2] - E[X]^2

方差的平方根称为标准差(standard deviation)。随机变量函数的方差则衡量采样不同 xx 时函数值偏离其期望的程度:

Var[f(x)]=E[(f(x)−E[f(x)])2]\mathrm{Var}[f(x)] = E\left[\left(f(x) - E[f(x)]\right)^2\right]

期望与方差在后续章节中反复出现:例如优化算法中损失函数的期望(泛化误差)、随机梯度下降中梯度的方差(收敛性分析)、以及各类估计量的偏差-方差权衡。

小结与练习

章节小结可以浓缩为三条核心结论:我们可以从概率分布中采样;可以使用联合分布、条件分布、贝叶斯定理、边际化和独立性假设来分析多个随机变量;期望和方差为概率分布关键特征的概括提供了实用度量。 原文附有 4 道练习,适合动手验证:

  1. 进行 m=500m=500 组实验、每组抽取 n=10n=10 个样本,改变 mm 和 nn,观察估计概率的收敛速度如何随参数变化(可直接修改上文收敛可视化代码中的两个数字);
  2. 给定概率为 P(A)P(\mathcal{A}) 与 P(B)P(\mathcal{B}) 的两个事件,用维恩图推导 P(A∪B)P(\mathcal{A}\cup\mathcal{B}) 与 P(A∩B)P(\mathcal{A}\cap\mathcal{B}) 的上限和下限;
  3. 假设 BB 只依赖 AA、CC 只依赖 BB(一个马尔可夫链结构),尝试把联合概率 P(A,B,C)P(A,B,C) 分解为更简单的条件概率乘积;
  4. 结合上文 HIV 案例思考:既然第一个测试更准确,为什么不同时运行两次第一次测试,而是选择"第一次 + 第二次"的组合。

源码阅读指引

本章内容在仓库中的完整实现与工具依赖如下,读者可据此深入:

  • 章节正文: chapter_preliminaries/probability.md,代码块中的 #@tab 标签分别对应 pytorch、tensorflow、paddle、mxnet 四个后端实现;
  • d2l 统一工具库(set_figsize、use_svg_display、plot 等绘图辅助):d2l/torch.py、d2l/mxnet.py、d2l/tensorflow.py、d2l/paddle.py,其中 set_figsize 默认图表尺寸 (3.5, 2.5),use_svg_display 将 matplotlib 输出格式切换为 SVG 以适配 Jupyter 内联显示;
  • 预备知识章节总览(概率在本章中的定位):chapter_preliminaries/index.md,其中明确"要在不确定的情况下进行严格的推断,我们需要借用概率语言";
  • 配图 img/cat-dog-pixels.png 即上文猫狗分辨率对比图,位于仓库 img/cat-dog-pixels.png。

概率是深度学习所有"预测"行为的底层语言。掌握本节的基本概率论、抽样方法、多随机变量分析工具以及期望方差度量,是后续理解交叉熵损失、softmax 回归、贝叶斯视角的正则化、以及各类生成模型的前提。

登录后查看全文
d2l-zh