《动手学深度学习》预备知识:概率论基础、采样实战与贝叶斯推断

原创2026-10-01 21:39:081,936 阅读
文章标签:教程文档深度学习机器学习人工智能示例工程

《动手学深度学习》预备知识:概率论基础、采样实战与贝叶斯推断

概率是机器学习的底层语言:无论是预测心脏病发作风险、评估发动机读数是否异常,还是构建推荐系统估计用户购书概率,本质上都是在不确定性下做推断。本文以 d2l-zh 仓库中预备知识章节之概率(对应中文版 chapter_preliminaries/probability.md)为骨架,系统讲解概率论的核心概念——从掷骰子的抽样与大数定律,到联合概率、条件概率、贝叶斯定理、边际化与独立性,并通过一个完整的 HIV 检测案例展示贝叶斯推断如何改变我们的判断。读完本文,你将掌握用 MXNet / PyTorch / TensorFlow / Paddle 四种后端完成多项分布采样与概率收敛可视化的完整代码,并理解期望与方差等分布特征度量,为后续理解交叉熵损失、softmax 回归与最大似然估计打下基础。

不同分辨率的猫狗图像(10×10、20×20、40×40、80×80、160×160 像素),上行 5 张为白色猫、下行 3 张为白色犬,用于说明分辨率如何影响分类的确定性

为什么机器学习需要概率

从预测到概率:机器学习的不确定性表达

机器学习的核心是"做出预测"。常见场景包括:

  • 医疗预测:根据病人的临床病史,预测其在接下来一年内心脏病发作的概率;
  • 异常检测:评估一组飞机喷气发动机读数在正常运行情况下的似然;
  • 强化学习:智能体需要评估在每个可用动作下获得高奖励的概率,从而智能地行动;
  • 推荐系统:估计某个特定用户购买某本特定图书的概率。

完整的概率课程可以占据一个专业,但本节的目标不是穷尽整个学科,而是提供足以开始构建第一个深度学习模型的基础,并给你足够的"风味"以便日后自行深入探索。

猫狗分类:确定性如何随信息量变化

以"根据照片区分猫和狗"为例。这个任务听起来简单,实则充满挑战,且难度取决于图像分辨率。原文中的插图(即上文展示的 img/cat-dog-pixels.png)直观显示:在 160×160 像素下人类可以轻松识别猫狗,在 40×40 像素下变得困难,而在 10×10 像素下几乎不可能。也就是说,在很远距离(低分辨率)下,我们的判断趋近于盲目猜测。

概率为我们提供了一种形式化地表达确定程度的语言:

  • 若完全确信图像是猫,则标签 yy 为"猫"的概率 P(y=“猫”)=1P(y=\text{“猫”})=1;
  • 若完全没有证据,则 P(y=“猫”)=P(y=“狗”)=0.5P(y=\text{“猫”})=P(y=\text{“狗”})=0.5;
  • 若较为确信但不肯定,则 0.5<P(y=“猫”)<10.5 < P(y=\text{“猫”}) < 1。

再看第二个案例:给定天气监测数据,预测明日降雨的概率(夏季约为 0.5)。与猫狗案例相比,两者有一个关键区别:第一例中图像事实上非猫即狗,只是我们不知道;第二例中结果本身可能是随机事件。可见概率是一种灵活的语言,用于表达对确定程度的不同度量,可广泛应用于各种情境。

基本概率论:掷骰子、抽样与大数定律

从公平骰子出发:事件、概率与大数定律

假设掷一枚骰子,想知道出现 1 点的机会。若骰子公平,六个结果 {1,…,6}\{1,\dots,6\} 等可能发生,则 1 出现的概率为 16\frac{1}{6}。但对于工厂生产的真实骰子,我们不知道各面是否等可能,唯一办法是多次投掷并记录结果。

对每个值,一种自然的估计方法是用该值的出现次数除以总投掷次数,得到该事件概率的估计值。大数定律(law of large numbers)告诉我们:随着投掷次数增加,这个估计将越来越接近真实概率。

抽样与多项分布:四种后端的统一 API

在统计学中,从概率分布中抽取样本的过程称为抽样(sampling)。将概率分配给若干离散选择的分布称为多项分布(multinomial distribution)。抽样时只需传入一个概率向量,输出是等长的另一向量,其第 ii 个分量为"抽样结果落在 ii"的次数。

先导入必要的包。四个后端统一通过 from d2l import xxx as d2l 导入本书工具库(见 d2l/init.py 中的说明):

# MXNet 后端
%matplotlib inline
from d2l import mxnet as d2l
from mxnet import np, npx
import random
npx.set_np()
# PyTorch 后端
%matplotlib inline
from d2l import torch as d2l
import torch
from torch.distributions import multinomial
# TensorFlow 后端
%matplotlib inline
from d2l import tensorflow as d2l
import tensorflow as tf
import tensorflow_probability as tfp
import numpy as np
# Paddle 后端(仓库同时提供,见 d2l/paddle.py)
%matplotlib inline
from d2l import paddle as d2l
import warnings
warnings.filterwarnings("ignore")
import paddle
import random
import numpy as np

定义公平骰子的概率向量并抽取单个样本:

# MXNet
fair_probs = [1.0 / 6] * 6
np.random.multinomial(1, fair_probs)
# PyTorch
fair_probs = torch.ones([6]) / 6
multinomial.Multinomial(1, fair_probs).sample()
# TensorFlow
fair_probs = tf.ones(6) / 6
tfp.distributions.Multinomial(1, fair_probs).sample()
# Paddle
fair_probs = [1.0 / 6] * 6
paddle.distribution.Multinomial(1, paddle.to_tensor(fair_probs)).sample()

批量采样:避开 Python for 循环

要估计骰子的公平性,通常需要从同一分布中生成大量样本。若用 Python for 循环逐个采样会慢得惊人,因此各框架的采样 API 都支持一次抽取多个独立样本,返回任意形状的数组:

# MXNet:一次抽取 10 个样本
np.random.multinomial(10, fair_probs)
# PyTorch
multinomial.Multinomial(10, fair_probs).sample()
# TensorFlow
tfp.distributions.Multinomial(10, fair_probs).sample()
# Paddle
paddle.distribution.Multinomial(10, paddle.to_tensor(fair_probs)).sample()

p_n 参数(此处为 10)即单次试验中投掷的次数,返回向量第 ii 个分量统计了结果 ii 出现的次数,这正是"多项分布"名字的由来——一个试验包含 nn 次独立重复、每次落在 kk 个类别之一。

模拟 1000 次投掷:用相对频率估计真实概率

# MXNet
counts = np.random.multinomial(1000, fair_probs).astype(np.float32)
counts / 1000
# PyTorch(将结果存为 32 位浮点数以便除法)
counts = multinomial.Multinomial(1000, fair_probs).sample()
counts / 1000  # 相对频率作为估计值
# TensorFlow
counts = tfp.distributions.Multinomial(1000, fair_probs).sample()
counts / 1000
# Paddle
counts = paddle.distribution.Multinomial(1000, paddle.to_tensor(fair_probs)).sample()
counts / 1000

由于数据由公平骰子生成,我们知道每个结果的真实概率为 16≈0.167\frac{1}{6}\approx 0.167,因此上述估计值应接近该数值。

收敛可视化:概率如何逼近真实值

进一步观察估计概率随时间收敛的过程:进行 500 组实验,每组抽取 10 个样本,沿组维做累计求和,再除以累计总次数得到估计序列:

# PyTorch 版本(其余后端写法见原文)
counts = multinomial.Multinomial(10, fair_probs).sample((500,))
cum_counts = counts.cumsum(dim=0)
estimates = cum_counts / cum_counts.sum(dim=1, keepdims=True)

d2l.set_figsize((6, 4.5))
for i in range(6):
    d2l.plt.plot(estimates[:, i].numpy(),
                 label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()
# MXNet 版本
counts = np.random.multinomial(10, fair_probs, size=500)
cum_counts = counts.astype(np.float32).cumsum(axis=0)
estimates = cum_counts / cum_counts.sum(axis=1, keepdims=True)

d2l.set_figsize((6, 4.5))
for i in range(6):
    d2l.plt.plot(estimates[:, i].asnumpy(),
                 label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()
# TensorFlow 版本
counts = tfp.distributions.Multinomial(10, fair_probs).sample(500)
cum_counts = tf.cumsum(counts, axis=0)
estimates = cum_counts / tf.reduce_sum(cum_counts, axis=1, keepdims=True)

d2l.set_figsize((6, 4.5))
for i in range(6):
    d2l.plt.plot(estimates[:, i].numpy(),
                 label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()
# Paddle 版本
counts = paddle.distribution.Multinomial(10, paddle.to_tensor(fair_probs)).sample((500,1))
cum_counts = counts.cumsum(axis=0)
cum_counts = cum_counts.squeeze(axis=1)
estimates = cum_counts / cum_counts.sum(axis=1, keepdim=True)

d2l.set_figsize((6, 4.5))
for i in range(6):
    d2l.plt.plot(estimates[:, i], label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()

图中 6 条实线分别对应骰子的 6 个面,给出每组实验后该面出现的估计概率;黑色虚线为真实概率 0.167。随着实验组数增加,6 条曲线逐渐向真实概率收敛——这就是大数定律的可视化。

这里的 d2l.set_figsize((6, 4.5)) 与 d2l.plt 来自本书的工具库:在 d2l/torch.py、d2l/mxnet.py、d2l/tensorflow.py、d2l/paddle.py 中,use_svg_display() 将 matplotlib 输出切换为 SVG 格式以适配 Jupyter,set_figsize(figsize) 则设置 rcParams['figure.figsize'];d2l.plt 由库内部统一绑定到 matplotlib.pyplot。也就是说,本书所有绘图都封装在这套统一工具函数之上。

概率论公理

处理掷骰子问题时,集合 S={1,2,3,4,5,6}\mathcal{S}=\{1,2,3,4,5,6\} 称为样本空间(sample space)或结果空间(outcome space),其中每个元素称为结果(outcome)。事件(event)是给定样本空间的一组结果的集合。例如"看到 5"({5}\{5\})与"看到奇数"({1,3,5}\{1,3,5\})都是掷骰子的有效事件;若一次随机实验的结果落在事件 A\mathcal{A} 中,则称事件 A\mathcal{A} 发生——比如掷出 3 点时,因为 3∈{1,3,5}3\in\{1,3,5\},"看到奇数"这一事件便已发生。

概率可以视为把集合映射到实数的一个函数。在样本空间 S\mathcal{S} 中,事件 A\mathcal{A} 的概率 P(A)P(\mathcal{A}) 满足以下性质(即 1933 年由柯尔莫哥洛夫提出的概率公理):

  1. 非负性:对任意事件 A\mathcal{A},P(A)≥0P(\mathcal{A}) \geq 0;
  2. 规范性:整个样本空间的概率为 1,即 P(S)=1P(\mathcal{S}) = 1;
  3. 可列可加性:对任意互斥(mutually exclusive)事件的可数序列 A1,A2,…\mathcal{A}_1,\mathcal{A}_2,\dots(对所有 i≠ji\neq j 有 Ai∩Aj=∅\mathcal{A}_i\cap\mathcal{A}_j=\emptyset),P(⋃i=1∞Ai)=∑i=1∞P(Ai)P(\bigcup_{i=1}^{\infty}\mathcal{A}_i)=\sum_{i=1}^{\infty}P(\mathcal{A}_i)。

正是这套公理系统使我们可以抛开关于随机性的哲学争论,用严格的数学语言推理。例如,令 A1\mathcal{A}_1 为整个样本空间、Ai=∅\mathcal{A}_i=\emptyset(i>1i>1),即可证明 P(∅)=0P(\emptyset)=0——不可能事件的概率为 0。

随机变量:离散与连续

在掷骰子的随机实验中,随机变量(random variable)可以是几乎任何数量,它在随机实验的一组可能取值中取值。设随机变量 XX 取值于样本空间 S={1,2,3,4,5,6}\mathcal{S}=\{1,2,3,4,5,6\},则事件"看到 5"可记为 {X=5}\{X=5\} 或 X=5X=5,其概率记为 P({X=5})P(\{X=5\}) 或 P(X=5)P(X=5)。

记号上有两种约定俗成的简化:

  • P(X)P(X) 表示随机变量 XX 上的分布(distribution),即 XX 取任何值时的概率;
  • P(a)P(a) 简写为随机变量取值为 aa 的概率。

由于事件是样本空间中结果的集合,我们可以指定随机变量的取值区间,例如 P(1≤X≤3)P(1\leq X\leq 3) 表示事件 {1≤X≤3}\{1\leq X\leq 3\}(即 X∈{1,2,3}X\in\{1,2,3\})的概率。

需要注意离散随机变量(如骰子的面)与连续随机变量(如人的身高体重)之间的微妙区别:问"两个人是否恰好一样高"没有意义,精确测量下地球上不会有两个人完全等身,甚至早晚身高也不同。因此询问某人身高恰好为 1.80139278291028719210196740527486202 米的概率近乎为 0,更有意义的问题是身高是否落入某一区间(如 1.79~1.81 米)。此时我们量化"看到某个值"的可能性用的是密度(density):恰好 1.80 米的概率为 0 但密度非零,任意两个不同高度之间的区间则具有非零概率。本节其余部分均考虑离散空间的概率;连续随机变量的概率可参考深度学习数学附录中"随机变量"一节。

处理多个随机变量

实际问题几乎总是涉及多个随机变量:疾病与症状的关系(如"流感"与"咳嗽"是否同时出现在患者身上)、图像中数百万像素与标签、甚至位置、时间、光圈、ISO 等元数据——它们都是联合发生的随机变量。处理多变量时,有几个关键量。

联合概率

联合概率(joint probability)P(A=a,B=b)P(A=a,B=b) 回答:A=aA=a 与 B=bB=b 同时满足的概率是多少。对任意 a,ba,b 恒有

P(A=a,B=b)≤P(A=a),P(A=a,B=b)\leq P(A=a),

因为要同时发生 A=aA=a 与 B=bB=b,A=aA=a 必须发生且 B=bB=b 也必须发生,联合事件不可能比单个事件更可能。

条件概率

联合概率引出一个有趣比率:0≤P(A=a,B=b)P(A=a)≤10\leq \frac{P(A=a,B=b)}{P(A=a)}\leq 1。这个比率称为条件概率(conditional probability),记为 P(B=b∣A=a)P(B=b\mid A=a),它是在 A=aA=a 已发生的条件下 B=bB=b 的概率。

贝叶斯定理

由条件概率的定义可推出统计学中最著名也最实用的方程之一——贝叶斯定理(Bayes' theorem)。依据乘法法则(multiplication rule):P(A,B)=P(B∣A)P(A)P(A,B)=P(B\mid A)P(A);由对称性又有 P(A,B)=P(A∣B)P(B)P(A,B)=P(A\mid B)P(B)。假设 P(B)>0P(B)>0,解得:

P(A∣B)=P(B∣A)P(A)P(B).P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}.

这里使用紧凑记号:P(A,B)P(A,B) 是联合分布,P(A∣B)P(A\mid B) 是条件分布,它们都可以在具体取值 A=a,B=bA=a,B=b 上求值。

边际化(求和法则)

若想由 P(A,B)P(A,B) 求出 P(B)P(B),只需对 AA 的所有可能取值把联合概率加总:

P(B)=∑AP(A,B),P(B)=\sum_{A}P(A,B),

这就是求和法则(sum rule),亦称边际化(marginalization);其结果称为边际概率(marginal probability)或边际分布(marginal distribution)。贝叶斯定理在"只知道反向属性"(如由原因推结果的概率已知,需要由结果反推原因)时尤其依赖边际化。

独立性

还需考察依赖与独立。若随机变量 AA 与 BB 独立,意味着 AA 事件的发生不透露 BB 的任何信息,即 P(B∣A)=P(B)P(B\mid A)=P(B),统计学上记作 A⊥BA\perp B;由贝叶斯定理立即可得 P(A∣B)=P(A)P(A\mid B)=P(A)。其余情形称 AA、BB 依赖。例如连续两次掷骰子相互独立;而电灯开关位置与房间亮度则非独立(尽管并非完全确定——灯泡可能坏、可能停电、开关可能故障)。

由于 P(A∣B)=P(A,B)P(B)=P(A)P(A\mid B)=\frac{P(A,B)}{P(B)}=P(A) 等价于 P(A,B)=P(A)P(B)P(A,B)=P(A)P(B),两个随机变量独立当且仅当它们的联合分布等于各自分布的乘积。类似地,给定另一随机变量 CC 时,AA 与 BB 条件独立(conditionally independent)当且仅当 P(A,B∣C)=P(A∣C)P(B∣C)P(A,B\mid C)=P(A\mid C)P(B\mid C),记作 A⊥B∣CA\perp B\mid C。

实战应用:贝叶斯推断与 HIV 检测

下面用完整的数值案例检验上述工具。假设医生对患者进行 HIV 检测:该检测相当准确,对健康者误报为阳性的概率仅为 1%,且对真实感染者绝不会漏检。用 D1D_1 表示第一次诊断结果(阳性为 1、阴性为 0),HH 表示感染状态(阳性为 1、阴性为 0)。条件概率 P(D1∣H)P(D_1\mid H) 如下表:

条件概率 H=1H=1 H=0H=0
P(D1=1∣H)P(D_1=1\mid H) 1 0.01
P(D1=0∣H)P(D_1=0\mid H) 0 0.99

注意:每列和为 1(行和不为 1),因为条件概率需要像概率一样归一化到 1。

问题:测试呈阳性时,患者真正感染 HIV 的概率 P(H=1∣D1=1)P(H=1\mid D_1=1) 是多少?显然它取决于疾病的流行程度(影响误报数量)。假设人群相当健康,P(H=1)=0.0015P(H=1)=0.0015。应用贝叶斯定理,先用边际化与乘法法则求分母:

P(D1=1)=P(D1=1,H=0)+P(D1=1,H=1)=P(D1=1∣H=0)P(H=0)+P(D1=1∣H=1)P(H=1)=0.011485.\begin{aligned} &P(D_1=1) \\ =& P(D_1=1,H=0)+P(D_1=1,H=1) \\ =& P(D_1=1\mid H=0)P(H=0)+P(D_1=1\mid H=1)P(H=1) \\ =& 0.011485. \end{aligned}

于是:

P(H=1∣D1=1)=P(D1=1∣H=1)P(H=1)P(D1=1)=0.1306.\begin{aligned} P(H=1\mid D_1=1) =& \frac{P(D_1=1\mid H=1)P(H=1)}{P(D_1=1)} \\ =& 0.1306. \end{aligned}

即使用了非常准确的检测,阳性结果对应的真实感染概率也只有 13.06%——概率常常是反直觉的,这正是贝叶斯定理的威力所在。

收到噩耗的患者通常会要求再做一次检测。第二次检测特性不同且精度略低,条件概率 P(D2∣H)P(D_2\mid H) 如下:

条件概率 H=1H=1 H=0H=0
P(D2=1∣H)P(D_2=1\mid H) 0.98 0.03
P(D2=0∣H)P(D_2=0\mid H) 0.02 0.97

不幸的是第二次仍为阳性。假设两次检测在给定 HH 下条件独立,先计算两种 HH 下的联合条件概率:

P(D1=1,D2=1∣H=0)=P(D1=1∣H=0)P(D2=1∣H=0)=0.0003,P(D_1=1,D_2=1\mid H=0)=P(D_1=1\mid H=0)P(D_2=1\mid H=0)=0.0003,

P(D1=1,D2=1∣H=1)=P(D1=1∣H=1)P(D2=1∣H=1)=0.98.P(D_1=1,D_2=1\mid H=1)=P(D_1=1\mid H=1)P(D_2=1\mid H=1)=0.98.

再应用边际化与乘法法则:

P(D1=1,D2=1)=P(D1=1,D2=1,H=0)+P(D1=1,D2=1,H=1)=P(D1=1,D2=1∣H=0)P(H=0)+P(D1=1,D2=1∣H=1)P(H=1)=0.00176955.\begin{aligned} &P(D_1=1,D_2=1) \\ =& P(D_1=1,D_2=1,H=0)+P(D_1=1,D_2=1,H=1) \\ =& P(D_1=1,D_2=1\mid H=0)P(H=0)+P(D_1=1,D_2=1\mid H=1)P(H=1) \\ =& 0.00176955. \end{aligned}

最终,两次均呈阳性时感染概率为:

P(H=1∣D1=1,D2=1)=P(D1=1,D2=1∣H=1)P(H=1)P(D1=1,D2=1)=0.8307.\begin{aligned} P(H=1\mid D_1=1,D_2=1) =& \frac{P(D_1=1,D_2=1\mid H=1)P(H=1)}{P(D_1=1,D_2=1)} \\ =& 0.8307. \end{aligned}

第二次检测让我们对"情况不妙"获得高得多的信心。尽管第二次检测的精度低于第一次,它仍显著改善了我们的估计——这体现了条件独立假设下贝叶斯更新的价值,也是后续深度学习模型中大量概率推断的缩影。

期望与方差

为概括概率分布的关键特征,需要若干度量。随机变量 XX 的期望(expectation,或平均值)定义为:

E[X]=∑xxP(X=x).E[X]=\sum_{x}xP(X=x).

若函数 f(x)f(x) 的输入是服从分布 PP 的随机变量,则 f(x)f(x) 的期望为:

Ex∼P[f(x)]=∑xf(x)P(x).E_{x\sim P}[f(x)]=\sum_{x}f(x)P(x).

很多时候我们希望度量 XX 偏离期望的程度,这由方差(variance)量化:

Var[X]=E[(X−E[X])2]=E[X2]−E[X]2.\mathrm{Var}[X]=E\left[(X-E[X])^2\right]=E[X^2]-E[X]^2.

其平方根称为标准差(standard deviation)。随机变量函数的方差衡量的是:从分布中采样不同值 xx 时,函数值偏离函数期望的程度:

Var[f(x)]=E[(f(x)−E[f(x)])2].\mathrm{Var}[f(x)]=E\left[\left(f(x)-E[f(x)]\right)^2\right].

期望与方差是理解模型损失、梯度估计与参数初始化等深度学习主题的必备工具。

小结

  • 我们可以从概率分布中抽样,并用相对频率估计真实概率;
  • 借助联合分布、条件分布、贝叶斯定理、边际化与独立性假设,可以系统地分析多个随机变量;
  • 期望与方差为概括概率分布的关键特征提供了实用的度量。

练习

  1. 进行 m=500m=500 组实验,每组抽取 n=10n=10 个样本。改变 mm 与 nn,观察并分析实验结果(可用本文的收敛可视化代码反复试验)。
  2. 给定两个概率分别为 P(A)P(\mathcal{A}) 和 P(B)P(\mathcal{B}) 的事件,计算 P(A∪B)P(\mathcal{A}\cup\mathcal{B}) 与 P(A∩B)P(\mathcal{A}\cap\mathcal{B}) 的上下界。(提示:借助维恩图展示事件关系。)
  3. 假设有一系列随机变量 AA、BB、CC,其中 BB 仅依赖于 AA,CC 仅依赖于 BB,你能化简联合概率 P(A,B,C)P(A,B,C) 吗?(提示:这是马尔可夫链。)
  4. 在 HIV 检测案例中,第一次检测更准确,为什么不把第一次检测做两次,而是依次做第一次与第二次?

延伸阅读:在仓库中继续深入

登录后查看全文
d2l-zh