《动手学深度学习》预备知识:概率论基础、采样实战与贝叶斯推断
《动手学深度学习》预备知识:概率论基础、采样实战与贝叶斯推断
概率是机器学习的底层语言:无论是预测心脏病发作风险、评估发动机读数是否异常,还是构建推荐系统估计用户购书概率,本质上都是在不确定性下做推断。本文以 d2l-zh 仓库中预备知识章节之概率(对应中文版 chapter_preliminaries/probability.md)为骨架,系统讲解概率论的核心概念——从掷骰子的抽样与大数定律,到联合概率、条件概率、贝叶斯定理、边际化与独立性,并通过一个完整的 HIV 检测案例展示贝叶斯推断如何改变我们的判断。读完本文,你将掌握用 MXNet / PyTorch / TensorFlow / Paddle 四种后端完成多项分布采样与概率收敛可视化的完整代码,并理解期望与方差等分布特征度量,为后续理解交叉熵损失、softmax 回归与最大似然估计打下基础。
为什么机器学习需要概率
从预测到概率:机器学习的不确定性表达
机器学习的核心是"做出预测"。常见场景包括:
- 医疗预测:根据病人的临床病史,预测其在接下来一年内心脏病发作的概率;
- 异常检测:评估一组飞机喷气发动机读数在正常运行情况下的似然;
- 强化学习:智能体需要评估在每个可用动作下获得高奖励的概率,从而智能地行动;
- 推荐系统:估计某个特定用户购买某本特定图书的概率。
完整的概率课程可以占据一个专业,但本节的目标不是穷尽整个学科,而是提供足以开始构建第一个深度学习模型的基础,并给你足够的"风味"以便日后自行深入探索。
猫狗分类:确定性如何随信息量变化
以"根据照片区分猫和狗"为例。这个任务听起来简单,实则充满挑战,且难度取决于图像分辨率。原文中的插图(即上文展示的 img/cat-dog-pixels.png)直观显示:在 160×160 像素下人类可以轻松识别猫狗,在 40×40 像素下变得困难,而在 10×10 像素下几乎不可能。也就是说,在很远距离(低分辨率)下,我们的判断趋近于盲目猜测。
概率为我们提供了一种形式化地表达确定程度的语言:
- 若完全确信图像是猫,则标签 为"猫"的概率 ;
- 若完全没有证据,则 ;
- 若较为确信但不肯定,则 。
再看第二个案例:给定天气监测数据,预测明日降雨的概率(夏季约为 0.5)。与猫狗案例相比,两者有一个关键区别:第一例中图像事实上非猫即狗,只是我们不知道;第二例中结果本身可能是随机事件。可见概率是一种灵活的语言,用于表达对确定程度的不同度量,可广泛应用于各种情境。
基本概率论:掷骰子、抽样与大数定律
从公平骰子出发:事件、概率与大数定律
假设掷一枚骰子,想知道出现 1 点的机会。若骰子公平,六个结果 等可能发生,则 1 出现的概率为 。但对于工厂生产的真实骰子,我们不知道各面是否等可能,唯一办法是多次投掷并记录结果。
对每个值,一种自然的估计方法是用该值的出现次数除以总投掷次数,得到该事件概率的估计值。大数定律(law of large numbers)告诉我们:随着投掷次数增加,这个估计将越来越接近真实概率。
抽样与多项分布:四种后端的统一 API
在统计学中,从概率分布中抽取样本的过程称为抽样(sampling)。将概率分配给若干离散选择的分布称为多项分布(multinomial distribution)。抽样时只需传入一个概率向量,输出是等长的另一向量,其第 个分量为"抽样结果落在 "的次数。
先导入必要的包。四个后端统一通过 from d2l import xxx as d2l 导入本书工具库(见 d2l/init.py 中的说明):
# MXNet 后端
%matplotlib inline
from d2l import mxnet as d2l
from mxnet import np, npx
import random
npx.set_np()
# PyTorch 后端
%matplotlib inline
from d2l import torch as d2l
import torch
from torch.distributions import multinomial
# TensorFlow 后端
%matplotlib inline
from d2l import tensorflow as d2l
import tensorflow as tf
import tensorflow_probability as tfp
import numpy as np
# Paddle 后端(仓库同时提供,见 d2l/paddle.py)
%matplotlib inline
from d2l import paddle as d2l
import warnings
warnings.filterwarnings("ignore")
import paddle
import random
import numpy as np
定义公平骰子的概率向量并抽取单个样本:
# MXNet
fair_probs = [1.0 / 6] * 6
np.random.multinomial(1, fair_probs)
# PyTorch
fair_probs = torch.ones([6]) / 6
multinomial.Multinomial(1, fair_probs).sample()
# TensorFlow
fair_probs = tf.ones(6) / 6
tfp.distributions.Multinomial(1, fair_probs).sample()
# Paddle
fair_probs = [1.0 / 6] * 6
paddle.distribution.Multinomial(1, paddle.to_tensor(fair_probs)).sample()
批量采样:避开 Python for 循环
要估计骰子的公平性,通常需要从同一分布中生成大量样本。若用 Python for 循环逐个采样会慢得惊人,因此各框架的采样 API 都支持一次抽取多个独立样本,返回任意形状的数组:
# MXNet:一次抽取 10 个样本
np.random.multinomial(10, fair_probs)
# PyTorch
multinomial.Multinomial(10, fair_probs).sample()
# TensorFlow
tfp.distributions.Multinomial(10, fair_probs).sample()
# Paddle
paddle.distribution.Multinomial(10, paddle.to_tensor(fair_probs)).sample()
p_n 参数(此处为 10)即单次试验中投掷的次数,返回向量第 个分量统计了结果 出现的次数,这正是"多项分布"名字的由来——一个试验包含 次独立重复、每次落在 个类别之一。
模拟 1000 次投掷:用相对频率估计真实概率
# MXNet
counts = np.random.multinomial(1000, fair_probs).astype(np.float32)
counts / 1000
# PyTorch(将结果存为 32 位浮点数以便除法)
counts = multinomial.Multinomial(1000, fair_probs).sample()
counts / 1000 # 相对频率作为估计值
# TensorFlow
counts = tfp.distributions.Multinomial(1000, fair_probs).sample()
counts / 1000
# Paddle
counts = paddle.distribution.Multinomial(1000, paddle.to_tensor(fair_probs)).sample()
counts / 1000
由于数据由公平骰子生成,我们知道每个结果的真实概率为 ,因此上述估计值应接近该数值。
收敛可视化:概率如何逼近真实值
进一步观察估计概率随时间收敛的过程:进行 500 组实验,每组抽取 10 个样本,沿组维做累计求和,再除以累计总次数得到估计序列:
# PyTorch 版本(其余后端写法见原文)
counts = multinomial.Multinomial(10, fair_probs).sample((500,))
cum_counts = counts.cumsum(dim=0)
estimates = cum_counts / cum_counts.sum(dim=1, keepdims=True)
d2l.set_figsize((6, 4.5))
for i in range(6):
d2l.plt.plot(estimates[:, i].numpy(),
label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()
# MXNet 版本
counts = np.random.multinomial(10, fair_probs, size=500)
cum_counts = counts.astype(np.float32).cumsum(axis=0)
estimates = cum_counts / cum_counts.sum(axis=1, keepdims=True)
d2l.set_figsize((6, 4.5))
for i in range(6):
d2l.plt.plot(estimates[:, i].asnumpy(),
label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()
# TensorFlow 版本
counts = tfp.distributions.Multinomial(10, fair_probs).sample(500)
cum_counts = tf.cumsum(counts, axis=0)
estimates = cum_counts / tf.reduce_sum(cum_counts, axis=1, keepdims=True)
d2l.set_figsize((6, 4.5))
for i in range(6):
d2l.plt.plot(estimates[:, i].numpy(),
label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()
# Paddle 版本
counts = paddle.distribution.Multinomial(10, paddle.to_tensor(fair_probs)).sample((500,1))
cum_counts = counts.cumsum(axis=0)
cum_counts = cum_counts.squeeze(axis=1)
estimates = cum_counts / cum_counts.sum(axis=1, keepdim=True)
d2l.set_figsize((6, 4.5))
for i in range(6):
d2l.plt.plot(estimates[:, i], label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()
图中 6 条实线分别对应骰子的 6 个面,给出每组实验后该面出现的估计概率;黑色虚线为真实概率 0.167。随着实验组数增加,6 条曲线逐渐向真实概率收敛——这就是大数定律的可视化。
这里的 d2l.set_figsize((6, 4.5)) 与 d2l.plt 来自本书的工具库:在 d2l/torch.py、d2l/mxnet.py、d2l/tensorflow.py、d2l/paddle.py 中,use_svg_display() 将 matplotlib 输出切换为 SVG 格式以适配 Jupyter,set_figsize(figsize) 则设置 rcParams['figure.figsize'];d2l.plt 由库内部统一绑定到 matplotlib.pyplot。也就是说,本书所有绘图都封装在这套统一工具函数之上。
概率论公理
处理掷骰子问题时,集合 称为样本空间(sample space)或结果空间(outcome space),其中每个元素称为结果(outcome)。事件(event)是给定样本空间的一组结果的集合。例如"看到 5"()与"看到奇数"()都是掷骰子的有效事件;若一次随机实验的结果落在事件 中,则称事件 发生——比如掷出 3 点时,因为 ,"看到奇数"这一事件便已发生。
概率可以视为把集合映射到实数的一个函数。在样本空间 中,事件 的概率 满足以下性质(即 1933 年由柯尔莫哥洛夫提出的概率公理):
- 非负性:对任意事件 ,;
- 规范性:整个样本空间的概率为 1,即 ;
- 可列可加性:对任意互斥(mutually exclusive)事件的可数序列 (对所有 有 ),。
正是这套公理系统使我们可以抛开关于随机性的哲学争论,用严格的数学语言推理。例如,令 为整个样本空间、(),即可证明 ——不可能事件的概率为 0。
随机变量:离散与连续
在掷骰子的随机实验中,随机变量(random variable)可以是几乎任何数量,它在随机实验的一组可能取值中取值。设随机变量 取值于样本空间 ,则事件"看到 5"可记为 或 ,其概率记为 或 。
记号上有两种约定俗成的简化:
- 表示随机变量 上的分布(distribution),即 取任何值时的概率;
- 简写为随机变量取值为 的概率。
由于事件是样本空间中结果的集合,我们可以指定随机变量的取值区间,例如 表示事件 (即 )的概率。
需要注意离散随机变量(如骰子的面)与连续随机变量(如人的身高体重)之间的微妙区别:问"两个人是否恰好一样高"没有意义,精确测量下地球上不会有两个人完全等身,甚至早晚身高也不同。因此询问某人身高恰好为 1.80139278291028719210196740527486202 米的概率近乎为 0,更有意义的问题是身高是否落入某一区间(如 1.79~1.81 米)。此时我们量化"看到某个值"的可能性用的是密度(density):恰好 1.80 米的概率为 0 但密度非零,任意两个不同高度之间的区间则具有非零概率。本节其余部分均考虑离散空间的概率;连续随机变量的概率可参考深度学习数学附录中"随机变量"一节。
处理多个随机变量
实际问题几乎总是涉及多个随机变量:疾病与症状的关系(如"流感"与"咳嗽"是否同时出现在患者身上)、图像中数百万像素与标签、甚至位置、时间、光圈、ISO 等元数据——它们都是联合发生的随机变量。处理多变量时,有几个关键量。
联合概率
联合概率(joint probability) 回答: 与 同时满足的概率是多少。对任意 恒有
因为要同时发生 与 , 必须发生且 也必须发生,联合事件不可能比单个事件更可能。
条件概率
联合概率引出一个有趣比率:。这个比率称为条件概率(conditional probability),记为 ,它是在 已发生的条件下 的概率。
贝叶斯定理
由条件概率的定义可推出统计学中最著名也最实用的方程之一——贝叶斯定理(Bayes' theorem)。依据乘法法则(multiplication rule):;由对称性又有 。假设 ,解得:
这里使用紧凑记号: 是联合分布, 是条件分布,它们都可以在具体取值 上求值。
边际化(求和法则)
若想由 求出 ,只需对 的所有可能取值把联合概率加总:
这就是求和法则(sum rule),亦称边际化(marginalization);其结果称为边际概率(marginal probability)或边际分布(marginal distribution)。贝叶斯定理在"只知道反向属性"(如由原因推结果的概率已知,需要由结果反推原因)时尤其依赖边际化。
独立性
还需考察依赖与独立。若随机变量 与 独立,意味着 事件的发生不透露 的任何信息,即 ,统计学上记作 ;由贝叶斯定理立即可得 。其余情形称 、 依赖。例如连续两次掷骰子相互独立;而电灯开关位置与房间亮度则非独立(尽管并非完全确定——灯泡可能坏、可能停电、开关可能故障)。
由于 等价于 ,两个随机变量独立当且仅当它们的联合分布等于各自分布的乘积。类似地,给定另一随机变量 时, 与 条件独立(conditionally independent)当且仅当 ,记作 。
实战应用:贝叶斯推断与 HIV 检测
下面用完整的数值案例检验上述工具。假设医生对患者进行 HIV 检测:该检测相当准确,对健康者误报为阳性的概率仅为 1%,且对真实感染者绝不会漏检。用 表示第一次诊断结果(阳性为 1、阴性为 0), 表示感染状态(阳性为 1、阴性为 0)。条件概率 如下表:
| 条件概率 | ||
|---|---|---|
| 1 | 0.01 | |
| 0 | 0.99 |
注意:每列和为 1(行和不为 1),因为条件概率需要像概率一样归一化到 1。
问题:测试呈阳性时,患者真正感染 HIV 的概率 是多少?显然它取决于疾病的流行程度(影响误报数量)。假设人群相当健康,。应用贝叶斯定理,先用边际化与乘法法则求分母:
于是:
即使用了非常准确的检测,阳性结果对应的真实感染概率也只有 13.06%——概率常常是反直觉的,这正是贝叶斯定理的威力所在。
收到噩耗的患者通常会要求再做一次检测。第二次检测特性不同且精度略低,条件概率 如下:
| 条件概率 | ||
|---|---|---|
| 0.98 | 0.03 | |
| 0.02 | 0.97 |
不幸的是第二次仍为阳性。假设两次检测在给定 下条件独立,先计算两种 下的联合条件概率:
再应用边际化与乘法法则:
最终,两次均呈阳性时感染概率为:
第二次检测让我们对"情况不妙"获得高得多的信心。尽管第二次检测的精度低于第一次,它仍显著改善了我们的估计——这体现了条件独立假设下贝叶斯更新的价值,也是后续深度学习模型中大量概率推断的缩影。
期望与方差
为概括概率分布的关键特征,需要若干度量。随机变量 的期望(expectation,或平均值)定义为:
若函数 的输入是服从分布 的随机变量,则 的期望为:
很多时候我们希望度量 偏离期望的程度,这由方差(variance)量化:
其平方根称为标准差(standard deviation)。随机变量函数的方差衡量的是:从分布中采样不同值 时,函数值偏离函数期望的程度:
期望与方差是理解模型损失、梯度估计与参数初始化等深度学习主题的必备工具。
小结
- 我们可以从概率分布中抽样,并用相对频率估计真实概率;
- 借助联合分布、条件分布、贝叶斯定理、边际化与独立性假设,可以系统地分析多个随机变量;
- 期望与方差为概括概率分布的关键特征提供了实用的度量。
练习
- 进行 组实验,每组抽取 个样本。改变 与 ,观察并分析实验结果(可用本文的收敛可视化代码反复试验)。
- 给定两个概率分别为 和 的事件,计算 与 的上下界。(提示:借助维恩图展示事件关系。)
- 假设有一系列随机变量 、、,其中 仅依赖于 , 仅依赖于 ,你能化简联合概率 吗?(提示:这是马尔可夫链。)
- 在 HIV 检测案例中,第一次检测更准确,为什么不把第一次检测做两次,而是依次做第一次与第二次?
延伸阅读:在仓库中继续深入
- 本节完整代码与四种后端写法见 chapter_preliminaries/probability_origin.md(英文原版)与 chapter_preliminaries/probability.md(中文版,含 Paddle 后端);
- 本书工具库的绘图与通用函数实现位于 d2l/torch.py、d2l/mxnet.py、d2l/tensorflow.py、d2l/paddle.py,导入方式见 d2l/init.py;
- 本节属于"预备知识"章节,同章还覆盖 ndarray、pandas、线性代数、微积分、自动微分 等内容,章节索引见 chapter_preliminaries/index.md;
- 概率语言在后续章节中反复出现:线性回归的均方误差、softmax 回归的交叉熵、语言模型中的序列概率估计等,理解本文的联合概率、条件概率与独立性概念是阅读这些章节的前提。