《动手学深度学习》(d2l-zh)概率章节精读:用概率语言构建可推理的机器学习模型
《动手学深度学习》(d2l-zh)概率章节精读:用概率语言构建可推理的机器学习模型
机器学习本质上是在不确定环境下做出预测:根据病人的临床病史推测其下一年心脏病发作的概率、评估飞机发动机读数处于正常运行状态的可能性、让强化学习智能体权衡每种行为获得高回报的几率、为在线书店估计某位用户购买特定图书的概率……这些任务共享同一套形式化语言——概率。本文以 《动手学深度学习》概率章节(位于预备知识部分,对应仓库路径 chapter_preliminaries/probability.md)为核心骨架,结合仓库中 d2l/ 目录下四个框架(MXNet、PyTorch、TensorFlow、PaddlePaddle)的实现细节,系统讲解概率基础、抽样与大数定律、随机变量与概率论公理、多随机变量分析(联合/条件/贝叶斯/边际化/独立性)、HIV 检测贝叶斯推断实战,以及期望与方差等关键概念。读完本文,你将掌握用概率严格描述"确定程度"的方法,能够在深度学习建模中正确运用抽样、条件概率与贝叶斯定理,并学会在 d2l-zh 仓库中直接运行四框架对齐的概率实验代码。
为什么机器学习需要概率:从猫狗分类说起
在 概率章节 的开篇,作者用"根据照片区分猫和狗"这一经典任务引出概率的动机。如上图所示,人类在 160×160 像素分辨率下可以轻松区分猫和狗,但在 40×40 像素下就变得具有挑战性,到了 10×10 像素几乎只能靠猜测。这里的核心观点是:
- 如果我们完全确定图像是猫,可以说标签 ="猫" 的概率 ;
- 如果没有任何证据,则 ;
- 如果倾向但不确定,可以赋值 。
概率因此被定位为"一种灵活的语言,用于说明我们的确定程度",它既能描述"图像事实上是猫或狗二选一"这种客观不确定性,也能描述"明天北京是否下雨"这类随机事件不确定性,广泛适用于各种预测场景。这一节为全书后续所有涉及"不确定性"的建模(分类、回归、强化学习、推荐系统)提供了统一的形式化基础。
基本概率论:抽样、多项分布与大数定律
骰子实验与事件概率的估计
假设掷一枚公平骰子,六个结果 等可能发生,因此看到 1 的概率是 。但工厂生产的真实骰子可能有瑕疵,唯一检验方式是多次投掷并记录结果:把某个值出现的次数除以总投掷次数,就得到该事件概率的估计值。大数定律(law of large numbers)保证:随着投掷次数增加,该估计值会越来越接近真实的潜在概率。
在统计学中,从概率分布中抽取样本的过程称为抽样(sampling);把概率分配给若干离散选择的分布称为多项分布(multinomial distribution)。掷一次骰子就是按概率向量进行一次多项分布抽样——输出是同样长度的向量,其索引 处的值表示结果 在样本中出现的次数。
四框架抽样代码:一次调用抽取多个样本
章节中给出了四个深度学习框架完全对齐的抽样写法(这也是 d2l-zh 仓库"一码四跑"风格的典型示例,#@tab 标签在 chapter_preliminaries/probability.md 源码中对应 pytorch、tensorflow、paddle、mxnet 四份代码):
# MXNet(d2l.mxnet)
from d2l import mxnet as d2l
from mxnet import np, npx
npx.set_np()
fair_probs = [1.0 / 6] * 6
np.random.multinomial(1, fair_probs) # 掷一次骰子
np.random.multinomial(10, fair_probs) # 一次掷 10 次
counts = np.random.multinomial(1000, fair_probs).astype(np.float32)
counts / 1000 # 相对频率作为真实概率的估计
# PyTorch(d2l.torch)
from d2l import torch as d2l
import torch
from torch.distributions import multinomial
fair_probs = torch.ones([6]) / 6
multinomial.Multinomial(1, fair_probs).sample()
multinomial.Multinomial(10, fair_probs).sample()
counts = multinomial.Multinomial(1000, fair_probs).sample()
counts / 1000
# TensorFlow(d2l.tensorflow)
from d2l import tensorflow as d2l
import tensorflow as tf
import tensorflow_probability as tfp
import numpy as np
fair_probs = tf.ones(6) / 6
tfp.distributions.Multinomial(1, fair_probs).sample()
tfp.distributions.Multinomial(10, fair_probs).sample()
counts = tfp.distributions.Multinomial(1000, fair_probs).sample()
counts / 1000
# PaddlePaddle(d2l.paddle)
from d2l import paddle as d2l
import paddle
import random
import numpy as np
fair_probs = [1.0 / 6] * 6
paddle.distribution.Multinomial(1, paddle.to_tensor(fair_probs)).sample()
paddle.distribution.Multinomial(10, paddle.to_tensor(fair_probs)).sample()
counts = paddle.distribution.Multinomial(1000, paddle.to_tensor(fair_probs)).sample()
counts / 1000
由于从公平骰子生成数据,每个结果的真实概率为 ,上述相对频率估计值会围绕该值波动。文档特别指出:若用 Python for 循环逐次抽样,"速度会慢得惊人",因此要利用深度学习框架的向量化函数同时抽取多个样本,得到任意形状的独立样本数组——这正是后续深度学习训练中"批量采样(batch sampling)"效率思想的雏形。
收敛可视化:500 组实验验证大数定律
章节用一个绘图实验直观展示"估计概率随时间收敛到真实概率":进行 500 组实验,每组抽取 10 个样本,对计数做累积求和(cumsum)得到累积相对频率,并绘制 6 条曲线与 的虚线参考线对照。
# 以 PyTorch 版本为例(MXNet/TensorFlow/Paddle 写法见仓库原文)
counts = multinomial.Multinomial(10, fair_probs).sample((500,))
cum_counts = counts.cumsum(dim=0)
estimates = cum_counts / cum_counts.sum(dim=1, keepdims=True)
d2l.set_figsize((6, 4.5))
for i in range(6):
d2l.plt.plot(estimates[:, i].numpy(), label=("P(die=" + str(i + 1) + ")"))
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend();
运行结果中,6 条实线随实验组数增加逐步向 0.167 收敛。这里的 d2l.set_figsize、d2l.plt 均来自仓库的 d2l 工具库:set_figsize 在 d2l/torch.py、d2l/mxnet.py、d2l/tensorflow.py、d2l/paddle.py 中均有实现(默认 figsize=(3.5, 2.5),并调用 use_svg_display 以 SVG 格式在 Jupyter 中显示绘图)。可以看到四个框架的绘图代码保持同一套 API,仅数据访问方式不同(如 .asnumpy()、.numpy()),这正是 d2l 库统一封装的体现。
概率论公理与随机变量
科尔莫戈罗夫公理:严格推理的基础
掷骰子实验中,集合 称为样本空间(sample space)或结果空间(outcome space),每个元素是一个结果(outcome),事件(event)是样本空间的子集(例如"看到 5"即 ,"看到奇数"即 )。概率 可视为把集合映射到实数的函数,满足三条公理(由科尔莫戈罗夫于 1933 年提出):
- 非负性:对任意事件 ,;
- 规范性:整个样本空间的概率为 1,;
- 可数可加性:对任意互斥事件序列 ( 时 ),有 。
借助这套公理系统,可以避免关于随机性的哲学争论,用数学语言严格推理。例如令 且 时 ,即可证明 ,即不可能事件的概率为 0。
随机变量:离散与连续
随机变量(random variable)几乎可以是任何数量,并在随机实验的一组可能性中取值。事件"看到一个 5"可表示为 或 ,概率记为 ; 表示随机变量 上的分布(distribution), 则简记取值 的概率;区间事件如 对应 。
需要注意离散随机变量(如骰子每一面)与连续随机变量(如人的身高体重)的区别:现实中精确测量时,这个星球上不存在身高完全相同的两个人,因此询问"身高是否落入 1.79 到 1.81 米区间"比询问"身高恰好 1.80 米"更有意义。连续情形下,某个精确数值的概率为 0,但密度(density)不为 0,任何两个不同高度之间都有非零概率。本章余下内容聚焦离散空间;连续随机变量的深入讨论(含其在深度学习数学附录中的展开)可参见原文档中关于随机变量的延伸阅读部分,这里不再展开。
处理多个随机变量
真实世界几乎总是同时涉及多个随机变量:疾病与症状的关系建模(如"流感"与"咳嗽"是否同时存在于患者身上)、图像中数百万像素与标签、乃至位置、时间、光圈、ISO 等全部元数据,都是联合发生的随机变量。本节给出分析多变量的四个核心工具。
联合概率与条件概率
联合概率(joint probability) 回答" 且 同时满足"的概率。因为同时发生必然要求各自发生,所以恒有 。由此得到一个有趣的比率:
它被称为条件概率(conditional probability),记为 ,含义是"在 已发生的前提下 的概率"。
贝叶斯定理
由乘法法则 及对称性 ,在 时解得统计学中最有用的方程之一——贝叶斯定理:
其中 是联合分布, 是条件分布,均可在给定取值 上求值。
边际化:求和法则
要得到 的概率,可以穷举 的所有可能取值并把联合概率聚合起来,即求和法则:
这也称为边际化(marginalization),其结果称为边际概率(marginal probability)或边际分布(marginal distribution)。
独立性与条件独立性
若事件 的发生与 无关,则称 与 独立(记为 ),此时由贝叶斯定理可得 。由于 等价于 ,所以两个随机变量独立当且仅当联合分布等于各自分布的乘积。例如连续两次抛骰子的事件相互独立,而灯开关位置与房间亮度则不是(可能存在灯泡损坏、电源故障或开关故障)。更进一步,给定第三个随机变量 时,若 ,则称 与 条件独立,记为 。
实战应用:HIV 检测中的贝叶斯推断
章节用一个违反直觉的医学案例展示上述工具的完整闭环。设 表示第一次诊断结果(阳性为 1,阴性为 0), 表示是否感染 HIV(阳性为 1,阴性为 0),第一次测试的条件概率如下(注意每列之和为 1,因为条件概率与概率一样需要总和为 1):
| 条件概率 | ||
|---|---|---|
| 1 | 0.01 | |
| 0 | 0.99 |
假设总体相当健康,先验 。若测试呈阳性,患者感染 HIV 的概率 需要结合边际化与乘法法则计算 :
于是
结论令人警醒:尽管测试"相当准确",一次阳性结果对应的真实感染概率只有约 13.06%——因为疾病在人群中极罕见,大量健康者贡献了海量误报。这直观展示了先验(疾病流行率)如何影响后验推断。
患者随后做第二次测试,其精度略低(假阳性率 3%,漏检率 2%):
| 条件概率 | ||
|---|---|---|
| 0.98 | 0.03 | |
| 0.02 | 0.97 |
不幸的是第二次也是阳性。利用条件独立性假设(,即给定感染状态后两次测试结果相互独立),可计算:
再由边际化与乘法法则:
最终,两次阳性条件下的感染概率为:
第二次测试虽然单项精度更低,却把后验概率从 13.06% 大幅提升到 83.07%。这说明条件独立性假设 + 贝叶斯更新的威力:多个(哪怕不完美的)证据可以显著提升推断置信度。本节也顺带回答了章节练习第 4 题:若两次运行同一个测试,误报与漏报模式高度相关,难以提供真正的独立信息;而两个特性不同的测试(错误模式不完全相关)才能通过条件独立性带来增量信息。
期望与方差:概括分布的关键特征
为概括概率分布的关键特征,需要两类度量。期望(expectation,或称平均值)定义为:
当输入 从分布 中抽取时,函数 的期望为 。方差(variance)衡量随机变量 与其期望的偏离程度:
方差的平方根称为标准差(standard deviation)。随机变量函数的方差则衡量采样不同 时函数值偏离其期望的程度:
期望与方差在后续章节中反复出现:例如优化算法中损失函数的期望(泛化误差)、随机梯度下降中梯度的方差(收敛性分析)、以及各类估计量的偏差-方差权衡。
小结与练习
章节小结可以浓缩为三条核心结论:我们可以从概率分布中采样;可以使用联合分布、条件分布、贝叶斯定理、边际化和独立性假设来分析多个随机变量;期望和方差为概率分布关键特征的概括提供了实用度量。 原文附有 4 道练习,适合动手验证:
- 进行 组实验、每组抽取 个样本,改变 和 ,观察估计概率的收敛速度如何随参数变化(可直接修改上文收敛可视化代码中的两个数字);
- 给定概率为 与 的两个事件,用维恩图推导 与 的上限和下限;
- 假设 只依赖 、 只依赖 (一个马尔可夫链结构),尝试把联合概率 分解为更简单的条件概率乘积;
- 结合上文 HIV 案例思考:既然第一个测试更准确,为什么不同时运行两次第一次测试,而是选择"第一次 + 第二次"的组合。
源码阅读指引
本章内容在仓库中的完整实现与工具依赖如下,读者可据此深入:
- 章节正文: chapter_preliminaries/probability.md,代码块中的
#@tab标签分别对应pytorch、tensorflow、paddle、mxnet四个后端实现; - d2l 统一工具库(
set_figsize、use_svg_display、plot等绘图辅助):d2l/torch.py、d2l/mxnet.py、d2l/tensorflow.py、d2l/paddle.py,其中set_figsize默认图表尺寸(3.5, 2.5),use_svg_display将 matplotlib 输出格式切换为 SVG 以适配 Jupyter 内联显示; - 预备知识章节总览(概率在本章中的定位):chapter_preliminaries/index.md,其中明确"要在不确定的情况下进行严格的推断,我们需要借用概率语言";
- 配图
img/cat-dog-pixels.png即上文猫狗分辨率对比图,位于仓库 img/cat-dog-pixels.png。
概率是深度学习所有"预测"行为的底层语言。掌握本节的基本概率论、抽样方法、多随机变量分析工具以及期望方差度量,是后续理解交叉熵损失、softmax 回归、贝叶斯视角的正则化、以及各类生成模型的前提。