动手学深度学习(d2l-en)概率论与统计学指南:从抛硬币到贝叶斯推理

原创2026-10-02 16:10:211,697 阅读
文章标签:深度学习机器学习人工智能教程文档

动手学深度学习(d2l-en)概率论与统计学指南:从抛硬币到贝叶斯推理

概率论与统计学是深度学习的数学地基。本文基于 d2l-en 仓库 chapter_preliminaries/probability.md 的完整内容,系统讲解机器学习中的不确定性建模:从抛硬币实验出发理解概率、抽样与估计,逐步过渡到随机变量、联合/条件概率、贝叶斯定理、期望与方差,并用 HIV 检测与投资组合两个实战案例展示概率推理的全过程。读完本文,你将掌握用 PyTorch、TensorFlow、MXNet、JAX 四种框架进行概率模拟与贝叶斯计算的能力,并能准确区分统计量、概率、估计量等核心概念。

为什么机器学习离不开概率与统计

机器学习在本质上是在与不确定性打交道。文档 chapter_preliminaries/probability.md 指出,不确定性渗透在三大学习范式中:

  • 监督学习:给定已知的特征(features),预测未知的目标(target)。依据目标不同,我们可能预测最可能的目标值、与目标期望距离最小的值,甚至不仅要预测具体数值,还要量化不确定性——例如根据病人的特征,估计其一年内发生心脏病的可能性有多大。
  • 无监督学习:判断一组测量值是否异常,需要知道在目标总体中观察到该值的概率。
  • 强化学习:智能体需要推理环境可能如何变化、每个可用动作会带来什么样的期望奖励。

概率论(probability)是研究"在不确定性下推理"的数学分支:给定某个过程的概率模型,我们可以推理各种事件发生的可能性。

频率学派与贝叶斯学派

用概率描述可重复事件(如抛硬币)的频率,几乎没有争议,这正是频率学派(frequentist)的立场——他们只将概率解释应用于这类可重复事件。而贝叶斯学派(Bayesian)把概率语言推广到更广的推理场景,其特点有二:

  1. 为不可重复事件赋予置信度(degree of belief),例如"大坝倒塌的概率";
  2. 承认主观性:贝叶斯概率虽然为"如何根据新证据更新信念"提供了无歧义的规则,但允许不同个体持有不同的先验信念(prior)。

统计学(statistics)则反向推理:从数据的收集与组织出发,倒推出数据生成过程可能是什么样。每当分析数据集、寻找可能刻画更大总体的模式时,我们就在运用统计思维。两者交织的桥梁是估计量(estimators):设计专门统计量,由数据集产生对模型参数(如概率)的估计;当估计量满足一致性(consistency)时,估计会收敛到对应的真实概率。

简单示例:抛硬币

假设抛一枚公平硬币(fair coin),正面(heads)与反面(tails)等可能。若抛 nn 次,正面比例的期望应与反面比例一致。由对称性可直观理解:每个"nhn_\mathrm{h} 正 ntn_\mathrm{t} 反"的结果,都存在等可能的"ntn_\mathrm{t} 正 nhn_\mathrm{h} 反"与之对应,因此平均而言期望一半为正面。

形式化地说,1/21/2 就是概率:它为感兴趣的结果(称为事件,event)在 00 到 11 之间打分。P(heads)P(\text{heads}) 表示正面事件的概率;概率为 11 表示绝对确定(如两面都是正面的假币),为 00 表示不可能(如两面都是反面)。注意,频率 nh/nn_\mathrm{h}/n、nt/nn_\mathrm{t}/n 不是概率而是统计量:概率是刻画数据生成过程的理论量(此处 1/21/2 是硬币自身的属性),统计量则是根据观测数据计算的经验量。

从抽样到估计

若捡到一枚不知道真实 P(heads)P(\text{heads}) 的硬币,就需要:(i) 收集数据(多次抛掷并记录结果,即抽样,sampling);(ii) 设计估计量(自然的选择是"正面次数 ÷ 总抛掷次数")。用 random.random() 即可模拟:它在 [0,1][0,1] 上均匀取值,任一子区间 [a,b]⊂[0,1][a,b]\subset[0,1] 的概率恰为 b−ab-a,因此判断随机数是否大于 0.50.5 即可得到概率各为 0.50.5 的 0/1:

num_tosses = 100
heads = sum([random.random() > 0.5 for _ in range(num_tosses)])
tails = num_tosses - heads
print("heads, tails: ", [heads, tails])

更一般地,可用多项分布(multinomial)模拟任意有限结果的多次抽样:第一个参数是抽样次数,第二个参数是各结果的概率列表。模拟 100 次公平硬币抛掷,概率向量 [0.5, 0.5](索引 0 为正面、1 为反面),返回长度等于结果数的向量:

# mxnet
from mxnet.numpy.random import multinomial
fair_probs = [0.5, 0.5]
multinomial(100, fair_probs)

# pytorch
from torch.distributions.multinomial import Multinomial
fair_probs = torch.tensor([0.5, 0.5])
Multinomial(100, fair_probs).sample()

# tensorflow
from tensorflow_probability import distributions as tfd
fair_probs = tf.ones(2) / 2
tfd.Multinomial(100, fair_probs).sample()

# jax(jax.random 未实现多项分布,此处回退到 numpy)
fair_probs = [0.5, 0.5]
np.random.multinomial(100, fair_probs)

每次运行都会得到不同的随机结果。除以抛掷次数即得各结果的频率,频率与概率一样总和为 1。即便我们已知硬币公平,小样本下的正反计数也未必相等——这正是"小样本噪声"的体现:若只看到结果,我们无法判断硬币是否轻微不公平,还是偏差只是小样本的伪影。将抛掷次数增至 10,000 后,频率会明显逼近 [0.5, 0.5]:

# mxnet
counts = multinomial(10000, fair_probs).astype(np.float32)
counts / 10000

大数定律与中心极限定理

对重复事件(如抛硬币)取平均,随重复次数增长,估计会收敛到真实概率——这是大数定律(law of large numbers);中心极限定理(central limit theorem)进一步说明,在许多情形下误差以 1/n1/\sqrt{n} 的速度下降(nn 为样本量)。文档用"从 1 次逐步增加到 10,000 次抛掷、累积估计概率"的模拟直观呈现收敛过程:

# pytorch 版核心逻辑
counts = Multinomial(1, fair_probs).sample((10000,))
cum_counts = counts.cumsum(dim=0)
estimates = cum_counts / cum_counts.sum(dim=1, keepdims=True)
estimates = estimates.numpy()

d2l.set_figsize((4.5, 3.5))
d2l.plt.plot(estimates[:, 0], label=("P(coin=heads)"))
d2l.plt.plot(estimates[:, 1], label=("P(coin=tails)"))
d2l.plt.axhline(y=0.5, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Samples')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()

两条实线分别对应正/反两种取值的估计概率,虚线是真实概率 0.5;随着实验增多,曲线向真实概率收敛。MXNet 与 JAX 版本通过 cumsum(axis=0) 与 sum(axis=1, keepdims=True) 实现同样的累积归一化(TensorFlow 用 tf.cumsum / tf.reduce_sum)。这里用到的 d2l.set_figsize 等绘图工具定义于仓库 d2l/torch.py:use_svg_display() 将 matplotlib 输出切换为 SVG 格式,set_figsize 则在 d2l/mxnet.py、d2l/tensorflow.py、d2l/jax.py 中均有同构实现。

收敛速度本身也引出统计学家关心的深层问题:收敛有多快?如果此前已测试过同工厂的许多硬币,如何把这一信息纳入估计?

更形式化的处理:样本空间、事件与概率公理

前面已完整走通了"提出概率模型→生成合成数据→运行统计估计→经验性评估收敛→报告误差"的流程,但要继续深入必须精确化。

  • 样本空间/结果空间(sample space)S\mathcal{S}:所有可能结果的集合。抛一次硬币 S={heads,tails}\mathcal{S}=\{\text{heads},\text{tails}\};掷一颗骰子 S={1,2,3,4,5,6}\mathcal{S}=\{1,2,3,4,5,6\};抛两枚硬币则为 {(heads,heads),(heads,tails),(tails,heads),(tails,tails)}\{(\text{heads},\text{heads}),(\text{heads},\text{tails}),(\text{tails},\text{heads}),(\text{tails},\text{tails})\}。
  • 事件(event):样本空间的子集。例如"第一次抛掷为正面"对应 {(heads,heads),(heads,tails)}\{(\text{heads},\text{heads}),(\text{heads},\text{tails})\}。当随机实验的结果 zz 满足 z∈Az\in\mathcal{A} 时,称事件 A\mathcal{A} 发生。掷骰子时,"看到 5"(A={5}\mathcal{A}=\{5\})与"看到奇数"(B={1,3,5}\mathcal{B}=\{1,3,5\}):若结果为 5,两个事件都发生;若为 3,则 A\mathcal{A} 未发生而 B\mathcal{B} 发生。

概率函数把事件映射到实数 P:A⊆S→<ahref="https://link.gitcode.com/i/a03cae8313360636896c2fa9e8bbe5ed"target="blank">0,1]P:\mathcal{A}\subseteq\mathcal{S}\rightarrow<a href="https://link.gitcode.com/i/a03cae8313360636896c2fa9e8bbe5ed" target="_blank">0,1],需满足三条公理(由 Kolmogorov 于 1933 年提出,文献条目见仓库 [d2l.bib 的 Kolmogorov.1933):

  1. 任何事件 A\mathcal{A} 的概率是非负实数:P(A)≥0P(\mathcal{A})\geq 0;
  2. 整个样本空间的概率为 1:P(S)=1P(\mathcal{S})=1;
  3. 对任意可数序列的互斥事件(Ai∩Aj=∅, i≠j\mathcal{A}_i\cap\mathcal{A}_j=\emptyset,\ i\neq j),任一事件发生的概率等于各事件概率之和:P(⋃i=1∞Ai)=∑i=1∞P(Ai)P(\bigcup_{i=1}^{\infty}\mathcal{A}_i)=\sum_{i=1}^{\infty}P(\mathcal{A}_i)。

由公理可迅速推出重要结论:事件 A\mathcal{A} 或其补集 A′\mathcal{A}' 之一发生的概率为 1(因 A∪A′=S\mathcal{A}\cup\mathcal{A}'=\mathcal{S});又因 1=P(S∪S′)=P(S∪∅)=P(S)+P(∅)=1+P(∅)1=P(\mathcal{S}\cup\mathcal{S}')=P(\mathcal{S}\cup\emptyset)=P(\mathcal{S})+P(\emptyset)=1+P(\emptyset),可得 P(∅)=0P(\emptyset)=0;因此 P(A∩A′)=0P(\mathcal{A}\cap\mathcal{A}')=0,即不可能事件发生概率为零。

随机变量

"掷骰子结果为奇数""第一次抛硬币为正面"这类事件描述背后是随机变量(random variable)的概念:它是从底层样本空间到(可能多个)取值的映射。随机变量与样本空间的本质区别在于——随机变量可以远比原始样本空间粗糙:

  • 即使底层样本空间无限(如 [0,1][0,1] 线段上的点),也能定义二元随机变量"是否大于 0.5";
  • 多个随机变量可共享同一底层样本空间,如"家中警报是否响起"与"家中是否被盗"都是二元随机变量。因此,知道一个随机变量的取值能提供关于另一个随机变量取值的线索——警报响了,我们会怀疑家中可能被盗。

随机变量 XX 取值为 vv(记作 X=vX=v)对应底层样本空间的一个子集,因而是事件,P(X=v)P(X=v) 表示其概率。为简化记号,可用 P(X)P(X) 泛指 XX 的分布;P(X,Y)=P(X)P(Y)P(X,Y)=P(X)P(Y) 表示对所有取值 i,ji,j 都成立 P(X=i and Y=j)=P(X=i)P(Y=j)P(X=i\ \text{and}\ Y=j)=P(X=i)P(Y=j);上下文清晰时还可直接写 P(v)P(v)。事件是样本空间的子集,因此能指定取值区间,如 P(1≤X≤3)P(1\leq X\leq 3)。

离散与连续随机变量

离散随机变量(如抛硬币、掷骰子)与连续随机变量(如随机抽取一个人的体重和身高)有微妙差别。我们几乎不关心某人身高的精确值——测量足够精确时,地球上没有任何两人身高完全相同,甚至晨起与入睡时身高都不相同。问"某人恰为 1.801392782910287192 米高"的概率没有意义,更有意义的是身高是否落在某区间(如 1.79~1.81 米)。此时使用的是概率密度(density):恰好 1.80 米没有概率,但有非零密度;要计算某区间的概率,须对密度在该区间上取积分(integral)。

多个随机变量:联合、条件与贝叶斯定理

机器学习的大部分内容都涉及多个随机变量之间的关系。此时样本空间就是感兴趣的总体(交易客户、互联网照片、生物学家已知的蛋白质),每个随机变量代表一个属性的(未知)取值。由于随机变量取值对应样本空间的子集可能重叠、部分重叠或完全不相交,知道一个变量的取值会促使我们更新对另一个变量取值的信念——病人呼吸困难且失去嗅觉,我们会认为其感染 COVID-19 的可能性更高。

联合概率与边际化

针对变量所有取值组合的事件,概率函数称为联合概率(joint probability),记 P(A=a,B=b)P(A=a,B=b)(逗号表示"且")。显然 P(A=a,B=b)≤P(A=a)P(A=a,B=b)\leq P(A=a) 且 ≤P(B=b)\leq P(B=b),因为两事件同时发生需要两者各自都发生。联合概率以概率意义包含了这两个随机变量的全部可知道信息,可由此恢复单个分布:对 BB 的所有可能取值 vv 求和,即 P(A=a)=∑vP(A=a,B=v)P(A=a)=\sum_v P(A=a,B=v)。

条件概率

比值 P(A=a,B=b)P(A=a)≤1\frac{P(A=a,B=b)}{P(A=a)}\leq 1 极其重要,称为条件概率,用"∣\mid"表示:

P(B=b∣A=a)=P(A=a,B=b)/P(A=a).P(B=b \mid A=a) = P(A=a,B=b)/P(A=a).

它给出在 A=aA=a 已发生的条件下 B=bB=b 的新概率。可把它理解为:只把注意力限制在样本空间中 A=aA=a 对应的子集上,再重新归一化使所有概率和为 1。条件概率本身仍是普通概率,服从全部公理(前提是各项都以同一事件为条件)。例如对互斥事件 B,B′\mathcal{B},\mathcal{B}':P(B∪B′∣A=a)=P(B∣A=a)+P(B′∣A=a)P(\mathcal{B}\cup\mathcal{B}'\mid A=a)=P(\mathcal{B}\mid A=a)+P(\mathcal{B}'\mid A=a)。

贝叶斯定理

由条件概率定义可得 P(A,B)=P(B∣A)P(A)P(A,B)=P(B\mid A)P(A) 与 P(A,B)=P(A∣B)P(B)P(A,B)=P(A\mid B)P(B),合并两式得著名的贝叶斯定理:

P(A∣B)=P(B∣A) P(A)P(B).P(A \mid B) = \frac{P(B\mid A)\, P(A)}{P(B)}.

这一简洁方程的意义在于反转条件顺序:若知道如何估计 P(B∣A)P(B\mid A)、P(A)P(A)、P(B)P(B),就能估计 P(A∣B)P(A\mid B)。例如已知疾病症状的流行率、疾病本身与症状的总体流行率,就能由症状反推患病概率。若 P(B)P(B)(如症状流行率)无法直接获得,可用简化版本:P(A∣B)∝P(B∣A)P(A)P(A \mid B)\propto P(B\mid A)P(A),再利用归一化条件 ∑aP(A=a∣B)=1\sum_a P(A=a\mid B)=1 计算:

P(A∣B)=P(B∣A) P(A)∑aP(B∣A=a) P(A=a).P(A \mid B) = \frac{P(B \mid A)\, P(A)}{\sum_a P(B \mid A=a)\, P(A=a)}.

在贝叶斯统计中,观察者持有关于各假设可能性的(主观)先验 P(H)P(H),以及说明在各类假设下观测到某证据 EE 可能性的似然函数 P(E∣H)P(E\mid H)。贝叶斯定理解释为:根据证据 EE 更新先验 P(H)P(H),得到后验 P(H∣E)=P(E∣H)P(H)P(E)P(H \mid E)=\frac{P(E \mid H)P(H)}{P(E)},即"后验等于先验乘以似然再除以证据"。由于证据 P(E)P(E) 对所有假设相同,只需在假设上归一化即可。

归一化条件 ∑aP(A=a∣B)=1\sum_a P(A=a\mid B)=1 还允许边际化(marginalize):从联合分布 P(A,B)P(A,B) 中消去变量,因为 ∑aP(B∣A=a)P(A=a)=∑aP(B,A=a)=P(B)\sum_a P(B \mid A=a)P(A=a)=\sum_a P(B,A=a)=P(B)。

独立性与条件独立

两个变量独立(independent,记 A⊥BA\perp B)当且仅当以 AA 为条件不会改变 BB 的概率分布,反之亦然。形式化:P(A∣B)=P(A)P(A\mid B)=P(A),从而 P(A,B)=P(A∣B)P(B)=P(A)P(B)P(A,B)=P(A\mid B)P(B)=P(A)P(B)。独立常常是恰当的假设——两枚硬币各自抛掷的结果互不影响。当数据是从某分布中逐次抽取且各次独立时,可以作出很强的统计结论;当数据中多个变量相互独立时,可以用更简单的模型编码独立结构。反之,估计变量间的依赖关系往往是学习本身的目的——我们关心"疾病—症状"的概率,正是因为它们不独立。

由于条件概率也是正当概率,独立概念同样适用于条件情形:给定第三个变量 CC,AA 与 BB 条件独立(conditionally independent)当且仅当 P(A,B∣C)=P(A∣C)P(B∣C)P(A,B\mid C)=P(A\mid C)P(B\mid C)。两种反直觉现象值得注意:

  • 一般独立、条件依赖:AA、BB 是某个第三变量 CC 的原因时,总体中 AA、BB 可能独立,但以 CC 为条件后变得相关。例如骨折与肺癌在一般人群中可能独立,但若限定"在医院里",二者可能负相关——因为骨折解释了(explain away)住院原因,从而降低了"因肺癌住院"的概率。
  • 一般依赖、条件独立:两个本不相关的事件若有共同原因,条件化后独立。小学生的鞋码与阅读水平高度相关,但以年龄为条件后相关性消失。

实战案例:HIV 检测中的贝叶斯推理

假设医生为患者做 HIV 检测:健康者误报为阳性的概率为 1%,而感染者检测必为阳性。记诊断 D1∈{0,1}D_1\in\{0,1\}(0 阴性、1 阳性),HIV 状态 H∈{0,1}H\in\{0,1\}:

条件概率 H=1H=1 H=0H=0
P(D1=1∣H)P(D_1 = 1 \mid H) 1 0.01
P(D1=0∣H)P(D_1 = 0 \mid H) 0 0.99

注意列和为 1(行和不是),因为这是条件概率。若检测呈阳性,患者实际患病的概率 P(H=1∣D1=1)P(H=1\mid D_1=1) 是多少?直觉上取决于疾病的普遍程度(影响误报数量)。设总体患病率 P(H=1)=0.0015P(H=1)=0.0015。用边际化求 P(D1=1)P(D_1=1):

P(D1=1)=P(D1=1,H=0)+P(D1=1,H=1)=P(D1=1∣H=0)P(H=0)+P(D1=1∣H=1)P(H=1)=0.011485.\begin{aligned}P(D_1=1)&=P(D_1=1,H=0)+P(D_1=1,H=1)\\&=P(D_1=1\mid H=0)P(H=0)+P(D_1=1\mid H=1)P(H=1)\\&=0.011485.\end{aligned}

代入贝叶斯定理:

P(H=1∣D1=1)=P(D1=1∣H=1)P(H=1)P(D1=1)=0.1306.P(H=1\mid D_1=1)=\frac{P(D_1=1\mid H=1)P(H=1)}{P(D_1=1)}=0.1306.

也就是说,尽管检测相当准确,患者实际感染 HIV 的概率只有 13.06%——概率有时违反直觉。患者自然会要求再做一次检测。第二次检测特性不同、且不如第一次:

条件概率 H=1H=1 H=0H=0
P(D2=1∣H)P(D_2 = 1 \mid H) 0.98 0.03
P(D2=0∣H)P(D_2 = 0 \mid H) 0.02 0.97

不幸的是第二次也为阳性。假设两次检测在给定 HH 下条件独立:

P(D1=1,D2=1∣H=0)=P(D1=1∣H=0)P(D2=1∣H=0)=0.0003,P(D1=1,D2=1∣H=1)=P(D1=1∣H=1)P(D2=1∣H=1)=0.98.\begin{aligned}P(D_1=1,D_2=1\mid H=0)&=P(D_1=1\mid H=0)P(D_2=1\mid H=0)=0.0003,\\P(D_1=1,D_2=1\mid H=1)&=P(D_1=1\mid H=1)P(D_2=1\mid H=1)=0.98.\end{aligned}

再边际化求两次均为阳性的概率:

P(D1=1,D2=1)=P(D1=1,D2=1∣H=0)P(H=0)+P(D1=1,D2=1∣H=1)P(H=1)=0.00176955.P(D_1=1,D_2=1)=P(D_1=1,D_2=1\mid H=0)P(H=0)+P(D_1=1,D_2=1\mid H=1)P(H=1)=0.00176955.

最终:

P(H=1∣D1=1,D2=1)=P(D1=1,D2=1∣H=1)P(H=1)P(D1=1,D2=1)=0.8307.P(H=1\mid D_1=1,D_2=1)=\frac{P(D_1=1,D_2=1\mid H=1)P(H=1)}{P(D_1=1,D_2=1)}=0.8307.

第二次检测虽然不如第一次准确,却把置信度大幅提升到 83.07%。两次检测条件独立的假设对获得更精确的估计至关重要——极端情况下重复同一次检测,结果可预期相同,无法带来额外信息。敏锐的读者会发现:诊断过程就像一个隐藏的分类器,随着获得更多特征(检测结果),判断患者是否健康的能力不断增强。

期望、方差与协方差

决策往往需要把单个事件的概率组合成有用的聚合量。

期望

当随机变量取连续标量值时,我们关心平均应期望什么值,即期望(expectation)。投资例子:以 50% 概率完全失败、40% 概率获得 2 倍回报、10% 概率获得 10 倍回报,则期望回报为 0.5⋅0+0.4⋅2+0.1⋅10=1.80.5\cdot 0+0.4\cdot 2+0.1\cdot 10=1.8,即 1.8 倍。一般定义:

E[X]=Ex∼P[x]=∑xx P(X=x),E[X]=E_{x\sim P}[x]=\sum_x x\,P(X=x),

对密度函数则为 E[X]=∫x dp(x)E[X]=\int x\,dp(x)。任意函数 f(x)f(x) 的期望为 Ex∼P[f(x)]=∑xf(x)P(x)E_{x\sim P}[f(x)]=\sum_x f(x)P(x)(离散)或 Ex∼P[f(x)]=∫f(x)p(x) dxE_{x\sim P}[f(x)]=\int f(x)p(x)\,dx(连续)。回到投资例子,ff 可以是回报的效用(utility):行为经济学家早已发现,人们对亏损的厌恶大于等额收益带来的效用;且金钱的价值往往是亚线性的——从 0 到 10 万美金可能决定能否付房租、吃好饭、享受优质医疗,而从 10 万到 20 万美金的增益则不那么大,这催生了"金钱的效用是对数形式"的说法。若总亏损效用为 −1-1,回报 1、2、10 的效用分别为 1、2、4,则投资的期望效用为 0.5⋅(−1)+0.4⋅2+0.1⋅4=0.70.5\cdot(-1)+0.4\cdot 2+0.1\cdot 4=0.7(效用预期损失 30%)——若这是你的效用函数,把钱存在银行或许更明智。

方差与标准差

衡量投资风险不能只看期望,还要看实际值相对期望的波动。不能直接取差值 X−E[X]X-E[X] 的期望,因为 E[X−E[X]]=E[X]−E[E[X]]=0E[X-E[X]]=E[X]-E[E[X]]=0;但可以取差的任意非负函数的期望。方差(variance)取平方差的期望:

Var[X]=E[(X−E[X])2]=E[X2]−E[X]2,\mathrm{Var}[X]=E\left[(X-E[X])^2\right]=E[X^2]-E[X]^2,

其中等号由展开 (X−E[X])2=X2−2XE[X]+E[X]2(X-E[X])^2=X^2-2XE[X]+E[X]^2 后逐项取期望得到。方差的平方根是标准差(standard deviation):与方差信息相同(可互相换算),但单位与随机变量原始量纲一致。随机变量函数的方差类似定义为 Varx∼P[f(x)]=Ex∼P[f2(x)]−Ex∼P[f(x)]2\mathrm{Var}_{x\sim P}[f(x)]=E_{x\sim P}[f^2(x)]-E_{x\sim P}[f(x)]^2。投资例子的方差为 0.5⋅0+0.4⋅22+0.1⋅102−1.82=8.360.5\cdot 0+0.4\cdot 2^2+0.1\cdot 10^2-1.8^2=8.36,可见这是相当高风险的投资。按数学惯例,均值和方差常记为 μ\mu 与 σ2\sigma^2,尤其用于参数化高斯分布时。

协方差矩阵

对标量随机变量引入期望与方差后,可同样处理向量值随机变量。期望逐元素应用:μ=defEx∼P[x]\boldsymbol{\mu}\stackrel{\text{def}}{=}E_{\mathbf{x}\sim P}[\mathbf{x}],坐标 μi=Ex∼P[xi]\mu_i=E_{\mathbf{x}\sim P}[x_i]。协方差(covariance)则取差向量与其均值外积的期望:

Σ=defCovx∼P[x]=Ex∼P[(x−μ)(x−μ)⊤],\boldsymbol{\Sigma}\stackrel{\text{def}}{=}\mathrm{Cov}_{\mathbf{x}\sim P}[\mathbf{x}]=E_{\mathbf{x}\sim P}\left[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^\top\right],

Σ\boldsymbol{\Sigma} 即协方差矩阵。对与 x\mathbf{x} 同尺寸的任意向量 v\mathbf{v},有 v⊤Σv=Ex∼P[v⊤(x−μ)(x−μ)⊤v]=Varx∼P[v⊤x]\mathbf{v}^\top\boldsymbol{\Sigma}\mathbf{v}=E_{\mathbf{x}\sim P}[\mathbf{v}^\top(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^\top\mathbf{v}]=\mathrm{Var}_{x\sim P}[\mathbf{v}^\top\mathbf{x}],因此 Σ\boldsymbol{\Sigma} 允许用一次矩阵乘法计算 x\mathbf{x} 任意线性函数的方差。非对角元素反映坐标间相关程度:0 表示不相关,正值越大表示相关性越强。

讨论:不确定性的两类来源与收敛速率

机器学习中存在许多不确定性:给定输入时标签取值的不确定、参数估计值的不确定,甚至部署时新数据是否与训练数据同分布的不确定。

  • 偶然不确定性(aleatoric uncertainty):问题内在的、由观测变量未能解释的真实随机性导致的不确定性。即使完全知道公平硬币出现正面的概率,对未来任何一次抛掷结果仍存在偶然不确定性——无论观察多久,对下一次正面的确定程度始终是 50%。
  • 认知不确定性(epistemic uncertainty):对模型参数的不确定,是可以通过收集更多数据来降低的那一类。例如对"硬币正面概率"这一参数本身的不确定。

这两个术语源自机械建模文献(详见仓库 d2l.bib 中 Der-Kiureghian.Ditlevsen.2009 对不确定性量化的综述)。值得注意,这是措辞上的轻微滥用:epistemic 在哲学意义上指一切与知识相关之事,因而所有不确定性严格说都是认知性的。

从未知分布抽样可为估计数据生成分布的参数提供信息,但收敛速率可能很慢。抛硬币例子中(许多情形皆如此),我们能设计的最好估计量也以 1/n1/\sqrt{n} 速率收敛(nn 为样本量):从 10 个观测增至 1000 个(通常很容易做到)不确定性降低为原来的十分之一,而接下来再增加 1000 个观测帮助有限,只带来约 1.41 倍的降低。这是机器学习的持久特征:容易的收益常有,但要进一步获益,需要海量数据与随之而来的巨大算力(大规模语言模型上的实证回顾见 d2l.bib 中 Revels.Lubin.Papamarkou.2016)。

我们还通过条件概率和贝叶斯定理磨砺了统计建模的语言与工具:贝叶斯定理通过似然项 P(B∣A)P(B\mid A)(观测 BB 与参数选择 AA 的匹配程度)和先验 P(A)P(A)(参数选择 AA 原本的合理性)解耦数据信息。HIV 案例展示了如何综合检测效力与疾病流行率(先验)为诊断赋概率。

最后,期望与方差是刻画分布行为的首批非平凡量,而它们只是众多分布特征中的一小部分。切比雪夫不等式(Chebyshev's inequality)即为一例:

P(∣X−μ∣≥kσ)≤1/k2,P(|X-\mu|\geq k\sigma)\leq 1/k^2,

其中 μ\mu 为期望、σ2\sigma^2 为方差、k>1k>1 为置信参数。它告诉我们:分布抽样至少以 50% 概率落在以期望为中心的 [−2σ,2σ][-\sqrt{2}\sigma,\sqrt{2}\sigma] 区间内。

巩固练习

  1. 举一个例子说明:观测更多数据可以把对结果的 uncertainty 降到任意低。
  2. 举一个例子说明:观测更多数据只能把不确定性降到某一点,之后不再下降,并解释原因及该点可能出现的位置。
  3. 我们经验性地展示了抛硬币估计向均值收敛。计算抽 nn 个样本后"看到正面"概率估计的方差:方差如何随观测数缩放?用切比雪夫不等式界定与期望的偏差?这与中心极限定理有何关系?
  4. 从零均值、单位方差分布抽 mm 个样本 xix_i,计算平均值 zm=defm−1∑i=1mxiz_m\stackrel{\text{def}}{=}m^{-1}\sum_{i=1}^m x_i。能否对每个 zmz_m 独立应用切比雪夫不等式?为什么不能?
  5. 对概率 P(A)P(\mathcal{A})、P(B)P(\mathcal{B}) 的两个事件,计算 P(A∪B)P(\mathcal{A}\cup\mathcal{B}) 与 P(A∩B)P(\mathcal{A}\cap\mathcal{B}) 的上下界(可用维恩图辅助思考)。
  6. 设有随机变量序列 AA、BB、CC,其中 BB 仅依赖 AA、CC 仅依赖 BB,请化简联合概率 P(A,B,C)P(A,B,C)(提示:这就是马尔可夫链)。
  7. 修改 HIV 案例:假设两次检测并不独立。单次检测假阳性率 10%、假阴性率 1%(即 P(D=1∣H=0)=0.1P(D=1\mid H=0)=0.1、P(D=0∣H=1)=0.01P(D=0\mid H=1)=0.01);对 H=1H=1(感染者)检测结果条件独立,即 P(D1,D2∣H=1)=P(D1∣H=1)P(D2∣H=1)P(D_1,D_2\mid H=1)=P(D_1\mid H=1)P(D_2\mid H=1),但对健康者 P(D1=D2=1∣H=0)=0.02P(D_1=D_2=1\mid H=0)=0.02。据此:(a) 写出 H=0H=0 下 D1D_1、D2D_2 的联合概率表;(b) 设基线 P(H=1)=0.0015P(H=1)=0.0015,推导一次检测阳性后患病概率;(c) 推导两次均阳性后患病概率。
  8. 假设你是投行资产经理,在股票 sis_i 间配置权重 αi\alpha_i(总和为 1),股票平均回报 μ=Es∼P<ahref="https://link.gitcode.com/i/61429bdbb726f66251d8e8491221fc3a"target="blank">s]\boldsymbol{\mu}=E_{\mathbf{s}\sim P}<a href="https://link.gitcode.com/i/61429bdbb726f66251d8e8491221fc3a" target="_blank">\mathbf{s}]、协方差 Σ=Covs∼P[s]\boldsymbol{\Sigma}=\mathrm{Cov}_{\mathbf{s}\sim P}[\mathbf{s}]:(a) 计算给定组合 α\boldsymbol{\alpha} 的期望回报;(b) 若想最大化回报,应如何配置?(c) 计算组合的方差;(d) 形式化"在方差受上界约束下最大化回报"的优化问题——即获诺贝尔奖的 Markowitz 组合模型(参考文献见 [d2l.bib 的 Mangram.2013),其求解需要二次规划求解器,远超本书范围。

深入阅读指引

登录后查看全文
d2l-en