pyprobml 实战指南:用 Notebook 复现《概率机器学习》第 3 章——多元概率模型

原创2026-09-28 20:15:562,251 阅读
文章标签:机器学习深度学习

pyprobml 实战指南:用 Notebook 复现《概率机器学习》第 3 章——多元概率模型

导读

本文以 notebooks/book1/03/README.md 为骨架,系统梳理 Kevin Murphy《Probabilistic Machine Learning: An Introduction》第 3 章「Probability: multivariate models」在 pyprobml 仓库中的全部可复现实验:从多元高斯分布的可视化、贝叶斯推断与插补,到传感器融合、高斯混合模型(GMM)与伯努利混合模型的 EM 训练。读完本文,你将掌握仓库内 9 个核心 Notebook 的复现路径、关键代码实现原理(JAX 向量化、Cholesky 采样、SVD 置信椭圆等),并能独立把这些实验扩展到自己的概率建模任务中。

1. 章节内容地图:图号与 Notebook 的完整映射

第 3 章涵盖多元概率模型的两大支柱:多元高斯分布(含推断、插补、融合三类经典应用)与混合模型(高斯混合、伯努利混合)。notebooks/book1/03/README.md 给出了图 3.1–3.17 与 Notebook 的对应关系,其中 9 个图有本地 Notebook 可直接复现,其余图由 pml-book 仓库提供成品图片(本地仓库不含对应 Notebook)。将原文档中的外部链接转换为仓库根目录相对路径后,完整映射如下:

图号 Notebook(仓库内相对路径) 图内容
3.1 -(本书成品图) 多元概率模型总览图
3.2 -(本书成品图) 概率基础示意
3.3 simpsons_paradox.ipynb 辛普森悖论(A/B 两版)
3.4 -(本书成品图) 相关性与因果示例
3.5 gauss_plot_2d.ipynb 二维高斯密度曲面图
3.6 gauss_plot_2d.ipynb 二维高斯等高线图
3.7 gauss_imputation_known_params_demo.ipynb 已知参数下的高斯插补
3.8 gauss_infer_1d.ipynb 一维高斯贝叶斯推断
3.9 gauss_infer_2d.ipynb 二维高斯贝叶斯推断
3.10 sensor_fusion_2d.ipynb 传感器融合
3.11 gmm_plot_demo.ipynb 高斯混合模型密度图
3.12 gmm_2d.ipynb 二维高斯混合聚类
3.13 mix_bernoulli_em_mnist.ipynb MNIST 伯努利混合 EM 训练
3.14–3.17 -(本书成品图) 多元分布后续示例图

此外,notebooks/book1/03/README.md 还列出一条补充材料:Intro to probability(SciPy 实现,即 prob.ipynb)。该 Notebook 在本地仓库中未随附(上游通过 Colab 托管),但同目录下的 sprinkler_pgm.ipynb、correlation2d.ipynb、mix_bernoulli_sgd_mnist.ipynb 提供了额外的概率图模型与相关性交互实验,可作为章节补充。

2. 多元高斯分布可视化:Full / Diagonal / Spherical 三类协方差

图 3.5、3.6 由 gauss_plot_2d.ipynb 复现,核心目标是直观展示协方差矩阵结构如何决定二维高斯密度的形状。Notebook 用 JAX 定义了三类标准协方差:

mean = jnp.array([0, 0])
covariance = {
    "Full":      jnp.array([[2, 1.8], [1.8, 2]]),   # 完全协方差:变量相关
    "Diagonal":  jnp.array([[1, 0], [0, 3]]),       # 对角协方差:独立但方差不同
    "Spherical": jnp.array([[1, 0], [0, 1]]),       # 球形协方差:各向同性
}

密度计算直接调用 jax.scipy.stats.multivariate_normal.pdf,并用 jax.vmap 在网格上向量化求值:

def gaussian_pdf(x, y, G):
    return multivariate_normal.pdf(jnp.array([x, y]), mean=mean, cov=covariance[G])

points = jnp.linspace(-5, 5, 100)
X, Y = jnp.meshgrid(points, points)
Z = jax.vmap(jax.vmap(gaussian_pdf, (0, 0, None)), (1, 1, None))(X, Y, gauss)

这里的 vmap 嵌套值得注意:内层 vmap 沿 x 轴向量化,外层沿 y 轴向量化,None 表示协方差类型参数 gauss 不参与向量化——这是 JAX 函数式向量化的典型写法,避免了显式 for 循环。图 3.6 将三类协方差并排绘制为 contourf 等高线图,并统一添加色标,色标标签为 p(y1,y2)p(y_1, y_2),保存为 gaussPlot2dDemoContour。从源码结构看,Full 协方差产生倾斜椭圆(变量相关),Diagonal 产生轴对齐椭圆,Spherical 产生正圆,读者可据此快速建立"协方差 = 分布形状"的直觉。

配套的脚本版本位于 deprecated/scripts/gauss_plot_2d.py,与 Notebook 逻辑一致,适合在无 Jupyter 环境下直接运行。

3. 从相关性到因果:辛普森悖论与相关系数交互实验

3.1 辛普森悖论(图 3.3)

simpsons_paradox.ipynb 用 seaborn 内置数据集复现辛普森悖论:整体数据呈现一种趋势,但按分组后每组内部趋势完全相反。Notebook 对 penguins(企鹅喙长 vs 喙深)和 iris(花萼长 vs 宽)两个数据集执行同一流程:

  • 对全量数据用 scipy.stats.linregress 做线性回归,得到斜率、截距与相关系数 R;
  • 用 sns.regplot 绘制全量回归线,标注 R 值;
  • 按 groupby_col(如 Species)分组,对每个组单独绘制回归线。

关键代码:

slope, intercept, r_value, p_value, std_err = stats.linregress(df[x_col], df[y_col])
sns.regplot(x=x_col, y=y_col, data=df,
            line_kws={"label": f"All {groupby_col} \n R = {r_value:0.2f}"},
            ci=1, ax=ax[0], color=next(palette), scatter_kws={"s": 10, "alpha": 0.7})

该实验的意义在于警示:多元概率建模中,边缘相关(marginal correlation)与条件相关(conditional correlation)可能完全相反,建模时必须显式引入分组变量(混淆变量),这正是第 3 章引入多元模型与条件分布的动机之一。

3.2 相关系数交互实验(补充)

同目录的 correlation2d.ipynb 实现了一个可交互演示:通过 matplotlib.widgets.Slider 调节二维点云的旋转角度与纵横比,实时显示 corr(X, Y) 数值,并叠加线性回归拟合线。其文档字符串明确说明该实验对应 ML 第一版中的经典图:corr(X, Y) == 1 当且仅当 y=ax+by = a x + b。脚本版位于 deprecated/scripts/correlation2d.py。它直观展示了相关系数对旋转的敏感性,是理解多元高斯协方差矩阵几何意义的最佳热身实验。

4. 高斯贝叶斯推断:从一维到二维

4.1 一维:先验—似然—后验(图 3.8)

gauss_infer_1d.ipynb 的主题是「给定含噪声观测推断随机变量」,核心函数 generate_PDF 的可调参数正是推断问题的三个要素:

def generate_PDF(prior_var=[1, 5], prior_mean=[0, 0], observed_var=[1, 1], interact_flag=False):
    ...

Notebook 用 ipywidgets.FloatSlider 构造了三个交互控件,默认参数为:

控件 取值范围 默认值 含义
prior_var 1.0–5.0(步长 0.1) 1.0 先验方差(1 = 强先验,5 = 弱先验)
prior_mean -3.0–3.0 0.0 先验均值
observed_var 1.0–5.0 1.0 观测噪声方差

拖动滑块即可观察强先验(方差小)与弱先验(方差大)对后验的影响:先验越强,后验越靠近先验均值;观测噪声越大,后验越受先验支配。这为理解第 4 章的共轭高斯推断(后验均值是观测与先验的精度加权平均)提供了直观基础。

4.2 二维:贝叶斯更新的完整流程(图 3.9)

gauss_infer_2d.ipynb 将推断扩展到二维随机向量 z\mathbf{z},并完整展示「数据 → 先验 → 后验」三步。其采样函数演示了多元高斯的 Cholesky 采样法:

def gaussSample(mu, sigma, n, key):
    decomposition = cholesky(sigma)
    normal_distribution = jax.random.normal(key, shape=(len(mu), n))
    return jnp.dot(decomposition, normal_distribution).T + mu

实验参数(源码可直接确认):

  • 真实值 z = [0.5, 0.5],观测噪声协方差 sigma_data = 0.1 * [[2, 1], [1, 1]],采样点数 n_points = 10;
  • 先验取零均值、弱信息协方差 prior["Sigma"] = 0.1 * jnp.eye(2);
  • 用 scipy.stats.multivariate_normal 在 jnp.mgrid[-1:1:100j, -1:1:100j] 网格上计算先验与后验密度,绘制为 contourf 图。

Notebook 最后同样提供交互控件:@interact(random_state=(1, 10), n_=(1, 20)) 可调节随机种子与样本量,观察样本增多时后验逐步收缩到真实值的过程。三个子图(Data / Prior / Posterior)并排输出,与书中图 3.9 的排版一致。

5. 高斯插补:已知参数下的缺失值填充(图 3.7)

gauss_imputation_known_params_demo.ipynb 演示已知联合高斯分布时如何用条件分布填充缺失值,这是多元模型最实用的工程场景之一。核心生成函数:

def gen_imputer_data(data_dim=8, sample_size=10, threshold_missing=0.5):
    mean = random.normal(random.PRNGKey(42), shape=(data_dim, 1))
    # 用 sklearn 的 make_spd_matrix 生成随机正定协方差矩阵
    cov = make_spd_matrix(...)
    ...

实现要点:

  • 用 jax.random.normal(PRNGKey(42), ...) 生成随机均值向量,用 sklearn.datasets.make_spd_matrix 构造随机正定协方差矩阵(保证多元高斯分布合法);
  • 按 threshold_missing(默认 0.5)随机遮罩部分观测值,再由高斯条件分布推断被遮罩维度的后验;
  • 结果用 Hinton 图(pml.hinton_diagram(data, max_weight=7, ...))可视化——方块大小表示数值幅度,红蓝表示正负,可直观对比真实值与插补值的差异。

交互控件允许调节 data_dim(5–15)、sample_size(5–15)、threshold_missing(0–1)。脚本版见 deprecated/scripts/gauss_imputation_known_params_demo.py,同目录还有 deprecated/scripts/gauss_imputation_em_demo.py 对应未知参数场景的 EM 版。

6. 传感器融合:多源观测的最优加权(图 3.10)

sensor_fusion_2d.ipynb 是本章最经典的工程案例:用两个传感器观测同一个二维未知量,通过高斯贝叶斯公式融合出后验。Notebook 用精度(协方差逆)加权实现融合,calc_posterior 的核心逻辑为:

likelihood_sigma_inv = JLA.inv(likelihood["sigma"])
# posterior_cov = inv(prior_sigma_inv + W^T likelihood_sigma_inv W)
# posterior_mu  = posterior_cov @ (prior_sigma_inv @ prior_mu + W^T likelihood_sigma_inv @ y_obs)

实验默认配置(源码可查):

  • 先验取无信息先验:prior["sigma"] = 1e10 * jnp.eye(2)(方差极大,后验几乎完全由观测决定);
  • 两个传感器的观测值固定为 y1 = [0, -1]、y2 = [1, 0];
  • 通过 scipy.linalg.block_diag 组装观测矩阵,Weight_mat 负责把未知向量投影到观测空间。

cov_to_pts 函数用 SVD 构造 95% 置信椭圆:

[u, s, v] = JLA.svd(cov)
confidence_intr = u * 2.447 * jnp.sqrt(s)   # 2.447 ≈ 二维 95% 置信半径
cov_int = jnp.dot(confidence_intr, circle)

Notebook 对比了三种传感器配置(sensorf_parm_dict):

配置 传感器 1 协方差 传感器 2 协方差 保存文件名
图(a) 等精度球形 0.01 * eye(2) 0.01 * eye(2) demoGaussBayes2dEqualSpherical
图(b) 不等精度球形 0.05 * eye(2) 0.01 * eye(2) demoGaussBayes2dUnequalSpherical
图(c) 一般协方差 0.01 * [[10,1],[1,1]] 0.01 * [[1,1],[1,10]] demoGaussBayes2dUnequal

交互模式还提供 sigma_1/sigma_2 滑块(0.01–0.2)与 Spherical/Unequal 切换按钮,实时观察后验椭圆如何随传感器精度变化——精度越高的传感器对后验均值贡献越大。脚本版见 deprecated/scripts/sensor_fusion_2d.py。

7. 混合模型:高斯混合与伯努利混合

7.1 高斯混合模型(图 3.11、3.12)

gmm_plot_demo.ipynb 直接以数值方式定义了一个三成分 GMM,用于绘制其密度图(图 3.11):

mu_1, mu_2, mu_3 = np.array([[0.22],[0.45]]), np.array([[0.5],[0.5]]), np.array([[0.77],[0.55]])
Sigma1 = np.array([[0.011, -0.01], [-0.01, 0.018]])
Sigma2 = np.array([[0.018, 0.01], [0.01, 0.011]])
Sigma3 = Sigma1
mixmat = np.array([[0.5], [0.3], [0.2]])   # 混合权重

其中 sigmaEllipse2D(mu, Sigma, level=3, ...) 用协方差矩阵的特征分解绘制马氏距离椭圆(默认 3 倍标准差),展示每个成分的覆盖范围。图 3.12 由 gmm_2d.ipynb 复现:用 sklearn.datasets.make_blobs 生成聚类数据,分别用 sklearn.cluster.KMeans 与 sklearn.mixture.GaussianMixture 拟合,并对比硬聚类(K-means)与软聚类(GMM 后验概率)的结果。该 Notebook 源码顶部注明其思想源自 Aurélien Géron《Hands-On Machine Learning》第 9 章,是半监督学习中"先聚类再标注"流程的雏形。

7.2 伯努利混合 + EM:MNIST 数字聚类(图 3.13)

mix_bernoulli_em_mnist.ipynb 是本章最完整的实战案例:用 EM 算法在 MNIST 手写数字上训练伯努利混合模型(BMM)。Notebook 顶部注明作者为 Meduri Venkata Shivaditya 与 Aleyna Kara,核心流程:

from probml_utils.mix_bernoulli_lib import BMM
from probml_utils.mix_bernoulli_em_mnist import mnist_data

def main():
    n_obs = 1000
    ...

实现要点:

  • 数据通过 TensorFlow 加载 MNIST,取 n_obs = 1000 个样本;
  • 模型复用 probml_utils 库中的 BMM 类(对应仓库 deprecated/scripts/mix_bernoulli_lib.py),数据加载逻辑见 deprecated/scripts/mix_bernoulli_em_mnist.py;
  • 伯努利混合适合二值化后的 MNIST:每个成分学习"该类数字的模板概率",EM 交替执行 E 步(计算成分后验)与 M 步(更新成分参数),最终可观察不同成分学到的数字原型。

同目录 mix_bernoulli_sgd_mnist.ipynb 提供 SGD 版本作为对照(脚本版 deprecated/scripts/mix_bernoulli_sgd_mnist.py),演示了同一模型用 EM 与随机梯度两种优化路线的差异。

8. 运行环境与复现要点

所有第 3 章 Notebook 遵循 pyprobml 仓库统一的复现约定,运行前需确认以下几点:

  1. 依赖库:JAX(含 jax.scipy)、NumPy、SciPy、Matplotlib、Seaborn、scikit-learn、ipywidgets、TensorFlow(仅伯努利混合相关 Notebook 需要);基础环境见 requirements.txt,开发环境见 requirements-dev.txt。
  2. probml_utils:多数 Notebook 顶部都有兜底导入逻辑——若本地未安装 probml_utils,则通过 %pip install -qq git+https://github.com/probml/probml-utils.git 自动安装;其中的 savefig、latexify、hinton_diagram、gauss_utils、mix_bernoulli_lib 等工具函数在绘图与模型复用中承担关键角色。
  3. JAX 数值精度:gauss_plot_2d.ipynb 显式调用 config.update("jax_enable_x64", True) 开启 64 位浮点,复现高斯密度等数值敏感实验时应保持同样设置。
  4. 交互组件:ipywidgets 滑块(FloatSlider/IntSlider/ToggleButtons)是 gauss_infer、sensor_fusion、imputation 等 Notebook 的核心体验部分,需在 Jupyter Notebook/Lab 环境中运行才能交互。
  5. latexify 排版:多数 Notebook 调用 latexify(width_scale_factor=..., fig_height=...) 统一输出 LaTeX 风格图表,保存文件名与书中图号对应(如 gaussPlot2dDemoContour、demoGaussBayes2dEqualSpherical)。

若希望脱离 Notebook 运行,仓库在 deprecated/scripts 目录提供了与本章每个 Notebook 一一对应的 .py 脚本(如 gauss_infer_1d.py、gmm_2d.py、gauss_plot_2d.py 等),两者共享同一套核心代码逻辑,可直接 python xxx.py 执行。

9. 小结

第 3 章的 pyprobml 实现覆盖了多元概率模型的完整技术栈:多元高斯(可视化、推断、插补、融合)、混合模型(GMM、伯努利混合 + EM)以及多元概率的直觉陷阱(辛普森悖论、相关系数的旋转敏感性)。每条主线都有可运行的 Notebook 与配套脚本,且大量实验内置交互控件,特别适合作为《概率机器学习》一书的配套动手练习。后续第 4 章(推断与共轭先验)可在此基础上直接延伸——本文第 4、6 节中的先验/后验更新代码,正是理解全书贝叶斯推断体系的基石。

登录后查看全文
pyprobml