pyprobml 实战指南:用 Notebook 复现《概率机器学习》第 3 章——多元概率模型
pyprobml 实战指南:用 Notebook 复现《概率机器学习》第 3 章——多元概率模型
导读
本文以 notebooks/book1/03/README.md 为骨架,系统梳理 Kevin Murphy《Probabilistic Machine Learning: An Introduction》第 3 章「Probability: multivariate models」在 pyprobml 仓库中的全部可复现实验:从多元高斯分布的可视化、贝叶斯推断与插补,到传感器融合、高斯混合模型(GMM)与伯努利混合模型的 EM 训练。读完本文,你将掌握仓库内 9 个核心 Notebook 的复现路径、关键代码实现原理(JAX 向量化、Cholesky 采样、SVD 置信椭圆等),并能独立把这些实验扩展到自己的概率建模任务中。
1. 章节内容地图:图号与 Notebook 的完整映射
第 3 章涵盖多元概率模型的两大支柱:多元高斯分布(含推断、插补、融合三类经典应用)与混合模型(高斯混合、伯努利混合)。notebooks/book1/03/README.md 给出了图 3.1–3.17 与 Notebook 的对应关系,其中 9 个图有本地 Notebook 可直接复现,其余图由 pml-book 仓库提供成品图片(本地仓库不含对应 Notebook)。将原文档中的外部链接转换为仓库根目录相对路径后,完整映射如下:
| 图号 | Notebook(仓库内相对路径) | 图内容 |
|---|---|---|
| 3.1 | -(本书成品图) | 多元概率模型总览图 |
| 3.2 | -(本书成品图) | 概率基础示意 |
| 3.3 | simpsons_paradox.ipynb | 辛普森悖论(A/B 两版) |
| 3.4 | -(本书成品图) | 相关性与因果示例 |
| 3.5 | gauss_plot_2d.ipynb | 二维高斯密度曲面图 |
| 3.6 | gauss_plot_2d.ipynb | 二维高斯等高线图 |
| 3.7 | gauss_imputation_known_params_demo.ipynb | 已知参数下的高斯插补 |
| 3.8 | gauss_infer_1d.ipynb | 一维高斯贝叶斯推断 |
| 3.9 | gauss_infer_2d.ipynb | 二维高斯贝叶斯推断 |
| 3.10 | sensor_fusion_2d.ipynb | 传感器融合 |
| 3.11 | gmm_plot_demo.ipynb | 高斯混合模型密度图 |
| 3.12 | gmm_2d.ipynb | 二维高斯混合聚类 |
| 3.13 | mix_bernoulli_em_mnist.ipynb | MNIST 伯努利混合 EM 训练 |
| 3.14–3.17 | -(本书成品图) | 多元分布后续示例图 |
此外,notebooks/book1/03/README.md 还列出一条补充材料:Intro to probability(SciPy 实现,即 prob.ipynb)。该 Notebook 在本地仓库中未随附(上游通过 Colab 托管),但同目录下的 sprinkler_pgm.ipynb、correlation2d.ipynb、mix_bernoulli_sgd_mnist.ipynb 提供了额外的概率图模型与相关性交互实验,可作为章节补充。
2. 多元高斯分布可视化:Full / Diagonal / Spherical 三类协方差
图 3.5、3.6 由 gauss_plot_2d.ipynb 复现,核心目标是直观展示协方差矩阵结构如何决定二维高斯密度的形状。Notebook 用 JAX 定义了三类标准协方差:
mean = jnp.array([0, 0])
covariance = {
"Full": jnp.array([[2, 1.8], [1.8, 2]]), # 完全协方差:变量相关
"Diagonal": jnp.array([[1, 0], [0, 3]]), # 对角协方差:独立但方差不同
"Spherical": jnp.array([[1, 0], [0, 1]]), # 球形协方差:各向同性
}
密度计算直接调用 jax.scipy.stats.multivariate_normal.pdf,并用 jax.vmap 在网格上向量化求值:
def gaussian_pdf(x, y, G):
return multivariate_normal.pdf(jnp.array([x, y]), mean=mean, cov=covariance[G])
points = jnp.linspace(-5, 5, 100)
X, Y = jnp.meshgrid(points, points)
Z = jax.vmap(jax.vmap(gaussian_pdf, (0, 0, None)), (1, 1, None))(X, Y, gauss)
这里的 vmap 嵌套值得注意:内层 vmap 沿 x 轴向量化,外层沿 y 轴向量化,None 表示协方差类型参数 gauss 不参与向量化——这是 JAX 函数式向量化的典型写法,避免了显式 for 循环。图 3.6 将三类协方差并排绘制为 contourf 等高线图,并统一添加色标,色标标签为 ,保存为 gaussPlot2dDemoContour。从源码结构看,Full 协方差产生倾斜椭圆(变量相关),Diagonal 产生轴对齐椭圆,Spherical 产生正圆,读者可据此快速建立"协方差 = 分布形状"的直觉。
配套的脚本版本位于 deprecated/scripts/gauss_plot_2d.py,与 Notebook 逻辑一致,适合在无 Jupyter 环境下直接运行。
3. 从相关性到因果:辛普森悖论与相关系数交互实验
3.1 辛普森悖论(图 3.3)
simpsons_paradox.ipynb 用 seaborn 内置数据集复现辛普森悖论:整体数据呈现一种趋势,但按分组后每组内部趋势完全相反。Notebook 对 penguins(企鹅喙长 vs 喙深)和 iris(花萼长 vs 宽)两个数据集执行同一流程:
- 对全量数据用
scipy.stats.linregress做线性回归,得到斜率、截距与相关系数R; - 用
sns.regplot绘制全量回归线,标注R值; - 按
groupby_col(如Species)分组,对每个组单独绘制回归线。
关键代码:
slope, intercept, r_value, p_value, std_err = stats.linregress(df[x_col], df[y_col])
sns.regplot(x=x_col, y=y_col, data=df,
line_kws={"label": f"All {groupby_col} \n R = {r_value:0.2f}"},
ci=1, ax=ax[0], color=next(palette), scatter_kws={"s": 10, "alpha": 0.7})
该实验的意义在于警示:多元概率建模中,边缘相关(marginal correlation)与条件相关(conditional correlation)可能完全相反,建模时必须显式引入分组变量(混淆变量),这正是第 3 章引入多元模型与条件分布的动机之一。
3.2 相关系数交互实验(补充)
同目录的 correlation2d.ipynb 实现了一个可交互演示:通过 matplotlib.widgets.Slider 调节二维点云的旋转角度与纵横比,实时显示 corr(X, Y) 数值,并叠加线性回归拟合线。其文档字符串明确说明该实验对应 ML 第一版中的经典图:corr(X, Y) == 1 当且仅当 。脚本版位于 deprecated/scripts/correlation2d.py。它直观展示了相关系数对旋转的敏感性,是理解多元高斯协方差矩阵几何意义的最佳热身实验。
4. 高斯贝叶斯推断:从一维到二维
4.1 一维:先验—似然—后验(图 3.8)
gauss_infer_1d.ipynb 的主题是「给定含噪声观测推断随机变量」,核心函数 generate_PDF 的可调参数正是推断问题的三个要素:
def generate_PDF(prior_var=[1, 5], prior_mean=[0, 0], observed_var=[1, 1], interact_flag=False):
...
Notebook 用 ipywidgets.FloatSlider 构造了三个交互控件,默认参数为:
| 控件 | 取值范围 | 默认值 | 含义 |
|---|---|---|---|
prior_var |
1.0–5.0(步长 0.1) | 1.0 | 先验方差(1 = 强先验,5 = 弱先验) |
prior_mean |
-3.0–3.0 | 0.0 | 先验均值 |
observed_var |
1.0–5.0 | 1.0 | 观测噪声方差 |
拖动滑块即可观察强先验(方差小)与弱先验(方差大)对后验的影响:先验越强,后验越靠近先验均值;观测噪声越大,后验越受先验支配。这为理解第 4 章的共轭高斯推断(后验均值是观测与先验的精度加权平均)提供了直观基础。
4.2 二维:贝叶斯更新的完整流程(图 3.9)
gauss_infer_2d.ipynb 将推断扩展到二维随机向量 ,并完整展示「数据 → 先验 → 后验」三步。其采样函数演示了多元高斯的 Cholesky 采样法:
def gaussSample(mu, sigma, n, key):
decomposition = cholesky(sigma)
normal_distribution = jax.random.normal(key, shape=(len(mu), n))
return jnp.dot(decomposition, normal_distribution).T + mu
实验参数(源码可直接确认):
- 真实值
z = [0.5, 0.5],观测噪声协方差sigma_data = 0.1 * [[2, 1], [1, 1]],采样点数n_points = 10; - 先验取零均值、弱信息协方差
prior["Sigma"] = 0.1 * jnp.eye(2); - 用
scipy.stats.multivariate_normal在jnp.mgrid[-1:1:100j, -1:1:100j]网格上计算先验与后验密度,绘制为contourf图。
Notebook 最后同样提供交互控件:@interact(random_state=(1, 10), n_=(1, 20)) 可调节随机种子与样本量,观察样本增多时后验逐步收缩到真实值的过程。三个子图(Data / Prior / Posterior)并排输出,与书中图 3.9 的排版一致。
5. 高斯插补:已知参数下的缺失值填充(图 3.7)
gauss_imputation_known_params_demo.ipynb 演示已知联合高斯分布时如何用条件分布填充缺失值,这是多元模型最实用的工程场景之一。核心生成函数:
def gen_imputer_data(data_dim=8, sample_size=10, threshold_missing=0.5):
mean = random.normal(random.PRNGKey(42), shape=(data_dim, 1))
# 用 sklearn 的 make_spd_matrix 生成随机正定协方差矩阵
cov = make_spd_matrix(...)
...
实现要点:
- 用
jax.random.normal(PRNGKey(42), ...)生成随机均值向量,用sklearn.datasets.make_spd_matrix构造随机正定协方差矩阵(保证多元高斯分布合法); - 按
threshold_missing(默认 0.5)随机遮罩部分观测值,再由高斯条件分布推断被遮罩维度的后验; - 结果用 Hinton 图(
pml.hinton_diagram(data, max_weight=7, ...))可视化——方块大小表示数值幅度,红蓝表示正负,可直观对比真实值与插补值的差异。
交互控件允许调节 data_dim(5–15)、sample_size(5–15)、threshold_missing(0–1)。脚本版见 deprecated/scripts/gauss_imputation_known_params_demo.py,同目录还有 deprecated/scripts/gauss_imputation_em_demo.py 对应未知参数场景的 EM 版。
6. 传感器融合:多源观测的最优加权(图 3.10)
sensor_fusion_2d.ipynb 是本章最经典的工程案例:用两个传感器观测同一个二维未知量,通过高斯贝叶斯公式融合出后验。Notebook 用精度(协方差逆)加权实现融合,calc_posterior 的核心逻辑为:
likelihood_sigma_inv = JLA.inv(likelihood["sigma"])
# posterior_cov = inv(prior_sigma_inv + W^T likelihood_sigma_inv W)
# posterior_mu = posterior_cov @ (prior_sigma_inv @ prior_mu + W^T likelihood_sigma_inv @ y_obs)
实验默认配置(源码可查):
- 先验取无信息先验:
prior["sigma"] = 1e10 * jnp.eye(2)(方差极大,后验几乎完全由观测决定); - 两个传感器的观测值固定为
y1 = [0, -1]、y2 = [1, 0]; - 通过
scipy.linalg.block_diag组装观测矩阵,Weight_mat负责把未知向量投影到观测空间。
cov_to_pts 函数用 SVD 构造 95% 置信椭圆:
[u, s, v] = JLA.svd(cov)
confidence_intr = u * 2.447 * jnp.sqrt(s) # 2.447 ≈ 二维 95% 置信半径
cov_int = jnp.dot(confidence_intr, circle)
Notebook 对比了三种传感器配置(sensorf_parm_dict):
| 配置 | 传感器 1 协方差 | 传感器 2 协方差 | 保存文件名 |
|---|---|---|---|
| 图(a) 等精度球形 | 0.01 * eye(2) |
0.01 * eye(2) |
demoGaussBayes2dEqualSpherical |
| 图(b) 不等精度球形 | 0.05 * eye(2) |
0.01 * eye(2) |
demoGaussBayes2dUnequalSpherical |
| 图(c) 一般协方差 | 0.01 * [[10,1],[1,1]] |
0.01 * [[1,1],[1,10]] |
demoGaussBayes2dUnequal |
交互模式还提供 sigma_1/sigma_2 滑块(0.01–0.2)与 Spherical/Unequal 切换按钮,实时观察后验椭圆如何随传感器精度变化——精度越高的传感器对后验均值贡献越大。脚本版见 deprecated/scripts/sensor_fusion_2d.py。
7. 混合模型:高斯混合与伯努利混合
7.1 高斯混合模型(图 3.11、3.12)
gmm_plot_demo.ipynb 直接以数值方式定义了一个三成分 GMM,用于绘制其密度图(图 3.11):
mu_1, mu_2, mu_3 = np.array([[0.22],[0.45]]), np.array([[0.5],[0.5]]), np.array([[0.77],[0.55]])
Sigma1 = np.array([[0.011, -0.01], [-0.01, 0.018]])
Sigma2 = np.array([[0.018, 0.01], [0.01, 0.011]])
Sigma3 = Sigma1
mixmat = np.array([[0.5], [0.3], [0.2]]) # 混合权重
其中 sigmaEllipse2D(mu, Sigma, level=3, ...) 用协方差矩阵的特征分解绘制马氏距离椭圆(默认 3 倍标准差),展示每个成分的覆盖范围。图 3.12 由 gmm_2d.ipynb 复现:用 sklearn.datasets.make_blobs 生成聚类数据,分别用 sklearn.cluster.KMeans 与 sklearn.mixture.GaussianMixture 拟合,并对比硬聚类(K-means)与软聚类(GMM 后验概率)的结果。该 Notebook 源码顶部注明其思想源自 Aurélien Géron《Hands-On Machine Learning》第 9 章,是半监督学习中"先聚类再标注"流程的雏形。
7.2 伯努利混合 + EM:MNIST 数字聚类(图 3.13)
mix_bernoulli_em_mnist.ipynb 是本章最完整的实战案例:用 EM 算法在 MNIST 手写数字上训练伯努利混合模型(BMM)。Notebook 顶部注明作者为 Meduri Venkata Shivaditya 与 Aleyna Kara,核心流程:
from probml_utils.mix_bernoulli_lib import BMM
from probml_utils.mix_bernoulli_em_mnist import mnist_data
def main():
n_obs = 1000
...
实现要点:
- 数据通过 TensorFlow 加载 MNIST,取
n_obs = 1000个样本; - 模型复用
probml_utils库中的BMM类(对应仓库 deprecated/scripts/mix_bernoulli_lib.py),数据加载逻辑见 deprecated/scripts/mix_bernoulli_em_mnist.py; - 伯努利混合适合二值化后的 MNIST:每个成分学习"该类数字的模板概率",EM 交替执行 E 步(计算成分后验)与 M 步(更新成分参数),最终可观察不同成分学到的数字原型。
同目录 mix_bernoulli_sgd_mnist.ipynb 提供 SGD 版本作为对照(脚本版 deprecated/scripts/mix_bernoulli_sgd_mnist.py),演示了同一模型用 EM 与随机梯度两种优化路线的差异。
8. 运行环境与复现要点
所有第 3 章 Notebook 遵循 pyprobml 仓库统一的复现约定,运行前需确认以下几点:
- 依赖库:JAX(含
jax.scipy)、NumPy、SciPy、Matplotlib、Seaborn、scikit-learn、ipywidgets、TensorFlow(仅伯努利混合相关 Notebook 需要);基础环境见 requirements.txt,开发环境见 requirements-dev.txt。 - probml_utils:多数 Notebook 顶部都有兜底导入逻辑——若本地未安装
probml_utils,则通过%pip install -qq git+https://github.com/probml/probml-utils.git自动安装;其中的savefig、latexify、hinton_diagram、gauss_utils、mix_bernoulli_lib等工具函数在绘图与模型复用中承担关键角色。 - JAX 数值精度:gauss_plot_2d.ipynb 显式调用
config.update("jax_enable_x64", True)开启 64 位浮点,复现高斯密度等数值敏感实验时应保持同样设置。 - 交互组件:
ipywidgets滑块(FloatSlider/IntSlider/ToggleButtons)是 gauss_infer、sensor_fusion、imputation 等 Notebook 的核心体验部分,需在 Jupyter Notebook/Lab 环境中运行才能交互。 - latexify 排版:多数 Notebook 调用
latexify(width_scale_factor=..., fig_height=...)统一输出 LaTeX 风格图表,保存文件名与书中图号对应(如gaussPlot2dDemoContour、demoGaussBayes2dEqualSpherical)。
若希望脱离 Notebook 运行,仓库在 deprecated/scripts 目录提供了与本章每个 Notebook 一一对应的 .py 脚本(如 gauss_infer_1d.py、gmm_2d.py、gauss_plot_2d.py 等),两者共享同一套核心代码逻辑,可直接 python xxx.py 执行。
9. 小结
第 3 章的 pyprobml 实现覆盖了多元概率模型的完整技术栈:多元高斯(可视化、推断、插补、融合)、混合模型(GMM、伯努利混合 + EM)以及多元概率的直觉陷阱(辛普森悖论、相关系数的旋转敏感性)。每条主线都有可运行的 Notebook 与配套脚本,且大量实验内置交互控件,特别适合作为《概率机器学习》一书的配套动手练习。后续第 4 章(推断与共轭先验)可在此基础上直接延伸——本文第 4、6 节中的先验/后验更新代码,正是理解全书贝叶斯推断体系的基石。