PyTorch教程：贝叶斯深度学习原理与实践

2025-06-19 23:46:34作者：宣聪麟

引言

在传统深度学习中，神经网络通常输出确定性预测结果。然而，现实世界充满不确定性，特别是在医疗诊断、自动驾驶等关键领域，了解模型预测的不确定性至关重要。本教程将系统介绍贝叶斯深度学习的核心概念和PyTorch实现方法。

贝叶斯深度学习基础

不确定性类型

认知不确定性(Epistemic Uncertainty)：源于模型参数的不确定性，随着数据量增加而减少
偶然不确定性(Aleatoric Uncertainty)：数据本身固有的噪声，无法通过更多数据消除

与传统深度学习的区别

传统神经网络学习确定性的权重参数，而贝叶斯神经网络将权重视为随机变量，学习其概率分布。这种方法能够：

量化预测不确定性
提高模型鲁棒性
支持小数据学习
检测分布外样本

核心方法实现

蒙特卡洛Dropout

这是一种简单高效的近似贝叶斯推断方法：

import torch
import torch.nn as nn

class MCDropoutModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(784, 512)
        self.dropout = nn.Dropout(0.5)
        self.fc2 = nn.Linear(512, 10)
    
    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # 保持测试时也开启
        return self.fc2(x)

使用时需多次前向传播获取预测分布：

model.eval()  # 但dropout保持激活
predictions = torch.stack([model(x) for _ in range(100)])
mean = predictions.mean(0)
std = predictions.std(0)

变分贝叶斯神经网络

通过变分推断近似参数后验分布：

class BayesianLinear(nn.Module):
    def __init__(self, in_features, out_features):
        super().__init__()
        # 均值参数
        self.w_mu = nn.Parameter(torch.Tensor(out_features, in_features))
        # 对数方差参数
        self.w_logvar = nn.Parameter(torch.Tensor(out_features, in_features))
        
    def forward(self, x):
        # 重参数化技巧
        w_std = torch.exp(0.5 * self.w_logvar)
        epsilon = torch.randn_like(w_std)
        weights = self.w_mu + w_std * epsilon
        return torch.nn.functional.linear(x, weights)

深度集成方法

结合多个模型的预测来估计不确定性：

ensemble = [Model() for _ in range(5)]
predictions = torch.stack([model(x) for model in ensemble])
uncertainty = predictions.var(dim=0)

不确定性校准

良好的不确定性估计应该与实际错误率一致。常用校准方法：

温度缩放(Temperature Scaling)：学习一个温度参数调整softmax输出
直方图分箱(Histogram Binning)：基于验证集的分段校准
保序回归(Isotonic Regression)：非参数校准方法

# 温度缩放示例
temperature = nn.Parameter(torch.ones(1))
optimizer = torch.optim.LBFGS([temperature], lr=0.01)

def eval():
    optimizer.zero_grad()
    loss = nn.CrossEntropyLoss()(logits/temperature, targets)
    loss.backward()
    return loss
optimizer.step(eval)