Pyro深度学习不确定性估计：蒙特卡洛dropout与贝叶斯NN对比

2026-02-05 05:41:52作者：羿妍玫Ivan

在深度学习模型中，不确定性估计是评估预测可靠性的关键技术。本文将对比两种主流方法：蒙特卡洛Dropout（Monte Carlo Dropout）和贝叶斯神经网络（Bayesian Neural Network, BNN），并基于Pyro框架实现实验对比。

技术原理对比

蒙特卡洛Dropout

蒙特卡洛Dropout通过在训练和推理阶段均启用Dropout层，将每次前向传播视为对模型参数后验分布的采样。这种方法将Dropout解释为近似贝叶斯推理，通过多次前向传播的结果统计来估计不确定性。实现简单，只需在常规神经网络中添加Dropout层并在推理时保持激活。

贝叶斯神经网络

贝叶斯神经网络将权重视为随机变量而非固定值，通过为每个权重参数定义先验分布（如正态分布），并使用变分推断或MCMC方法近似后验分布。Pyro提供了丰富的贝叶斯建模工具，如PyroModule和变分推断引擎，支持灵活构建复杂的概率模型。

实现方法

蒙特卡洛Dropout实现

import torch.nn as nn
import torch.nn.functional as F

class MCDropoutNN(nn.Module):
    def __init__(self, input_dim=784, hidden_dim=200, output_dim=10):
        super().__init__()
        self.fc1 = nn.Linear(input_dim, hidden_dim)
        self.fc2 = nn.Linear(hidden_dim, output_dim)
        self.dropout = nn.Dropout(0.5)  # 固定Dropout率为0.5

    def forward(self, x):
        x = x.view(-1, 784)
        x = F.relu(self.fc1(x))
        x = self.dropout(x)  # 推理时保持启用
        x = self.fc2(x)
        return F.log_softmax(x, dim=1)
    
    def predict(self, x, num_samples=100):
        """多次前向传播获取不确定性估计"""
        predictions = [self.forward(x) for _ in range(num_samples)]
        return torch.stack(predictions).mean(dim=0), torch.stack(predictions).std(dim=0)

贝叶斯神经网络实现（Pyro）

import pyro
import pyro.distributions as dist
from pyro.nn import PyroModule, PyroSample

class BayesianNN(PyroModule):
    def __init__(self, input_dim=784, hidden_dim=200, output_dim=10):
        super().__init__()
        self.fc1 = PyroModulenn.Linear
        self.fc2 = PyroModulenn.Linear
        
        # 权重先验分布
        self.fc1.weight = PyroSample(dist.Normal(0., 1.).expand([hidden_dim, input_dim]).to_event(2))
        self.fc1.bias = PyroSample(dist.Normal(0., 1.).expand([hidden_dim]).to_event(1))
        self.fc2.weight = PyroSample(dist.Normal(0., 1.).expand([output_dim, hidden_dim]).to_event(2))
        self.fc2.bias = PyroSample(dist.Normal(0., 1.).expand([output_dim]).to_event(1))

    def forward(self, x, y=None):
        x = x.view(-1, 784)
        x = F.relu(self.fc1(x))
        logits = self.fc2(x)
        
        with pyro.plate("data", x.shape[0]):
            obs = pyro.sample("obs", dist.Categorical(logits=logits), obs=y)
        return logits
    
    def predict(self, x, num_samples=100):
        """通过Pyro的Predictive获取后验采样"""
        predictive = pyro.infer.Predictive(
            self, 
            guide=AutoNormal(self),  # 使用自动正态 guide
            num_samples=num_samples
        )
        samples = predictive(x)
        return samples["obs"].mean(dim=0), samples["obs"].std(dim=0)