稀有事件预测的统计解决方案：精确Logistic回归与Firth回归实现

问题引入：稀有事件预测的统计挑战

在数据分析领域，稀有事件（如欺诈交易、疾病诊断）的预测一直是个棘手问题。当事件发生率低于1%时，传统逻辑回归会出现两大问题：一是分离现象（自变量完全区分事件与非事件导致系数无限大），二是样本量不足（极大似然估计失效）。Statsmodels在discrete/discrete_model.py中专门设计了完美分离检测机制，当检测到分离现象时会抛出PerfectSeparationWarning。

[!NOTE] 上图展示了普通逻辑回归在处理不平衡数据时的典型问题：残差分布异常（左上）、Q-Q图偏离正态（右上）、异方差现象（左下）和高杠杆点影响（右下）。

核心方案：稀有事件建模的两种高级方法

精确Logistic回归的条件似然实现

精确Logistic回归通过条件似然估计解决稀有事件问题，核心原理是枚举所有可能结果组合计算精确p值，而非依赖大样本近似。这种方法特别适合小样本场景，在Statsmodels中通过method='exact'参数启用。

import statsmodels.api as sm
from statsmodels.discrete.discrete_model import Logit

# 加载示例数据（欺诈检测场景）
data = sm.datasets.fair.load_pandas().data
y = data['affairs']  # 二分类因变量（1=存在欺诈）
X = sm.add_constant(data[['age', 'yrs_married', 'religious']])  # 风险因子

# 构建精确Logistic回归模型
model = Logit(y, X)
result = model.fit(method='exact', maxiter=1000)  # 启用精确估计
print(result.summary())

[!NOTE] 精确Logistic回归的计算复杂度随样本量呈指数增长，建议在事件数<100时使用。当样本量较大时，可设置maxiter限制枚举次数。

Firth回归的正则化模拟实现

Statsmodels虽未直接提供Firth回归（惩罚极大似然估计），但可通过两种方式间接实现：

L1正则化替代方案

# 使用L1正则化模拟Firth惩罚效果
regularized_result = model.fit_regularized(
    method='l1', 
    alpha=0.05,  # 惩罚强度，需通过交叉验证优化
    maxiter=100
)

稳健加权回归实现

通过robust/robust_linear_model.py模块实现加权估计：

from statsmodels.robust.robust_linear_model import RLM
from statsmodels.robust.norms import Logistic

# 使用稳健回归处理异常值影响
rlm_model = RLM(y, X, M=Logistic())  # Logistic权重函数
rlm_result = rlm_model.fit()

实现路径：从数据准备到模型部署

数据预处理关键步骤

1. 样本平衡检查：确保事件数至少为自变量数的5倍
2. 特征筛选：移除高度相关变量（VIF>10）
3. 数据转换：对偏态分布变量进行对数/平方根转换

# 数据预处理示例代码
def prepare_rare_event_data(df, target_col):
    # 检查事件比例
    event_rate = df[target_col].mean()
    if event_rate < 0.01:
        print(f"警告：事件发生率仅{event_rate:.2%}，建议使用精确方法")
    
    # 特征相关性筛选
    corr_matrix = df.corr().abs()
    upper = corr_matrix.where(np.triu(np.ones(corr_matrix.shape), k=1).astype(bool))
    to_drop = [column for column in upper.columns if any(upper[column] > 0.8)]
    
    return df.drop(to_drop, axis=1)

模型评估特殊指标

稀有事件模型评估需使用适合不平衡数据的指标：

from sklearn.metrics import precision_recall_curve, roc_auc_score

# 计算精确率-召回率曲线（PR曲线比ROC更适合不平衡数据）
precision, recall, thresholds = precision_recall_curve(y_test, y_pred)
pr_auc = roc_auc_score(y_test, y_pred)  # PR曲线下面积

# 计算F1分数和精确率-召回率平衡点
f1_scores = 2 * precision * recall / (precision + recall + 1e-7)
optimal_threshold = thresholds[np.argmax(f1_scores)]

场景验证：欺诈检测案例实战

某银行交易数据中欺诈率仅为0.3%，使用精确Logistic回归的完整实现流程：

1. 数据加载与探索

# 加载真实世界欺诈数据集
data = sm.datasets.ccard.load_pandas().data
print(f"数据集规模: {data.shape}，欺诈率: {data['fraud'].mean():.2%}")

2. 模型训练与对比

# 对比三种方法性能
models = {
    "普通逻辑回归": Logit(y, X).fit(),
    "精确Logistic回归": Logit(y, X).fit(method='exact'),
    "L1正则化逻辑回归": Logit(y, X).fit_regularized(method='l1', alpha=0.03)
}

# 输出关键指标对比
for name, result in models.items():
    print(f"{name}: AIC={result.aic:.2f}, 准确率={result.predict(X).round().eq(y).mean():.4f}")

3. 结果解释与阈值选择

# 模型系数解释
coef_df = pd.DataFrame({
    "变量": X.columns,
    "系数": result.params,
    "p值": result.pvalues
})
print(coef_df[coef_df['p值'] < 0.05])  # 仅显示显著变量

# 最优阈值确定
from statsmodels.stats.outliers_influence import variance_inflation_factor
vif = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]

知识扩展：稀有事件建模决策指南

方法选择决策树

样本量 > 1000且事件数 > 50 → 考虑L1正则化逻辑回归
样本量 < 500且事件数 < 50 → 必须使用精确Logistic回归
特征数 > 事件数 → 先进行特征选择或使用Firth回归
计算资源有限 → 使用加权稳健回归作为替代方案

常见问题解决方案

问题场景	解决方案	实现代码
完全分离警告	移除高度预测变量或使用精确方法	model.fit(method='exact')
系数标准误过大	增加惩罚项或使用贝叶斯方法	fit_regularized(alpha=0.05)
预测概率偏差	校准概率阈值或使用 Platt缩放	sklearn.calibration.CalibratedClassifierCV

进阶学习路径

1. 理论基础：深入理解条件似然估计原理，参考Cameron & Trivedi的《回归分析》
2. 源码研究：分析discrete/discrete_model.py中的精确似然计算模块
3. 扩展应用：探索贝叶斯方法在稀有事件中的应用，如PyMC3实现带先验的Logistic回归

通过合理选择统计方法，即使在数据稀缺的情况下，我们也能获得稳健的预测模型。Statsmodels提供的精确Logistic回归和正则化工具为稀有事件分析提供了可靠解决方案，实际应用中建议结合业务场景选择合适方法，并通过交叉验证评估模型稳定性。