ISLR-Python项目实战：线性判别分析(LDA)与二次判别分析(QDA)详解

引言

判别分析是统计学和机器学习中一类重要的分类方法，特别适用于类别型响应变量的预测问题。本文将基于《统计学习导论》(ISLR)中的经典案例，通过Python实现线性判别分析(LDA)和二次判别分析(QDA)的完整流程，帮助读者掌握这两种强大的分类技术。

数据准备与预处理

我们首先导入必要的Python库并加载Smarket数据集，该数据集包含2001-2005年标准普尔500指数的每日百分比收益率：

import pandas as pd
import numpy as np
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis as QDA
from sklearn.metrics import confusion_matrix, classification_report

# 加载数据
df = pd.read_csv('Smarket.csv', usecols=range(1,10), index_col=0, parse_dates=True)

数据预处理的关键步骤是将数据集划分为训练集(2005年之前)和测试集(2005年)：

X_train = df[:'2004'][['Lag1','Lag2']]  # 使用前两天的收益率作为特征
y_train = df[:'2004']['Direction']      # 市场方向(Up/Down)作为目标变量

X_test = df['2005':][['Lag1','Lag2']]
y_test = df['2005':]['Direction']

线性判别分析(LDA)实现

模型训练与参数解释

LDA假设不同类别的协方差矩阵相同，通过寻找线性决策边界进行分类：

lda = LDA()
model = lda.fit(X_train, y_train)

模型训练后，我们可以查看几个关键参数：

1. 先验概率(Prior Probabilities)：

print(model.priors_)
# 输出示例：[0.49198397 0.50801603]

这表示训练集中市场下跌和上涨的天数比例分别为49.2%和50.8%。

2. 类别均值(Group Means)：

print(model.means_)

结果显示市场上涨和下跌时，前两天收益率的平均表现存在明显差异。

3. 判别系数：

print(model.coef_)

这些系数构成了线性判别函数，用于计算判别分数。

模型评估

使用测试集评估模型性能：

pred = model.predict(X_test)
print(confusion_matrix(y_test, pred))
print(classification_report(y_test, pred))

混淆矩阵和分类报告提供了准确率、召回率等关键指标。值得注意的是，LDA在这个数据集上的准确率约为56%，略高于随机猜测。

后验概率分析

LDA不仅可以预测类别，还能输出属于每个类别的概率：

pred_p = model.predict_proba(X_test)

我们可以调整决策阈值（默认为0.5）来优化模型表现。例如，只在我们非常确信市场会下跌时才预测"Down"：

print(np.unique(pred_p[:,1]>0.9, return_counts=True))

二次判别分析(QDA)实现

QDA模型特点

QDA放松了LDA的等协方差假设，允许不同类别有自己的协方差矩阵，从而可以捕捉更复杂的决策边界：

qda = QDA()
model2 = qda.fit(X_train, y_train)

性能比较

pred2 = model2.predict(X_test)
print(confusion_matrix(y_test, pred2))
print(classification_report(y_test, pred2))

有趣的是，QDA在这个数据集上的准确率接近60%，优于LDA。这表明市场数据中的类别协方差可能存在显著差异，QDA的二次决策边界更适合这个问题。

实战案例：Carseats数据集分析

为了巩固所学知识，我们可以将LDA/QDA应用于Carseats数据集，预测商品在商店中的货架位置(Bad/Good/Medium)：

df2 = pd.read_csv('Carseats.csv')
# 数据预处理和模型构建代码...

这个练习可以帮助我们：

1. 处理多类别分类问题
2. 选择合适的预测变量
3. 评估模型在更复杂场景下的表现

技术要点总结

1. LDA与QDA的选择：

   • LDA假设各类别协方差矩阵相同，决策边界为线性
   • QDA允许不同协方差矩阵，决策边界为二次曲线
   • 当特征数较多或训练样本较少时，LDA通常更稳定

2. 模型评估要点：

   • 始终使用独立的测试集评估模型
   • 考虑业务需求调整分类阈值
   • 对比混淆矩阵和多种评估指标

3. 实际应用建议：

   • 金融数据通常具有非线性特征，QDA可能表现更好
   • 对于小样本问题，LDA的偏差-方差权衡通常更有利
   • 考虑将LDA/QDA与其他分类方法(如逻辑回归)进行对比

通过本教程，读者应该能够理解LDA和QDA的核心思想，掌握Python实现方法，并能够根据实际问题选择合适的判别分析方法。