逻辑回归模型实践指南：基于GenTang/intro_ds项目的收入预测分析

引言

逻辑回归是机器学习中最基础也是最常用的分类算法之一。本文将通过GenTang/intro_ds项目中的实际案例，详细介绍如何使用Python实现逻辑回归模型，并分析其统计性质。我们将以收入预测为应用场景，展示从数据探索到模型评估的完整流程。

数据准备与探索

数据加载与预处理

首先，我们需要加载并预处理数据。项目中使用的数据集包含以下关键特征：

• 年龄(age)
• 教育年限(education_num)
• 资本收益(capital_gain)
• 资本损失(capital_loss)
• 每周工作时间(hours_per_week)
• 收入标签(label，分为">50K"和"<=50K"两类)

def readData(path):
    data = pd.read_csv(path)
    cols = ["age", "education_num", "capital_gain", "capital_loss", "hours_per_week", "label"]
    return data[cols]

数据可视化

在建模前，我们需要对数据进行初步探索。通过直方图可以直观了解各变量的分布情况：

def visualData(data):
    data[["age", "hours_per_week", "education_num", "label_code"]].hist(
        rwidth=0.9, grid=False, figsize=(8, 8), alpha=0.6, color="grey")
    plt.show()

交叉分析

通过交叉报表分析变量间的关系：

def analyseData(data):
    # 计算education_num与label的交叉报表
    cross1 = pd.crosstab(pd.qcut(data["education_num"], [0, .25, .5, .75, 1]), data["label"])
    # 计算hours_per_week与label的交叉报表（归一化）
    cross2 = pd.crosstab(pd.cut(data["hours_per_week"], 5), data["label"])
    cross2_norm = cross2.div(cross2.sum(1).astype(float), axis=0)

逻辑回归模型构建

模型训练

使用statsmodels库构建逻辑回归模型：

def trainModel(data):
    formula = "label_code ~ age + education_num + capital_gain + capital_loss + hours_per_week"
    model = sm.Logit.from_formula(formula, data=data)
    re = model.fit()
    return re

模型统计性质分析

训练完成后，我们可以分析模型的统计性质：

def modelSummary(re):
    # 输出整体统计结果
    print(re.summary())
    # 检验特定系数是否显著
    print(re.f_test("education_num=0"))
    print(re.f_test("education_num=0.32, hours_per_week=0.04"))

模型解释

理解模型结果的关键指标：

def interpretModel(re):
    # 计算优势比(Odds Ratio)
    conf = re.conf_int()
    conf['OR'] = re.params
    print(np.exp(conf))
    # 计算边际效应
    print(re.get_margeff(at="overall").summary())

模型预测与评估

预测实现

def makePrediction(re, testSet, alpha=0.5):
    testSet["prob"] = re.predict(testSet)
    testSet["pred"] = testSet.apply(lambda x: 1 if x["prob"] > alpha else 0, axis=1)
    return testSet

性能评估

使用查准率、查全率和F1分数评估模型：

def evaluation(re):
    bins = np.array([0, 0.5, 1])
    label = re["label_code"]
    pred = re["pred"]
    tn, fp, fn, tp = np.histogram2d(label, pred, bins=bins)[0].flatten()
    precision = tp / (tp + fp)
    recall = tp / (tp + fn)
    f1 = 2 * precision * recall / (precision + recall)

完整流程整合

将所有步骤整合为一个完整的分析流程：

def logitRegression(data):
    data = transLabel(data)
    visualData(data)
    analyseData(data)
    trainSet, testSet = train_test_split(data, test_size=0.2, random_state=2310)
    re = trainModel(trainSet)
    modelSummary(re)
    interpretModel(re)
    re = makePrediction(re, testSet)
    evaluation(re)

关键知识点总结

1. 优势比(Odds Ratio)：表示自变量每增加一个单位，事件发生比的变化倍数。大于1表示正相关，小于1表示负相关。

2. 边际效应：表示自变量变化一个单位对预测概率的直接影响，比回归系数更直观。

3. 模型评估指标：

   • 查准率(Precision)：预测为正的样本中实际为正的比例
   • 查全率(Recall)：实际为正的样本中被正确预测的比例
   • F1分数：查准率和查全率的调和平均数

4. 统计检验：通过F检验可以验证特定系数是否显著，或者多个系数是否同时满足特定假设。

实际应用建议

1. 在实际应用中，可以尝试调整分类阈值(alpha参数)，在查准率和查全率之间寻找平衡。

2. 对于类别不平衡问题，可以考虑使用加权逻辑回归或采样技术。

3. 逻辑回归模型的可解释性强，适合需要理解变量影响的业务场景。

通过本文的完整示例，读者可以掌握逻辑回归从数据探索到模型评估的全过程，为实际业务问题提供数据驱动的解决方案。