使用ROC曲线评估逻辑回归模型性能 - GenTang/intro_ds项目解析

什么是ROC曲线

ROC曲线（Receiver Operating Characteristic Curve）是评估二分类模型性能的重要工具。它以假正率（False Positive Rate）为横轴，真正率（True Positive Rate）为纵轴，直观展示了分类器在不同阈值下的表现。

项目背景

GenTang/intro_ds项目中的这个示例展示了如何使用Python和scikit-learn库绘制ROC曲线并计算AUC值（Area Under Curve），这是评估逻辑回归模型性能的标准方法。

代码解析

数据准备

首先从CSV文件读取数据，选取了以下特征列：

• age（年龄）
• education_num（受教育年限）
• capital_gain（资本收益）
• capital_loss（资本损失）
• hours_per_week（每周工作时长）

标签列"label"是二分类目标变量，通过transLabel函数将其转换为数值型编码（0和1）。

模型训练

使用逻辑回归模型进行训练：

1. 将数据分为训练集和测试集（80%训练，20%测试）
2. 使用LogisticRegression类训练模型
3. 在测试集上预测概率值（而非直接预测类别）

ROC曲线计算

关键步骤：

1. 使用metrics.roc_curve计算不同阈值下的FPR和TPR
2. 使用metrics.auc计算曲线下面积（AUC）
3. 通过visualizeRoc函数可视化结果

可视化实现

可视化函数visualizeRoc做了以下工作：

1. 设置中文字体显示
2. 创建图形框和子图
3. 绘制对角线参考线（红色虚线）
4. 绘制ROC曲线（黑色实线）
5. 填充曲线下方区域（灰色半透明）
6. 显示AUC值在图例中

技术要点

1. AUC值解读：AUC值范围在0.5到1之间，越接近1表示模型性能越好。0.5相当于随机猜测。

2. ROC曲线特点：

   • 曲线越靠近左上角，模型性能越好
   • 对角线表示无判别力的模型
   • 曲线下方的面积即为AUC值

3. 逻辑回归概率输出：使用predict_proba方法获取样本属于正类的概率，而非直接使用predict得到的分类结果。

实际应用建议

1. 当类别不平衡时，ROC曲线比准确率更能反映模型真实性能
2. 可以比较不同模型的ROC曲线来选择最优模型
3. AUC值提供了单一数值来评估模型整体性能
4. 在实际应用中，可根据业务需求选择ROC曲线上特定点对应的阈值

总结

通过GenTang/intro_ds项目中的这个示例，我们学习了如何使用Python实现逻辑回归模型的ROC曲线绘制和AUC计算。这是评估二分类模型性能的标准方法，特别适用于类别不平衡的场景。掌握这些技术对于数据科学家评估和比较不同模型的性能至关重要。