机器学习实战：SMS信息分类与阈值优化分析

引言

在《Monetizing Machine Learning》项目的第11章中，我们探讨了一个非常实用的机器学习应用场景——信息分类。这个案例不仅展示了如何构建一个基本的文本分类器，更重要的是，它引导我们思考一个关键业务问题：在信息检测中，我们愿意牺牲多少正常信息(ham)的准确率来确保完全拦截特定信息(spam)？

数据集准备

数据获取与加载

我们使用来自UCI机器学习仓库的SMS信息数据集。这个数据集包含5,574条信息，每条信息都被标记为"ham"(正常)或"spam"(特定)。

import pandas as pd
import csv
from urllib.request import urlopen
from zipfile import ZipFile
from io import BytesIO

# 下载并解压数据集
sms_url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/00228/smsspamcollection.zip'
url = urlopen(sms_url)
zipfile = ZipFile(BytesIO(url.read())

# 加载数据到Pandas DataFrame
sms_df = pd.read_csv(zipfile.open('SMSSpamCollection'), 
                    sep='\t', 
                    quoting=csv.QUOTE_NONE, 
                    names=["outcome", "sms"])

数据探索

让我们先看看数据的基本情况：

print(sms_df.head())
print(sms_df.describe())
print(sms_df.groupby('outcome').describe())

输出显示：

• 数据集共有5,574条信息
• 其中4,827条是正常信息(ham)，747条是特定信息(spam)
• 正常信息中有4518条是唯一的，特定信息中有653条是唯一的
• 最常见的正常信息是"Sorry, I'll call later"，出现了30次

数据清洗

我们发现数据中有403条重复记录，需要删除：

print('去重前重复记录数:', sum(sms_df.duplicated()))
sms_df = sms_df.drop_duplicates(keep='first')
print('去重后重复记录数:', sum(sms_df.duplicated()))

特征工程

为了更好地理解信息内容，我们创建了一个新特征——每条信息的单词数量：

sms_df['word_count'] = [len(x.split()) for x in sms_df['sms']]

可视化单词数量分布：

import matplotlib.pyplot as plt
sms_df['word_count'].hist().plot()
plt.show()

统计不同类别信息的单词数量：

print(sms_df.groupby('outcome')['word_count'].describe())

结果显示特定信息通常比正常信息更长，这可以作为一个有用的分类特征。

业务问题思考

在构建信息分类器时，我们需要权衡两个关键指标：

1. 真正例(True Positive)：正确识别的特定信息
2. 假正例(False Positive)：被误判为特定的正常信息

从业务角度看，我们需要回答：

我们愿意牺牲多少正常信息(允许多少假正例)来确保尽可能拦截所有特定信息？

这是一个典型的精确率-召回率权衡问题。在实际应用中：

• 过于严格的过滤器可能会让太多特定信息通过(低召回率)
• 过于宽松的过滤器可能会误判太多正常信息(低精确率)

技术实现路径

要解决这个问题，我们可以：

1. 构建一个基础的文本分类模型(如朴素贝叶斯)
2. 调整分类阈值，观察精确率和召回率的变化
3. 绘制ROC曲线和精确率-召回率曲线
4. 根据业务需求选择最佳阈值

模型构建与评估

文本向量化

首先需要将文本转换为数值特征：

from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(sms_df['sms'])
y = sms_df['outcome'].map({'ham':0, 'spam':1})

训练分类模型

使用朴素贝叶斯分类器：

from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = MultinomialNB()
model.fit(X_train, y_train)

评估模型性能

计算不同阈值下的性能指标：

from sklearn.metrics import precision_recall_curve
import numpy as np

probabilities = model.predict_proba(X_test)[:,1]
precisions, recalls, thresholds = precision_recall_curve(y_test, probabilities)

# 找到最佳平衡点
f1_scores = 2 * (precisions * recalls) / (precisions + recalls)
best_idx = np.argmax(f1_scores)
best_threshold = thresholds[best_idx]

可视化精确率-召回率曲线：

plt.plot(thresholds, precisions[:-1], label='Precision')
plt.plot(thresholds, recalls[:-1], label='Recall')
plt.axvline(best_threshold, color='k', linestyle='--')
plt.xlabel('Threshold')
plt.ylabel('Score')
plt.legend()
plt.show()

业务决策分析

通过分析曲线，我们可以：

1. 选择高召回率策略：如果目标是尽可能拦截所有特定信息，可以接受更多正常信息被误判

   • 设置较低阈值
   • 召回率高，但精确率较低

2. 选择高精确率策略：如果目标是尽量减少正常信息被误判，可以允许一些特定信息通过

   • 设置较高阈值
   • 精确率高，但召回率较低

3. 平衡策略：选择F1分数最高的阈值，在两者间取得平衡

结论

本案例展示了如何将机器学习技术应用于实际问题，并强调了业务决策在模型部署中的重要性。在信息过滤场景中：

• 没有"一刀切"的最佳解决方案
• 阈值选择应该基于具体的业务需求和用户体验考虑
• 可以针对不同用户群体设置不同阈值(如企业用户可能更注重特定信息拦截)

通过这种分析，我们不仅构建了一个技术解决方案，更重要的是建立了技术与业务价值之间的桥梁，这正是《Monetizing Machine Learning》一书的核心思想。