基于Scikit-learn的短信垃圾邮件分类案例研究

引言

在当今数字时代，垃圾短信(Spam)已成为困扰用户的一大问题。本文将介绍如何使用Python的Scikit-learn库构建一个短信垃圾邮件分类器。我们将从数据准备开始，逐步讲解特征提取、模型训练和评估的完整流程。

数据准备

首先我们需要加载并预处理短信数据集。该数据集包含两类短信：

• 正常短信(Ham)
• 垃圾短信(Spam)

import os

with open(os.path.join("datasets", "smsspam", "SMSSpamCollection")) as f:
    lines = [line.strip().split("\t") for line in f.readlines()]

text = [x[1] for x in lines]  # 短信内容
y = [int(x[0] == "spam") for x in lines]  # 标签(0=ham, 1=spam)

查看数据分布：

import numpy as np
print('正常和垃圾短信数量:', np.bincount(y))

数据分割

将数据集划分为训练集和测试集：

from sklearn.model_selection import train_test_split

text_train, text_test, y_train, y_test = train_test_split(
    text, y, random_state=42, test_size=0.25, stratify=y)

特征提取

文本数据不能直接用于机器学习算法，需要先转换为数值特征。我们使用词袋模型(Bag-of-Words)：

from sklearn.feature_extraction.text import CountVectorizer

vectorizer = CountVectorizer()
vectorizer.fit(text_train)

X_train = vectorizer.transform(text_train)
X_test = vectorizer.transform(text_test)

CountVectorizer默认会：

1. 将文本转换为小写
2. 提取至少包含2个字母的单词
3. 移除标点符号
4. 构建词汇表

模型训练

使用逻辑回归作为分类器：

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
clf.fit(X_train, y_train)

模型评估

评估模型在测试集上的表现：

print("测试集准确率:", clf.score(X_test, y_test))
print("训练集准确率:", clf.score(X_train, y_train))

特征重要性分析

可视化对分类影响最大的词汇：

def visualize_coefficients(classifier, feature_names, n_top_features=25):
    coef = classifier.coef_.ravel()
    positive_coefficients = np.argsort(coef)[-n_top_features:]
    negative_coefficients = np.argsort(coef)[:n_top_features]
    interesting_coefficients = np.hstack([negative_coefficients, positive_coefficients])
    
    plt.figure(figsize=(15, 5))
    colors = ["red" if c < 0 else "blue" for c in coef[interesting_coefficients]]
    plt.bar(np.arange(2 * n_top_features), coef[interesting_coefficients], color=colors)
    feature_names = np.array(feature_names)
    plt.xticks(np.arange(1, 2 * n_top_features + 1), 
               feature_names[interesting_coefficients], rotation=60, ha="right")

visualize_coefficients(clf, vectorizer.get_feature_names())

蓝色柱表示与垃圾短信正相关的词汇，红色柱表示与正常短信相关的词汇。

优化特征提取

通过调整min_df参数(忽略出现次数过少的词)来优化特征：

vectorizer = CountVectorizer(min_df=2)  # 忽略出现次数少于2次的词
vectorizer.fit(text_train)

X_train = vectorizer.transform(text_train)
X_test = vectorizer.transform(text_test)

clf = LogisticRegression()
clf.fit(X_train, y_train)

print("优化后训练集准确率:", clf.score(X_train, y_train))
print("优化后测试集准确率:", clf.score(X_test, y_test))

进阶练习

1. 尝试使用TfidfVectorizer代替CountVectorizer，比较结果差异
2. 调整min_df和ngram_range参数，观察特征重要性的变化

总结

本文展示了使用Scikit-learn构建文本分类器的完整流程。通过词袋模型和逻辑回归，我们能够有效地识别垃圾短信。实际应用中，还可以尝试：

• 更复杂的文本预处理
• 其他分类算法如随机森林、SVM等
• 深度学习模型如LSTM、Transformer等

希望本案例能帮助读者理解文本分类的基本原理和实现方法。