基于Scikit-learn的无监督异常检测技术解析

异常检测概述

异常检测(Anomaly Detection)是机器学习中一个重要任务，旨在识别数据集中与大多数数据显著不同的观测值。根据Johnson(1992)和Hawkins(1980)的定义，异常值是指与数据集其余部分不一致或明显偏离其他观测值的样本。

异常检测的三种类型

1. 监督式异常检测：

   • 同时有正常数据和异常数据的标签
   • 类似于稀有类别挖掘或不平衡分类问题

2. 半监督式异常检测(新颖性检测)：

   • 只有正常数据可用于训练
   • 算法仅学习正常数据的特征

3. 无监督异常检测(离群值检测)：

   • 没有标签，训练集包含正常和异常数据
   • 假设异常数据非常罕见

无监督异常检测方法实践

1. 数据准备

我们首先生成一个二维高斯混合数据集用于可视化不同算法的效果：

from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

X, y = make_blobs(n_features=2, centers=3, n_samples=500, random_state=42)
plt.scatter(X[:, 0], X[:, 1])
plt.show()

2. 基于密度估计的异常检测

核密度估计(KDE)是一种常用的密度估计方法：

from sklearn.neighbors.kde import KernelDensity
from scipy.stats.mstats import mquantiles

# 高斯核密度估计
kde = KernelDensity(kernel='gaussian').fit(X)
kde_X = kde.score_samples(X)  # 获取样本的对数似然

# 设置异常阈值(95%分位数)
alpha_set = 0.95
tau_kde = mquantiles(kde_X, 1. - alpha_set)

可视化密度估计结果，红色等高线表示异常边界：

Z_kde = kde.score_samples(grid).reshape(xx.shape)
plt.contour(xx, yy, Z_kde, levels=tau_kde, colors='red', linewidths=3)
plt.scatter(X[:, 0], X[:, 1])
plt.show()

3. 单类支持向量机(One-Class SVM)

在高维数据中，密度估计方法效率会下降，此时可以使用One-Class SVM：

from sklearn.svm import OneClassSVM

nu = 0.05  # 异常值比例上限
ocsvm = OneClassSVM(kernel='rbf', gamma=0.05, nu=nu).fit(X)
X_outliers = X[ocsvm.predict(X) == -1]  # 预测为异常的点

One-Class SVM的支持向量构成了异常点，我们可以可视化决策函数：

Z_ocsvm = ocsvm.decision_function(grid).reshape(xx.shape)
plt.contour(xx, yy, Z_ocsvm, levels=[0], colors='red', linewidths=3)
plt.scatter(X[:, 0], X[:, 1])
plt.scatter(X_outliers[:, 0], X_outliers[:, 1], color='red')
plt.show()

4. 孤立森林(Isolation Forest)

孤立森林基于随机树构建，异常点会在较浅的深度被隔离：

from sklearn.ensemble import IsolationForest

iforest = IsolationForest(n_estimators=300, contamination=0.10).fit(X)
Z_iforest = iforest.decision_function(grid).reshape(xx.shape)

plt.contour(xx, yy, Z_iforest, levels=[iforest.threshold_], colors='red', linewidths=3)
plt.scatter(X[:, 0], X[:, 1], s=1.)
plt.show()

实际应用：手写数字异常检测

我们使用MNIST手写数字数据集演示异常检测的实际应用：

from sklearn.datasets import load_digits

digits = load_digits()
data = digits.images.reshape((len(digits.images), -1))
X_5 = data[digits.target == 5]  # 选择数字5的样本

使用孤立森林检测异常数字：

iforest = IsolationForest(contamination=0.05).fit(X_5)
iforest_X = iforest.decision_function(X_5)  # 异常得分

# 显示最正常的样本
X_strong_inliers = X_5[np.argsort(iforest_X)[-10:]]
# 显示最异常的样本
X_outliers = X_5[iforest.predict(X_5) == -1]

总结

本文介绍了三种主要的无监督异常检测方法：

1. 核密度估计：适合低维数据，直观易懂
2. 单类SVM：适合高维数据，通过核技巧处理复杂分布
3. 孤立森林：基于树的方法，计算效率高，适合大规模数据

每种方法都有其适用场景，在实际应用中需要根据数据特点和需求选择合适的方法。异常检测在欺诈检测、工业质检、医疗诊断等领域都有广泛应用。