StreamingPhish项目：基于机器学习的钓鱼域名检测实战解析

项目概述

StreamingPhish是一个专注于实时检测钓鱼域名的机器学习项目。该项目通过分析完全限定域名(FQDN)的特征，构建预测模型来区分钓鱼域名和正常域名。本文将深入解析该项目的核心实现原理和技术细节。

数据准备阶段

训练数据加载

项目使用约1.1万条已标注的域名数据进行训练，其中：

• 5473条正常域名(标记为0)
• 5977条钓鱼域名(标记为1)

def load_training_data():
    training_data = {}
    # 加载正常域名
    benign_path = "/opt/streamingphish/training_data/benign/"
    for root, dirs, files in os.walk(benign_path):
        for f in files:
            with open(os.path.join(root, f)) as infile:
                for item in infile.readlines():
                    training_data[item.strip('\n')] = 0
    # 加载钓鱼域名
    phishing_path = "/opt/streamingphish/training_data/malicious/"
    for root, dirs, files in os.walk(phishing_path):
        for f in files:
            with open(os.path.join(root, f)) as infile:
                for item in infile.readlines():
                    training_data[item.strip('\n')] = 1
    return training_data

数据加载过程确保了：

1. 去除了重复数据
2. 保持了类别平衡
3. 为监督学习提供了清晰的标签

特征工程实现

特征设计理念

项目采用了空间特征(spatial features)方法，即独立分析每个域名的特征，避免了复杂的时间序列分析。这种方法简化了特征提取过程，同时保持了良好的检测效果。

特征分类

项目混合使用了连续型和类别型特征：

特征类型	示例	说明
类别型	顶级域名(TLD)	布尔值特征
类别型	子域名中的钓鱼目标品牌	品牌匹配检测
连续型	域名熵值	测量域名的随机性
类别型	常见钓鱼关键词匹配	精确关键词检测

核心特征实现

1. 域名解析处理

def _fqdn_parts(fqdn):
    parts = tldextract.extract(fqdn)
    return {
        'subdomain': parts.subdomain,
        'domain': parts.domain,
        'tld': parts.suffix
    }

该方法使用tldextract库将域名分解为子域名、主域名和顶级域名三部分。

2. 常见主机名去除

def _remove_common_hosts(fqdn):
    first_host = fqdn.split(".")[0]
    if first_host == "*":
        fqdn = fqdn[2:]
    elif first_host == "www":
        fqdn = fqdn[4:]
    # 其他常见主机名处理...
    return fqdn

去除"www"、"mail"等常见主机名前缀，减少噪声干扰。

3. 品牌检测特征

def _fe_brand_presence(self, sample):
    result = OrderedDict()
    for item in self._brands:
        result[f"{item}_brand_subdomain"] = 1 if item in sample['subdomain'] else 0
        result[f"{item}_brand_domain"] = 1 if item in sample['domain'] else 0
    return result

检测子域名和主域名中是否包含目标品牌名称，这是钓鱼域名的重要特征。

4. 关键词匹配特征

def _fe_keyword_match(self, sample):
    result = OrderedDict()
    for item in self._keywords:
        result[item + "_kw"] = 1 if item in sample['fqdn'] else 0
    return result

检测域名中是否包含"account"、"login"等常见钓鱼关键词。

5. 域名熵值计算

def _fe_compute_domain_entropy(sample):
    domain = sample['domain']
    prob = [float(domain.count(c)) / len(domain) for c in set(domain)]
    entropy = -sum([p * math.log(p) / math.log(2.0) for p in prob])
    return {'entropy': entropy}

计算主域名的熵值，高熵值通常表示随机生成的域名，可能是钓鱼域名。

6. 编辑距离特征

def _fe_levenshtein_distance(self, sample):
    result = OrderedDict()
    for word in sample['fqdn_words']:
        for item in self._similarity_words:
            if distance(word, item) == 1:
                result[f"levenshtein_{item}"] = 1
    return result

使用Levenshtein距离检测与常见钓鱼词的相似性，识别拼写错误的钓鱼域名。

特征提取流程

def compute_features(self, fqdns, values_only=True):
    features = []
    for fqdn in fqdns:
        sample = self._fqdn_parts(fqdn=fqdn)
        sample['fqdn'] = self._remove_common_hosts(fqdn=fqdn)
        sample['fqdn_words'] = re.split('\\W+', fqdn)
        
        analysis = OrderedDict()
        for item in dir(self):
            if item.startswith('_fe_'):
                method = getattr(self, item)
                result = method(sample)
                analysis = {**analysis, **result}
        
        features.append(OrderedDict(sorted(analysis.items())))
    
    return {
        'values': [np.fromiter(item.values(), dtype=float) for item in features],
        'names': list(features[0].keys()) if not values_only else None
    }

特征提取流程实现了自动化处理，动态调用所有以"fe"开头的方法，确保特征工程的可扩展性。

技术亮点分析

1. 动态特征提取：通过方法名前缀自动发现特征提取函数，提高了代码的可维护性和扩展性。

2. 混合特征类型：结合了连续型(熵值、符号计数)和类别型(品牌匹配、关键词)特征，充分利用了不同类型特征的优势。

3. 预处理优化：通过去除常见主机名等预处理步骤，减少了噪声干扰，提高了特征质量。

4. 性能考量：在保持检测效果的同时，通过特征选择和优化控制特征维度，确保实时检测性能。

总结

StreamingPhish项目展示了一个实用的钓鱼域名检测系统实现方案。其核心价值在于：

1. 证明了基于简单空间特征的机器学习方法可以有效检测钓鱼域名
2. 提供了一套可扩展的特征工程框架
3. 平衡了检测效果和性能要求

该项目特别适合作为入门机器学习在安全领域应用的典型案例，其设计思路也可扩展到其他类似的文本分类问题中。