Cyberbro的IoC提取原理:正则表达式与tldextract如何从垃圾文本中精准提取威胁指标

原创2026-11-02 14:09:271,370 阅读

Cyberbro的IoC提取原理:正则表达式与tldextract如何从垃圾文本中精准提取威胁指标

Cyberbro 是一款开源威胁情报(IoC)分析工具,能自动从杂乱无章的"垃圾文本"中精准提取 IP、域名、URL、哈希、邮箱等失陷指标,再交给多个 CTI 服务批量核查信誉。本文带你拆解它的 IoC 提取原理:正则表达式负责"广撒网"匹配各类指标,tldextract 负责"去误报"过滤掉文件扩展名这类假域名,两者协同,把原始日志清洗成结构化指标清单。

一、为什么需要"垃圾文本"提取

真实安全工作中,IoC 很少整齐排成一列,而是散落在:

  • 🔥 防火墙 / 代理日志
  • 📧 告警邮件正文
  • 💬 聊天记录、截图 OCR
  • 🐛 恶意软件样本里提取出的字符串

直接把这些"垃圾文本"丢给威胁情报引擎会失败,因为引擎需要结构化的指标。Cyberbro 的做法是在分析前加一道提取层,把非结构化文本变成「类型 + 值」的列表。

整个入口在 Web 分析接口 analyze 中,核心就两行:

ioc_fanger.fang(...)   # 先清洗规整原始输入
extract_observables(...)  # 再用 正则 + tldextract 提取指标

提取逻辑集中在 utils/utils.py 的 extract_observables 函数里。

二、IoC 提取的三步流水线

Cyberbro 的提取可分为三步:

原始垃圾文本
   │  ① ioc_fanger 清洗规整
   ▼
规整文本
   │  ② 正则表达式 findall(按类型广撒网)
   ▼
候选指标列表
   │  ③ tldextract + INVALID_TLD 去误报
   ▼
结构化 IoC(供多引擎分析)

第 1 步:IOC Fanger 预处理

在 app.py 中,原始表单 / 请求文本会先经第三方库 ioc_fanger.fang() 做预处理,统一格式、剔除多余噪音,再进入真正的提取阶段。这一步降低了后续正则匹配的干扰面。

第 2 步:正则表达式"广撒网"

extract_observables 定义了一组按"指标类型"划分的正则,用 re.findall 一次性扫出全文中所有匹配项:

IoC 类型 正则模式 说明
IPV4 \b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b 4 段十进制点分地址
MD5 \b[a-fA-F0-9]{32}\b 32 位十六进制
SHA1 \b[a-fA-F0-9]{40}\b 40 位十六进制
SHA256 \b[a-fA-F0-9]{64}\b 64 位十六进制
EMAIL \b[\w\.-]+@[\w\.-]+\.\w+\b 含 @ 的邮箱
URL \bhttps?://[^\s/$.?#].[^\s<>\"'\?,;\]\[\}\{]* http/https 链接
FQDN \b(?:[a-zA-Z0-9-]+\.)+[a-zA-Z]{2,}\b 完整域名
CHROME_EXTENSION \b[a-z]{32}\b 32 位小写字母(扩展 ID)

几个关键设计细节:

  • 🎯 URL 优先提取:代码先单独把 URL 找出来(utils/utils.py),避免 example.com 既被当成 URL 的一部分、又被当成独立 FQDN 重复命中。
  • 🧹 去重:seen 集合保证同一值只保留一次。
  • 📏 IPv6 单独处理:IPv6 格式极其复杂,Cyberbro 用一段独立的多分支正则(引用自社区)单独匹配并追加(utils/utils.py)。

💡 单条指标的类型判定另有函数 identify_observable_type,它用**锚定(带 ^...$)**的正则配合 re.match 判断一个完整值到底属于哪一类,常用于 API 传入的单指标场景。

第 3 步:tldextract"去误报"

FQDN 正则会匹配任何形如 xxx.xxx 的字符串,于是 malware.exe、script.js、report.pdf 这类文件也会被误判成域名。

Cyberbro 用 tldextract 加一份 INVALID_TLD 黑名单来过滤:

  • INVALID_TLD 是一份"常见文件扩展名"集合(doc、exe、png、js、py、pdf……近百个)。
  • 过滤逻辑在 utils/utils.py:对每个 FQDN,若它的后缀在黑名单里、或 tldextract 解析不出合法后缀,就丢弃。
# 仅伪代码示意,真实逻辑见 utils/utils.py#L189-L197
for result in results:
    if result.type is FQDN:
        tld = result.value.split(".")[-1]
        extracted = tldextract.extract(result.value)
        if tld in INVALID_TLD or not extracted.suffix:
            continue   # 是文件/假域名,丢掉
    filtered_results.append(result)

tldextract 基于**公共后缀列表(PSL)**判断 www.example.co.uk 里真正的可注册域是 example.co.uk 而非 co.uk。这个能力也被 rdap / rdap_whois 引擎复用,用于把 URL / 子域归一到注册域名再查询。

三、一个真实的提取示例

以 test_utils.py 中的测试输入为例:

http://example.com oui non pas vraiment 1.1.1.1 192.168.1.0

Cyberbro 会精准提取出 3 个结构化指标,其余法语噪音词全部忽略:

值 类型
http://example.com URL
1.1.1.1 IPV4
192.168.1.0 IPV4

每个指标都被封装成 Observable 对象(含 type 与 value 两个字段),这就是后面所有引擎统一消费的数据结构。

四、提取结果如何驱动多引擎分析

提取出的 Observable 列表进入 perform_analysis:

  • ⚡ 每个 IoC 起一个线程并行分析(分析线程模型);
  • 🎯 按引擎的 supported_types 自动筛选,只把类型匹配的引擎投喂该指标(run_engine);
  • 🔁 还内置 IP Bogon(保留网段)检测、反向 DNS 自动 pivoting 等增值逻辑(analyze_observable)。

换句话说:正则与 tldextract 负责"把对的指标、标对类型",引擎层负责"查信誉",两层分工让整条链路又快又准。

五、总结

环节 负责工具 作用
清洗 ioc_fanger 规整原始文本
广撒网 正则表达式 按类型匹配 IP / 哈希 / 域名 / URL / 邮箱
去误报 tldextract + INVALID_TLD 剔除文件扩展名等假域名
结构化 Observable 模型 统一封装,供多引擎消费

想动手验证,可直接阅读这几个核心文件:

Cyberbro 正是靠这套"正则广撒网 + tldextract 精准去噪"的组合,把最杂的垃圾文本变成最干净的威胁指标清单。

登录后查看全文
cyberbro