Cyberbro的IoC提取原理:正则表达式与tldextract如何从垃圾文本中精准提取威胁指标
Cyberbro的IoC提取原理:正则表达式与tldextract如何从垃圾文本中精准提取威胁指标
Cyberbro 是一款开源威胁情报(IoC)分析工具,能自动从杂乱无章的"垃圾文本"中精准提取 IP、域名、URL、哈希、邮箱等失陷指标,再交给多个 CTI 服务批量核查信誉。本文带你拆解它的 IoC 提取原理:正则表达式负责"广撒网"匹配各类指标,tldextract 负责"去误报"过滤掉文件扩展名这类假域名,两者协同,把原始日志清洗成结构化指标清单。
一、为什么需要"垃圾文本"提取
真实安全工作中,IoC 很少整齐排成一列,而是散落在:
- 🔥 防火墙 / 代理日志
- 📧 告警邮件正文
- 💬 聊天记录、截图 OCR
- 🐛 恶意软件样本里提取出的字符串
直接把这些"垃圾文本"丢给威胁情报引擎会失败,因为引擎需要结构化的指标。Cyberbro 的做法是在分析前加一道提取层,把非结构化文本变成「类型 + 值」的列表。
整个入口在 Web 分析接口 analyze 中,核心就两行:
ioc_fanger.fang(...) # 先清洗规整原始输入
extract_observables(...) # 再用 正则 + tldextract 提取指标
提取逻辑集中在 utils/utils.py 的 extract_observables 函数里。
二、IoC 提取的三步流水线
Cyberbro 的提取可分为三步:
原始垃圾文本
│ ① ioc_fanger 清洗规整
▼
规整文本
│ ② 正则表达式 findall(按类型广撒网)
▼
候选指标列表
│ ③ tldextract + INVALID_TLD 去误报
▼
结构化 IoC(供多引擎分析)
第 1 步:IOC Fanger 预处理
在 app.py 中,原始表单 / 请求文本会先经第三方库 ioc_fanger.fang() 做预处理,统一格式、剔除多余噪音,再进入真正的提取阶段。这一步降低了后续正则匹配的干扰面。
第 2 步:正则表达式"广撒网"
extract_observables 定义了一组按"指标类型"划分的正则,用 re.findall 一次性扫出全文中所有匹配项:
| IoC 类型 | 正则模式 | 说明 |
|---|---|---|
IPV4 |
\b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b |
4 段十进制点分地址 |
MD5 |
\b[a-fA-F0-9]{32}\b |
32 位十六进制 |
SHA1 |
\b[a-fA-F0-9]{40}\b |
40 位十六进制 |
SHA256 |
\b[a-fA-F0-9]{64}\b |
64 位十六进制 |
EMAIL |
\b[\w\.-]+@[\w\.-]+\.\w+\b |
含 @ 的邮箱 |
URL |
\bhttps?://[^\s/$.?#].[^\s<>\"'\?,;\]\[\}\{]* |
http/https 链接 |
FQDN |
\b(?:[a-zA-Z0-9-]+\.)+[a-zA-Z]{2,}\b |
完整域名 |
CHROME_EXTENSION |
\b[a-z]{32}\b |
32 位小写字母(扩展 ID) |
几个关键设计细节:
- 🎯 URL 优先提取:代码先单独把 URL 找出来(utils/utils.py),避免
example.com既被当成 URL 的一部分、又被当成独立 FQDN 重复命中。 - 🧹 去重:
seen集合保证同一值只保留一次。 - 📏 IPv6 单独处理:IPv6 格式极其复杂,Cyberbro 用一段独立的多分支正则(引用自社区)单独匹配并追加(utils/utils.py)。
💡 单条指标的类型判定另有函数 identify_observable_type,它用**锚定(带
^...$)**的正则配合re.match判断一个完整值到底属于哪一类,常用于 API 传入的单指标场景。
第 3 步:tldextract"去误报"
FQDN 正则会匹配任何形如 xxx.xxx 的字符串,于是 malware.exe、script.js、report.pdf 这类文件也会被误判成域名。
Cyberbro 用 tldextract 加一份 INVALID_TLD 黑名单来过滤:
- INVALID_TLD 是一份"常见文件扩展名"集合(
doc、exe、png、js、py、pdf……近百个)。 - 过滤逻辑在 utils/utils.py:对每个 FQDN,若它的后缀在黑名单里、或
tldextract解析不出合法后缀,就丢弃。
# 仅伪代码示意,真实逻辑见 utils/utils.py#L189-L197
for result in results:
if result.type is FQDN:
tld = result.value.split(".")[-1]
extracted = tldextract.extract(result.value)
if tld in INVALID_TLD or not extracted.suffix:
continue # 是文件/假域名,丢掉
filtered_results.append(result)
tldextract 基于**公共后缀列表(PSL)**判断 www.example.co.uk 里真正的可注册域是 example.co.uk 而非 co.uk。这个能力也被 rdap / rdap_whois 引擎复用,用于把 URL / 子域归一到注册域名再查询。
三、一个真实的提取示例
以 test_utils.py 中的测试输入为例:
http://example.com oui non pas vraiment 1.1.1.1 192.168.1.0
Cyberbro 会精准提取出 3 个结构化指标,其余法语噪音词全部忽略:
| 值 | 类型 |
|---|---|
http://example.com |
URL |
1.1.1.1 |
IPV4 |
192.168.1.0 |
IPV4 |
每个指标都被封装成 Observable 对象(含 type 与 value 两个字段),这就是后面所有引擎统一消费的数据结构。
四、提取结果如何驱动多引擎分析
提取出的 Observable 列表进入 perform_analysis:
- ⚡ 每个 IoC 起一个线程并行分析(分析线程模型);
- 🎯 按引擎的
supported_types自动筛选,只把类型匹配的引擎投喂该指标(run_engine); - 🔁 还内置 IP Bogon(保留网段)检测、反向 DNS 自动 pivoting 等增值逻辑(analyze_observable)。
换句话说:正则与 tldextract 负责"把对的指标、标对类型",引擎层负责"查信誉",两层分工让整条链路又快又准。
五、总结
| 环节 | 负责工具 | 作用 |
|---|---|---|
| 清洗 | ioc_fanger | 规整原始文本 |
| 广撒网 | 正则表达式 | 按类型匹配 IP / 哈希 / 域名 / URL / 邮箱 |
| 去误报 | tldextract + INVALID_TLD | 剔除文件扩展名等假域名 |
| 结构化 | Observable 模型 | 统一封装,供多引擎消费 |
想动手验证,可直接阅读这几个核心文件:
- 提取主逻辑:utils/utils.py
- 指标数据模型:models/observable.py
- 分析入口:app.py
- 单元测试:tests/test_utils.py
Cyberbro 正是靠这套"正则广撒网 + tldextract 精准去噪"的组合,把最杂的垃圾文本变成最干净的威胁指标清单。