Cyberbro核心功能全解读:从垃圾日志中自动提取IoC并查询37+威胁情报源
Cyberbro核心功能全解读:从垃圾日志中自动提取IoC并查询37+威胁情报源
Cyberbro 是一款开源的威胁情报(Threat Intelligence)与 IoC 分析平台:你只需把"垃圾输入"——原始告警日志、邮件正文、任意混杂文本——整段粘贴进去,它会自动从中提取 IP、域名、URL、文件哈希等 IoC(网络入侵指标),并多线程并发查询 37+ 家威胁情报源,最终输出可搜索、可导出、可回溯的统一分析报告。它面向新手和普通用户设计,无需部署 IntelOwl 那样的复杂方案,Docker 一条命令即可跑起来。
1 分钟了解 Cyberbro 是什么
Cyberbro 的核心思路可以概括为一句话:"粘贴 → 自动提取 → 多源查询 → 统一报告"。
- Easy Input(轻松输入):直接粘贴原始日志或 IoC,自动解析和提取,无需手工格式化;
- Multi-Service Checks(多服务查询):对 IP、哈希、域名、URL、Chrome 扩展 ID 跨多家威胁情报服务做信誉查询;
- Fast Processing(快速处理):每个 IoC 独立线程并发查询,速度快;
- Automated Pivoting(自动转向):通过 reverse DNS 和 RDAP/Whois 自动发现关联的域名、URL 与 IP;
- Comprehensive Reports(完整报告):结果支持高级搜索、过滤、导出 CSV/Excel,并保存在 SQLite 中可随时回溯。
整体流程入口是 app.py,核心调度逻辑位于 utils/analysis.py;结果页面模板见 templates/results.html。
核心功能一:从"垃圾日志"中自动提取 IoC
这是 Cyberbro 最具特色的功能。传统做法是人工从日志里复制出每个 IP、域名再逐个查询,繁琐且容易漏;Cyberbro 内置了类型识别器(定义见 models/observable.py),能从任意杂乱文本中识别并提取以下类型的 IoC:
| IoC 类型 | 示例 | 说明 |
|---|---|---|
| IP 地址 | 192.0.2.55 |
支持 IPv4 与 IPv6 |
| 域名 (FQDN) | evil-site.com |
具备高级 TLD 识别,可精准提取根域名 |
| URL | http://example.com/a.php?id=1 |
自动从中分离出域名与 IP |
| 文件哈希 | d41d8cd98f00b204… |
支持 MD5、SHA1、SHA256 |
| Chrome 扩展 ID | abcdefghijklmnopqrstuvwxyzabcdef |
可反查扩展名称与 CTI 数据 |
| 邮箱地址 | admin@phish-target.com |
自动提取其中的域名部分用于查询 |
几个实用的"智能"处理细节:
- URL 自动拆解:粘贴完整 URL 时,会自动解析出其中的域名(FQDN)继续参与查询;
- 高级 TLD 提取:准确识别根域名(root domain),避免把
co.uk这类多段后缀切错; - Bogon 检测:识别出内网/保留地址段(Bogon),避免对无效 IP 浪费查询;
- 邮箱域名提取:从邮箱地址中直接取出域名进行威胁情报查询。
也就是说,SOC 分析师收到一封钓鱼邮件告警,可以不做任何手工整理,把整段原始数据扔进 Cyberbro 即可。
核心功能二:多线程并发查询 + 自动 Pivoting
提取出 IoC 后,Cyberbro 按"阶段"组织查询流程(实现见 utils/analysis.py 中的 perform_analysis):
阶段 1:直接查询(Pre-Pivot)
对每个 IoC 启动独立线程,并发调用所选引擎(如 VirusTotal、AlienVault OTX 等)做信誉查询,互不阻塞,整体耗时取决于最慢的一个源。
阶段 2:自动 Pivoting(反向 DNS 转向)
以域名/URL 为例:reverse_dns 引擎(engines/reverse_dns.py)会先把域名解析为 IP,随后自动"转向"——把后续引擎的查询对象替换为该 IP,让原本只能查域名的引擎也能查到这个 IP 的信誉。
阶段 3:域名注册信息补全
rdap_whois 引擎(engines/rdap_whois.py)通过 RDAP/Whois 拉取注册商、注册日期、过期时间、abuse 投诉邮箱等关键信息——这些在事件响应(IR)中写报告、发投诉邮件时非常有用。
核心功能三:37+ 威胁情报源引擎
全部引擎在 engines/ 目录下实现、由 utils/load_engines.py 统一注册。按用途可分为六大类:
1. IP 信誉与主机资产
| 引擎 | 查询什么 |
|---|---|
| AbuseIPDB | IP 恶意行为评分、报告数 |
| Shodan | 开放端口、服务、漏洞情报 |
| AlienVault OTX | IP/域名/哈希/URL 多类型信誉 |
| IPapi / IPinfo | IP 归属地、运营商、企业归属 |
| IPquery | IP 情报 |
| Google DNS | 基于 DNS 的 IP 信息查询 |
| CriminalIP | IP 威胁评分 |
| Bad ASN Check | 基于 ASN 黑名单的风险评分(含后台风险分算法) |
| Spur.us | IP 滥用数据 |
2. 域名、证书与 Whois
| 引擎 | 查询什么 |
|---|---|
| crt.sh | 该域名历史签发的 SSL 证书(发现隐藏子域) |
| RDAP / Whois | 注册信息、abuse 联系方式 |
| Google Safe Browsing | 是否为钓鱼/恶意软件站点 |
| PhishTank | 已验证的钓鱼站点 |
| Ransomware.Live | 域名是否在勒索软件活跃列表 |
3. 威胁情报与文件分析
| 引擎 | 查询什么 |
|---|---|
| VirusTotal | 哈希/域名/IP/URL 病毒引擎扫描结果 |
| ThreatFox | 恶意软件 IoC 库 |
| Abusix | 滥用/恶意 IoC 匹配 |
| ScanMalware | 恶意软件扫描 |
| ReversingLabs Spectra Analyze | 沙箱行为分析 |
| Hudson Rock | 威胁情报 API |
| WebScout | 多源 IoC 聚合 |
| Hister | Hister 平台情报 |
4. 特色能力:Chrome 扩展 ID 与 Microsoft 租户
这是 Cyberbro 区别于其他 CTI 工具的两点:
- Chrome 扩展 ID 反查(engines/chrome_extension.py):输入 32 位扩展 ID,可查出扩展名称、发布者并联动威胁情报。钓鱼攻击常借助伪装扩展,这项能力很有实战价值;
- Microsoft Tenant Check(engines/ms_tenant_check.py):输入域名或邮箱,判断其是否属于 Microsoft Entra ID 租户、是否配置 Office 365 MX 记录——免费且无需 API Key。文档见 docs/engines/MS-Tenant-Check-Engine.md。
5. EDR 与企业 SOC 集成
| 引擎 | 用途 |
|---|---|
| Microsoft Defender for Endpoint (MDE) | 在自家终端 EDR 中查该 IoC 是否出现过 |
| CrowdStrike Falcon | 同上,CrowdStrike 环境 |
| MISP / MISP Feedback | 对接自家 MISP 平台,并可回传反馈 |
| DFIR-IRIS | 在 DFIR-IRIS 案件库中检索关联 |
| OpenCTI | 对接 OpenCTI 情报平台 |
6. 免费数据源与"务实"的补充情报
- Google / Grep.App(GitHub 代码搜索):Cyberbro 会借助搜索引擎和代码搜索来挖掘被遗漏的 IoC,例如找出哪个 GitHub 项目里硬编码了这个恶意域名;
- IoC.One(HTML/PDF 报告抓取):直接拉取针对该 IoC 的第三方研究报告;
- 无需任何 API Key 即可使用的引擎:reverse_dns、rdap_whois、crt.sh、google_dns、google_safe_browsing、phishtank、ransomware_live、ms_tenant_check 等,官方承诺不配置任何密钥也能使用全部免费引擎。
每个引擎的完整名字与参数说明见 docs/quick-start/API-usage-and-engine-names.md;各情报源 API Key 的申请教程汇总在 docs/api-keys/ 目录,例如 docs/api-keys/Get-VirusTotal-API-key.md。
核心功能四:报告、历史与 API
- 结果报告:统一的表格 + 卡片视图(templates/results.html),支持关键字过滤、行展开、一键复制;可导出 CSV/Excel;
- 历史记录:分析结果保存在 SQLite 中(utils/history.py),随时回看;还有实验性的图谱视图(templates/graph.html);
- API 接口:三个端点即可完成程序化调用(文档见 docs/quick-start/API-usage-and-engine-names.md):
# 1. 提交分析(返回 analysis_id)
curl -X POST "http://localhost:5000/api/analyze" \
-H "Content-Type: application/json" \
-d '{"text": "192.0.2.55 evil-site.com", "engines": ["reverse_dns", "rdap_whois"]}'
# 2. 轮询状态
curl "http://localhost:5000/api/is_analysis_complete/<analysis_id>"
# 3. 拉取结果
curl "http://localhost:5000/api/results/<analysis_id>"
配合社区开发的 Cyberbro CLI、浏览器扩展(Cyberbro Analyzer) 以及 MCP 集成,可以把 Cyberbro 嵌入日常工作流甚至让 LLM 帮你生成定制报告。详见 docs/integrations/Cyberbro-CLI.md、docs/integrations/Cyberbro-browser-extension.md 和 docs/integrations/Use-Cyberbro-MCP-for-LLM.md。
快速上手:两种方式跑起 Cyberbro
方式一:Docker(推荐,最省心)
git clone https://gitcode.com/gh_mirrors/cy/cyberbro
cd cyberbro
cp .env.sample .env # 按需填写 API Key,可全部留空
docker compose up # 加 -d 后台运行
然后访问 http://127.0.0.1:5000 即可开始使用。注意 docker compose 需安装 compose 插件(不是 docker-compose)。
方式二:传统 Python 部署
pip install -r requirements.txt
gunicorn -c prod/gunicorn.conf.py app:app # 生产模式
python3 app.py # 开发调试模式
新手配置要点
- API Key 可留空:没有密钥就复制
.env.sample为.env并把可选项留空,免费引擎照常可用; - 密钥安全:
.env含敏感信息,切勿提交到代码库;团队环境建议配合 SOPS/Vault(docs/quick-start/Reload-secrets-and-configuration.md); - 代理支持:在
.env中配置PROXY_URL即可让所有引擎走代理; - 缓存:在引擎组级别内置缓存机制,重复查询更快;
- 生产部署:建议配置反向代理 + WAF(Caddy 示例见 docs/integrations/Reverse-Proxy-configuration-‐-Caddy.md),进阶选项见 docs/quick-start/Advanced-options-for-deployment.md。
总结:Cyberbro 适合谁
| 场景 | Cyberbro 的价值 |
|---|---|
| 新手学习 IoC 分析 | 粘贴即查,零门槛理解威胁情报工作流 |
| SOC 值班响应 | 告警原文直接投喂,多源并发出报告 |
| 钓鱼邮件研判 | 邮箱域名提取 + PhishTank + Safe Browsing + 证书历史 |
| 勒索软件追踪 | Ransomware.Live 名单 + RDAP abuse 邮箱定位投诉渠道 |
| 企业环境 | MDE/CrowdStrike/MISP/OpenCTI 一键联动自家安全平台 |
| 自动化 | 3 端点 REST API + CLI + MCP,轻松接入脚本与 LLM |
一句话总结:Cyberbro 把"从杂乱日志里找 IoC、逐个网站查信誉"这件重复劳动,压缩成了一次粘贴、一次点击。如果你正在寻找一个轻量、易部署、覆盖 37+ 情报源的 IoC 查询平台,Cyberbro 值得放进你的工具箱。