Vigolium架构深度解析:Native Scan流水线、阶段编排与Executor设计
Vigolium架构深度解析:Native Scan流水线、阶段编排与Executor设计
Vigolium 是一款用 Go 编写的高保真 Web 漏洞扫描器(vulnerability scanner),它将确定性的原生扫描引擎与 AI 智能体分析融合在一起。本文将带你完整拆解 Vigolium 的架构:从 Native Scan 流水线的完整链路,到阶段编排(Phase Orchestration)的调度逻辑,再到核心 Executor 执行器的并发设计,帮助你在 10 分钟内建立对整个项目的系统认知。
🧭 整体架构:两种扫描范式如何协同
Vigolium 提供 324 个扫描模块(208 个主动模块 + 117 个被动模块),覆盖注入漏洞、配置错误、信息泄露、认证问题等主流 Web 安全场景。它同时支持三种运行形态:
| 形态 | 命令 | 说明 |
|---|---|---|
| CLI 扫描器 | vigolium scan |
直接扫描目标或输入文件(OpenAPI、Burp、HAR、cURL 等) |
| REST 服务器 | vigolium server |
接收实时流量、触发扫描、查询漏洞 |
| 流量转发客户端 | vigolium ingest |
将流量转发到运行中的服务器 |
架构上分为两条并行的扫描范式(详见 docs/architecture/overview.md):
- Native Scan(原生扫描):纯 Go、完全确定性,请求经过固定的阶段序列,不依赖任何 AI。这是本文的重点。
- Agentic Scan(智能体扫描):AI 驱动,包含 Query、Autopilot、Swarm、Audit 等模式,由进程内的 olium 引擎(
pkg/olium/)承载,详见 docs/architecture/agentic-scan.md。
两条范式最终都汇入同一个结果存储层(SQLite / PostgreSQL / HTML / JSONL),实现多租户的项目级隔离。
📦 Native Scan 流水线:一次扫描的完整旅程
整条流水线可以概括为「先侦察填充数据库,再评估消费数据库」的闭环:
Heuristics → Port Sweep(可选) → External Harvesting → Spidering
→ Discovery / 输入摄取 → 定向 Re-spider → DynamicAssessment → KnownIssueScan
各阶段的职责如下:
| 阶段 | 作用 |
|---|---|
| Heuristics | 轻量指纹识别与技术栈检测,识别空白页/JSON/SPA 响应 |
| Port Sweep | 可选的备用 HTTP(S) 端口发现(深度扫描或跟随子域名时启用) |
| External Harvesting | 查询 Wayback Machine 等被动源枚举历史 URL,不接触目标 |
| Spidering | 基于 Chromium 的主动爬取,JS 分析、链接与表单提取 |
| Discovery | 基于字典的端点与内容发现(deparos 引擎) |
| DynamicAssessment | 核心漏洞测试——注入、XSS、SSRF 等 |
| KnownIssueScan | 已知 CVE 与常见配置错误检查(Nuclei 模板 + 内置密钥检测器) |
阶段与策略的对应关系由 Strategy(扫描策略)控制:
- Lite:快速表面扫描,跳过重量级爬取与发现
- Balanced:默认策略,以合理限制运行所有阶段
- Deep:穷尽式扫描,更高限制、更广字典并启用外部收割
关于每个阶段的详细用法可参考 docs/architecture/native-scan.md 与 docs/native-scan/phases/ 目录。
🎛️ 阶段编排:单一事实源驱动的计划构建
Native Scan 的编排核心在 Runner(internal/runner/runner.go)。它先通过 buildInfrastructure() 一次性构建共享基础设施——通知器、服务容器、每主机限流器(默认每主机 40 并发)、HTTP 客户端、Scope 匹配器、JS 扩展引擎——然后按「原生扫描计划」顺序执行各阶段。
计划构建的关键设计在 internal/runner/native_plan.go:
- 单一词表(single source of truth):所有阶段名及其别名集中定义在一张表中。
deparos/discover归一化为discovery,spitolas归一化为spidering,dast/audit归一化为dynamic-assessment。别名解析、--only/--skip校验、错误提示全部派生自这张表,杜绝「能跑但不可发现」的漂移问题。 - 每个阶段有独立的开关闸门:例如 Port Sweep 仅在深度扫描或
--follow-subdomains时启用;External Harvest 永远不接触目标,被标记为SkipsTarget。 SendsTargetTraffic()守卫:只有真正会发请求给目标的阶段才会触发会话登录等重逻辑,避免为纯被动阶段执行不必要的登录流程。
用户侧通过 --only <phase>(隔离单阶段)与 --skip <phase>(排除指定阶段)精确控制流水线,两者互斥;--strategy 则决定哪些阶段默认启用。
DynamicAssessment 阶段值得多看一眼(docs/native-scan/phases/dynamic-assessment.md):它会创建一个带游标(cursor)的扫描记录,运行反馈循环——模块新发现的 URL 会被读回并重新扫描(默认 1 轮,可配置提高),同时通过每模块发现上限(默认 10 条)压制噪声模块,最后调用 DeduplicateFindings() 合并冗余发现。
⚙️ Executor 执行器:模块调度的中枢
Executor(pkg/core/executor.go)是整个扫描引擎的核心分发器。它的工作模型简洁而高效:
Execute()
├── feedItems() 生产者:从 InputSource 拉取工作项
└── Workers goroutines 消费者:记录级 worker 池
└── processItem()
├── 被动 per-host 模块(按序、每 origin 一次)
├── 被动 per-request 模块(有界并行扇出)
└── 主动 host/request/insertion-point 任务(共享一个有界任务池)
关键设计一:模块按作用域预分组
模块通过 ScanScope 位掩码声明自己适用的粒度(ScanScopeInsertionPoint / ScanScopeRequest / ScanScopeHost)。Executor 在构造时就把所有模块预分组到五个切片中,运行时避免逐项遍历检查——这是典型的「用初始化期开销换热路径零成本」的优化。
关键设计二:单条工作项的九步热路径
processItem() 是每条记录的必经之路,步骤包括:
- 基线 HTTP 抓取(或复用数据库中已有响应,DB 来源项跳过重复请求)
- 流量回调钩子
- Pre-hooks:JS 扩展可注入认证头、转换请求或直接跳过该条记录
- 响应体大小分类与截断(超大体按配置降级为仅被动分析)
- 模块过滤器构建与 Scope 完整状态判定
- 被动模块执行
- 持久化与 Scope 闸门(范围外记录可只存不扫)
- 资格预计算(一次计算,供所有模块复用)
- 主动模块执行
关键设计三:统一的有界并发模型
没有「三个分类各起一组 goroutine」的粗粒度模型——所有主动模块调用(无论 host 级、request 级还是插入点级)都以单个有界任务池提交,任务预算默认为 max(32, Workers*8)。插入点模块采用「模块在外、插入点在内」的循环,模块级门控只评估一次,每个合格的 (模块, 插入点) 对独立成任务。
性能细节同样考究:响应体字节从分层 sync.Pool 缓冲区复制(1 MiB / 4 MiB / 16 MiB 三档)以降低 GC 压力;插入点解析结果按请求哈希存入自适应容量的 LRU 缓存,跨模块复用;每次模块调用还有看门狗超时(被动 5 秒、主动 300 秒),超时模块不会污染流水线。
🗄️ 从发现到落库:结果发射与去重
模块返回 []*ResultEvent 后,进入 processResults() → emitResult() 流水线:Post-hooks 过滤 → 按发现上限准入 → 证据 HTTP 记录解析/持久化 → 通过批量 FindingWriter 写入数据库 → 按 kind 路由回调与通知。
去重体系分四级,层层降噪:
- 请求级:
DedupManager阻止重复请求进入模块 - 发现级(内联):项目内
finding_hash唯一约束原子拒重,重复时追加证据而非新建行 - 发现级(阶段后分组):
DeduplicateFindings()合并同(module_id, severity, matched_at)的发现 - 发现级(按值分组):同一泄露值在几十个 URL 上重复出现时收敛为单条发现
所有 HTTP 记录统一落在全反范式的 http_records 表中(pkg/database/models.go),发现则存入 findings 表并通过 junction 表多对多关联,天然支持项目级多租户。
📚 延伸阅读:深入哪个子系统?
| 你想了解的 | 对应资料 |
|---|---|
| 架构总览与三种运行模式 | docs/architecture/overview.md |
| Native Scan 端到端 12 阶段详解 | docs/architecture/native-scan.md |
| 各扫描阶段的使用指南 | docs/native-scan/phases/ |
| 阶段词表与计划构建源码 | internal/runner/native_plan.go |
| Runner 编排与基础设施构建 | internal/runner/runner.go |
| Executor 执行器完整实现 | pkg/core/executor.go |
| 324 个扫描模块的接口体系 | pkg/modules/ |
| Agentic 智能体扫描架构 | docs/architecture/agentic-scan.md |
✅ 小结
Vigolium 的架构可以浓缩为三句话:
- 流水线:「侦察填库 → 评估消费」的两段式设计,让重放扫描(resume)与反馈循环成为可能;
- 编排:单一阶段词表 + 独立闸门,使
--only/--skip/strategy 的组合永远可预测、可发现; - Executor:预分组模块、单有界任务池、分层缓冲与 LRU 缓存,把 300+ 模块的并发调度压到零冗余开销。
理解了这个骨架,你就可以进一步定制 JS 扩展、编写新模块,或将其部署为 REST 服务器接入 CI/CD 流水线,让这套原生引擎持续为你的 Web 应用保驾护航。
