Vigolium架构深度解析:Native Scan流水线、阶段编排与Executor设计

原创2026-10-15 11:59:561,399 阅读

Vigolium架构深度解析:Native Scan流水线、阶段编排与Executor设计

Vigolium 是一款用 Go 编写的高保真 Web 漏洞扫描器(vulnerability scanner),它将确定性的原生扫描引擎与 AI 智能体分析融合在一起。本文将带你完整拆解 Vigolium 的架构:从 Native Scan 流水线的完整链路,到阶段编排(Phase Orchestration)的调度逻辑,再到核心 Executor 执行器的并发设计,帮助你在 10 分钟内建立对整个项目的系统认知。

Vigolium 漏洞扫描器 Workbench 仪表盘:显示扫描状态、严重级别分布与 Agent 会话

🧭 整体架构:两种扫描范式如何协同

Vigolium 提供 324 个扫描模块(208 个主动模块 + 117 个被动模块),覆盖注入漏洞、配置错误、信息泄露、认证问题等主流 Web 安全场景。它同时支持三种运行形态:

形态 命令 说明
CLI 扫描器 vigolium scan 直接扫描目标或输入文件(OpenAPI、Burp、HAR、cURL 等)
REST 服务器 vigolium server 接收实时流量、触发扫描、查询漏洞
流量转发客户端 vigolium ingest 将流量转发到运行中的服务器

架构上分为两条并行的扫描范式(详见 docs/architecture/overview.md):

  • Native Scan(原生扫描):纯 Go、完全确定性,请求经过固定的阶段序列,不依赖任何 AI。这是本文的重点。
  • Agentic Scan(智能体扫描):AI 驱动,包含 Query、Autopilot、Swarm、Audit 等模式,由进程内的 olium 引擎(pkg/olium/)承载,详见 docs/architecture/agentic-scan.md。

两条范式最终都汇入同一个结果存储层(SQLite / PostgreSQL / HTML / JSONL),实现多租户的项目级隔离。

📦 Native Scan 流水线:一次扫描的完整旅程

整条流水线可以概括为「先侦察填充数据库,再评估消费数据库」的闭环:

Heuristics → Port Sweep(可选) → External Harvesting → Spidering
→ Discovery / 输入摄取 → 定向 Re-spider → DynamicAssessment → KnownIssueScan

各阶段的职责如下:

阶段 作用
Heuristics 轻量指纹识别与技术栈检测,识别空白页/JSON/SPA 响应
Port Sweep 可选的备用 HTTP(S) 端口发现(深度扫描或跟随子域名时启用)
External Harvesting 查询 Wayback Machine 等被动源枚举历史 URL,不接触目标
Spidering 基于 Chromium 的主动爬取,JS 分析、链接与表单提取
Discovery 基于字典的端点与内容发现(deparos 引擎)
DynamicAssessment 核心漏洞测试——注入、XSS、SSRF 等
KnownIssueScan 已知 CVE 与常见配置错误检查(Nuclei 模板 + 内置密钥检测器)

阶段与策略的对应关系由 Strategy(扫描策略)控制:

  • Lite:快速表面扫描,跳过重量级爬取与发现
  • Balanced:默认策略,以合理限制运行所有阶段
  • Deep:穷尽式扫描,更高限制、更广字典并启用外部收割

关于每个阶段的详细用法可参考 docs/architecture/native-scan.md 与 docs/native-scan/phases/ 目录。

🎛️ 阶段编排:单一事实源驱动的计划构建

Native Scan 的编排核心在 Runner(internal/runner/runner.go)。它先通过 buildInfrastructure() 一次性构建共享基础设施——通知器、服务容器、每主机限流器(默认每主机 40 并发)、HTTP 客户端、Scope 匹配器、JS 扩展引擎——然后按「原生扫描计划」顺序执行各阶段。

计划构建的关键设计在 internal/runner/native_plan.go:

  • 单一词表(single source of truth):所有阶段名及其别名集中定义在一张表中。deparos/discover 归一化为 discovery,spitolas 归一化为 spidering,dast/audit 归一化为 dynamic-assessment。别名解析、--only/--skip 校验、错误提示全部派生自这张表,杜绝「能跑但不可发现」的漂移问题。
  • 每个阶段有独立的开关闸门:例如 Port Sweep 仅在深度扫描或 --follow-subdomains 时启用;External Harvest 永远不接触目标,被标记为 SkipsTarget。
  • SendsTargetTraffic() 守卫:只有真正会发请求给目标的阶段才会触发会话登录等重逻辑,避免为纯被动阶段执行不必要的登录流程。

用户侧通过 --only <phase>(隔离单阶段)与 --skip <phase>(排除指定阶段)精确控制流水线,两者互斥;--strategy 则决定哪些阶段默认启用。

DynamicAssessment 阶段值得多看一眼(docs/native-scan/phases/dynamic-assessment.md):它会创建一个带游标(cursor)的扫描记录,运行反馈循环——模块新发现的 URL 会被读回并重新扫描(默认 1 轮,可配置提高),同时通过每模块发现上限(默认 10 条)压制噪声模块,最后调用 DeduplicateFindings() 合并冗余发现。

⚙️ Executor 执行器:模块调度的中枢

Executor(pkg/core/executor.go)是整个扫描引擎的核心分发器。它的工作模型简洁而高效:

Execute()
├── feedItems()                 生产者:从 InputSource 拉取工作项
└── Workers goroutines          消费者:记录级 worker 池
    └── processItem()
        ├── 被动 per-host 模块(按序、每 origin 一次)
        ├── 被动 per-request 模块(有界并行扇出)
        └── 主动 host/request/insertion-point 任务(共享一个有界任务池)

关键设计一:模块按作用域预分组

模块通过 ScanScope 位掩码声明自己适用的粒度(ScanScopeInsertionPoint / ScanScopeRequest / ScanScopeHost)。Executor 在构造时就把所有模块预分组到五个切片中,运行时避免逐项遍历检查——这是典型的「用初始化期开销换热路径零成本」的优化。

关键设计二:单条工作项的九步热路径

processItem() 是每条记录的必经之路,步骤包括:

  1. 基线 HTTP 抓取(或复用数据库中已有响应,DB 来源项跳过重复请求)
  2. 流量回调钩子
  3. Pre-hooks:JS 扩展可注入认证头、转换请求或直接跳过该条记录
  4. 响应体大小分类与截断(超大体按配置降级为仅被动分析)
  5. 模块过滤器构建与 Scope 完整状态判定
  6. 被动模块执行
  7. 持久化与 Scope 闸门(范围外记录可只存不扫)
  8. 资格预计算(一次计算,供所有模块复用)
  9. 主动模块执行

关键设计三:统一的有界并发模型

没有「三个分类各起一组 goroutine」的粗粒度模型——所有主动模块调用(无论 host 级、request 级还是插入点级)都以单个有界任务池提交,任务预算默认为 max(32, Workers*8)。插入点模块采用「模块在外、插入点在内」的循环,模块级门控只评估一次,每个合格的 (模块, 插入点) 对独立成任务。

性能细节同样考究:响应体字节从分层 sync.Pool 缓冲区复制(1 MiB / 4 MiB / 16 MiB 三档)以降低 GC 压力;插入点解析结果按请求哈希存入自适应容量的 LRU 缓存,跨模块复用;每次模块调用还有看门狗超时(被动 5 秒、主动 300 秒),超时模块不会污染流水线。

🗄️ 从发现到落库:结果发射与去重

模块返回 []*ResultEvent 后,进入 processResults() → emitResult() 流水线:Post-hooks 过滤 → 按发现上限准入 → 证据 HTTP 记录解析/持久化 → 通过批量 FindingWriter 写入数据库 → 按 kind 路由回调与通知。

去重体系分四级,层层降噪:

  1. 请求级:DedupManager 阻止重复请求进入模块
  2. 发现级(内联):项目内 finding_hash 唯一约束原子拒重,重复时追加证据而非新建行
  3. 发现级(阶段后分组):DeduplicateFindings() 合并同 (module_id, severity, matched_at) 的发现
  4. 发现级(按值分组):同一泄露值在几十个 URL 上重复出现时收敛为单条发现

所有 HTTP 记录统一落在全反范式的 http_records 表中(pkg/database/models.go),发现则存入 findings 表并通过 junction 表多对多关联,天然支持项目级多租户。

📚 延伸阅读:深入哪个子系统?

你想了解的 对应资料
架构总览与三种运行模式 docs/architecture/overview.md
Native Scan 端到端 12 阶段详解 docs/architecture/native-scan.md
各扫描阶段的使用指南 docs/native-scan/phases/
阶段词表与计划构建源码 internal/runner/native_plan.go
Runner 编排与基础设施构建 internal/runner/runner.go
Executor 执行器完整实现 pkg/core/executor.go
324 个扫描模块的接口体系 pkg/modules/
Agentic 智能体扫描架构 docs/architecture/agentic-scan.md

✅ 小结

Vigolium 的架构可以浓缩为三句话:

  • 流水线:「侦察填库 → 评估消费」的两段式设计,让重放扫描(resume)与反馈循环成为可能;
  • 编排:单一阶段词表 + 独立闸门,使 --only/--skip/strategy 的组合永远可预测、可发现;
  • Executor:预分组模块、单有界任务池、分层缓冲与 LRU 缓存,把 300+ 模块的并发调度压到零冗余开销。

理解了这个骨架,你就可以进一步定制 JS 扩展、编写新模块,或将其部署为 REST 服务器接入 CI/CD 流水线,让这套原生引擎持续为你的 Web 应用保驾护航。

登录后查看全文
vigolium