热度二次爬坡之后,这类项目还值得投入时间吗

原创2026-11-02 17:08:101,828 阅读
文章标签:人工智能AI Agent网络安全后端前端

热度二次爬坡之后,这类项目还值得投入时间吗

2026 年 10 月 30 日的 GitHub 每日精选榜单里,AiSOC 排在第 6 位:5,128 star、539 fork、当日 +318。往前翻,2025 年 12 月到 2026 年 3 月,中文技术社区已经有过一轮密集的“10 分钟上手”“深度剖析”“全攻略”式文章。同一批功能被写了两遍,热度曲线出现了第二个坡。

对读者来说,真正要回答的不是“它火不火”,而是“我现在投进去的一个周末、一周或者一个季度,能不能换来可复用的东西”。这个问题不能靠 star 数回答,只能靠仓库里能被证伪的痕迹回答。下面全部结论都可以用本文给出一条命令复核。

一、两次爬坡的驱动力完全不同

第一轮传播的形态非常整齐:同一批搜索结果的 15 篇文章里,有 9 篇的发布日集中在 2025 年 12 月 13 日至 14 日两天,作者名是 gitblog_00657、gitblog_01197、gitblog_00338 这类同构账号,标题模板固定为“快速部署 / 深度剖析 / 实战配置 / 全流程教程”。它们的摘要几乎是 README 功能列表的直译:告警融合、紫队演练、AI 辅助分诊、MITRE ATT&CK 调查、Docker 一键部署、50+ 连接器。

这类内容的共同特征是没有失败案例。没有一篇写“我照它做了,第 3 步起不来”,也没有一篇给出可复现的观测数据。它描述的是仓库自我宣称的形状,而不是使用者在真实环境撞到的东西。

更值得警惕的是文中引用的数字。其中一篇写“告警效率 +70%、误报率 −60%”,这两个数字在仓库里找不到任何对应的门禁。而仓库能拿出的最响亮的同类指标——75.3% 的告警压缩率——已经被自己撤回,理由是产出该数字的 harness 使用 (rule_id, host, user) 四层分组,而产品实际调用的 RawAlert.correlation_key() 使用 {tenant}:{entity}:{tactic},两者根本不是同一个算法。撤回还被固化成了一道 CI 门禁,见 check_alert_reduction_claims.py:任何页面只要再次声称“旧 harness 复刻了生产分组逻辑”就会变红。

第二轮爬坡的性质不一样。10 月 30 日的榜单条目是一条通用“11 个 Python 项目”清单,AiSOC 是其中一个条目,指标是它自己那一行的独立读数:5,128 star、539 fork、+318/日。fork 与 star 之比约 10.5%,对安全工具来说偏高;这既可能意味着有人真的在改它,也可能只是“存一份备用”的习惯。仅凭 star 无法区分这两种人。

所以第一件该做的事,是看项目自己怎么对待“采用率”这个问题。仓库里有一份 adoption_snapshot.py,它的文件头注释写得比任何宣传文案都实在:

The project has no usage telemetry it can actually read: the CLI's opt-in endpoint (telemetry.tryaisoc.com) does not resolve … Honesty rule: a source that cannot be read is recorded as null with a note saying why. It is never recorded as zero, because "nobody downloaded it" and "we could not ask" are different facts.

这份采集器的产物不放在 main,而是放在不受保护的 adoption-data 分支,原因写在 docs/adoption/README.md 里:main 开了分支保护且没有 bypass actor,工作流直接 push 会 GH006,用 GITHUB_TOKEN 开的 PR 又永远等不到 required checks。一个项目愿意承认“我测不到自己的采用率”,比再涨 1,000 star 更能说明它不会骗你。

二、维护健康度:数能被证伪的东西,不要数 star

把仓库当仪表盘读,能拿到的读数如下(每条都附了复核方式,你可以自己跑一遍再决定信不信):

信号 本仓库读数 复核命令
版本段数 50 个,从 1.0.0(2026-04-30)到 20.1.0(2026-10-22) grep -c '^## \[' CHANGELOG.md
节奏 7.x 基本月更(06-29 / 07-13 / 08-04),9 月下旬开始按天发 同上
破坏性变更 2026 年 10 月的 19 天里 4 次 RELEASES.md 的 BREAKING 段
CI 门禁脚本 123 个 check_*.py ls scripts/check_*.py | wc -l
工作流 93 个;main 上 28 个 required context .github/required-checks.json
声明-门禁矩阵 324 行:319 gated、5 partial、0 ungated python3 scripts/project_stats.py
测试文件 792 个 Python 测试文件 + 78 个前端测试文件 find tests services packages -name 'test_*.py' | wc -l
服务 / 连接器 19 个服务、16 core + 17 optional 容器、87 个连接器 同上脚本输出

高频发布在项目早期是好事,说明缺陷以天为单位在关。但这个仓库的版本号已经不能当兼容性契约用了:从 7.7.0 到 20.1.0 是 11 周 13 个 major。对想 pin 版本的下游,唯一可靠的动作是逐条读 CHANGELOG 的 BREAKING 段。10 月这四次值得抄下来当样本:

  • v16.0.0(10-03):cases 表被删,行迁到 aisoc_cases,你自己写的 Grafana SQL 会直接 relation does not exist;
  • v18.0.0(10-09):permission_conditions、privilege_grants、workload_identities 三张表此前“有表无读者”,这次开始真的改变鉴权结果——原先惰性的条件开始拒绝,原先惰性的授权开始生效;
  • v19.0.0(10-12):PATCH /api/v1/alerts/{id} 以前对五个可写字段之外的输入返回 200 并静默丢弃,现在返回 422 并指出正确的路由;
  • v20.0.0(10-21):POST /api/v1/cases/{case_id}/comments 不再接受请求体里的 is_system,改为忽略。

四条全是“以前静默成功、现在显式失败”的形状。这对集成方是成本,对判断者却是信号:一个愿意把静默错误改成显式错误的项目,通常也愿意把过高的宣传改低。

门禁的规模本身不稀奇,缺的是“门禁能不能红”。这个仓库在这件事上给了可执行的定义,见 docs/audit/MATURITY_DEFINITION.md:一行能力要被标为 Stable,必须在每个 PR 上跑、必须驱动真实生产路径、并且必须有一个通过“弄坏它并看着它变红”验证过的负向对照。README 里给了最直观的一例:检测规则集的证明支持 --prove-gate,回退 Windows 连接器后,要求全部 1,687 条 Windows 规则集体沉默。只会变绿的门禁等于没有门禁,这句话在这里是能跑的。

反面证据也必须同等对待,否则上面的表就是新的营销:

  • 声明矩阵里仍有 5 行 PARTIAL,且都写清了缺口:Azure Event Hubs 的 Capture fixture 是照 Avro 规范手搓的、从未对真实存储账户跑过;osquery 包在 CI 里没有真机执行;CI 里没有 ClickHouse,冷查询只验证了作业生命周期;TAXII 服务没被第三方客户端打过;helm install 没在真集群上跑过。
  • npm 三个包至今未发布,KNOWN_UNPUBLISHED 直接写在 readme_gates.py 里;PyPI 五个包已在 2026-10-07 之后真实解析。
  • v20.1.0 的说明里明写 Postgres 的 chaos leg 是“by design 红着”,对应 issue #1446 仍未关。
  • README 自己也承认:没有任何一家托管模型供应商被真实跑过,因为没有可用的付费 key,所以按模型的表格里写的是 not measured 而不是 0。

还有一处容易被忽略的时效陷阱:README 顶部链接的“what actually works”是 docs/audit/REPOSITORY_REALITY.md,它的审计日期是 2026-09-23、针对 v8.1.0;另一份 docs/audit/REALITY_REPORT.md 停在 7.5.0。而 VERSION 是 20.1.0。**这份“现状文档”比当前版本落后 12 个 major。**读它的正确方式是当作历史切片,当前行为以 CHANGELOG 和代码为准。

三、退潮之后真正留下的三样东西

热度会退,下面三样不会,因为它们与 star 无关,只与工程判断有关。

1. 把 README 当成需要编译的产物

docs/audit/CLAIM_TO_GATE_MATRIX.md 的第一条规则是:no row may say NO GATE。一条 NO GATE 的行只有两种结局——要么删掉这句声明,要么补一道门禁。矩阵现在 324 行、319 行 gated、0 行 ungated,由 check_claim_gate_matrix.py 在 CI 里守着。

更便宜、更容易被抄走的是 readme_gates.py:它把 README 的四个属性变成断言——行数不超过 250;文中引用的每个 npm/PyPI 包必须在 registry 上真实解析;引用的每个 demo 资源必须在磁盘上存在;正文里重复出现的数字(可执行规则数、门禁计数、文档声称的当前版本)必须与产出它的产物一致。

这套做法的移植成本极低,收益却很直接:你不需要一个 324 行的矩阵才能开始,只需要先写一条“README 里提到的包必须真的能装上”。门禁工具本身也有约定,gate_toolkit.py 提供 self_test_if_requested(),让每个门禁都能用注入违例的方式自证“我确实会红”。

2. 决策账本的表设计与失败姿态

AI Agent 做安全运营,最容易被质疑的是“你说它想了什么,凭什么”。这个仓库的答案是一张 append-only 表,见 008_investigation_ledger.sql:investigation_runs 记录一次调查,investigation_events 记录每一步(由触发器保证 append-only,并用 UNIQUE(run_id, seq) 保证每条 run 内序号单调唯一),investigation_artifacts 存完整的 LLM 转录与工具 I/O。三张表全部 ENABLE + FORCE ROW LEVEL SECURITY,策略是 tenant_id = current_tenant_id()。

写入侧的实现见 ledger.py,里面有一个值得照抄的二分:

  • 日常记账是 best-effort:数据库不可达就记日志继续,Agent 的首要职责是调查,不是当记账服务;
  • 但 persist_auto_triage 这类“结果必须落地”的路径,遇到真实数据库错误会抛 LedgerPersistError,让调用方重试或进死信;
  • 而没有 DATABASE_URL 不算错误,直接 no-op 返回 False。

“缺依赖”和“依赖坏了”是两件事,混在一起就会得到一个既不报警也不工作的系统。

AiSOC 控制台中 AI 分诊结论的展示:模型给出的判定、置信度与理由被原样呈现,并标注是哪条路径作答

3. 诚实的度量口径

这是最值钱的部分,也是最难抄的部分。

撤回一个数字,并让它在三个界面同时消失。 75.3% 告警压缩率的撤回不是一个 commit 就完事的:它同时出现在文档页、React 组件和对比表里,check_alert_reduction_claims.py 强制三处口径一致。文件头的注释把话说得很白:一个只落到一个界面的更正不叫更正,叫“仓库自相矛盾,读者看到哪页就引用哪页”。

给 holdout 设阈值等于对着 holdout 调参。 注入防护在调优语料上达到 98.1%(53/54),但在防护冻结之后新写的 28 条 payload 上只有 7.1%(2/28);加固之前是 3.6%。仓库对此的处理是:CI 只 gate “这个测量确实发生了、记录确实描述了当前代码树”,故意不给 holdout 设下限。理由是原文那句——给留出集设目标,就是在给它下“照着调”的指令。这个 7.1% 是整篇文章里我最希望读者带走的一个数字:它比任何“检出率 98%”都更接近真实。

模型能力按实测写,不按档位猜。 核心镜像自带的是钉死版本的 llama3.2:3b-instruct-q4_K_M,约 2 GB,纯 CPU 推理。README 给的读数是:50 条告警里,在把回复约束成 JSON 之前,可用输出出现 44 次;约束之后 50 次。不是“提升 10 倍”,是 44/50 → 50/50。

“规则数量”和“规则能开火”是两件事。 今天的读数是 7,015 条在盘上、2,535 条可执行。真正有教学价值的是那个从 833 条涨上来的过程:833 条 native + 1,770 条从 Sigma 编译而来,而 Windows 事件把载荷嵌在 System/EventData 下一层,引擎扁平化时读不到 CommandLine 和 Image——公共 Sigma 语料里最常用的两个字段永远是 None。所以无论规则写得多对,Windows 规则都开不了火。修的是连接器,引擎和匹配器一个字节都没改。这个故事解释了为什么“我们有 6000+ 规则”这类说法在安全圈里长期不可信。

AiSOC 的调查轨道视图:每一步工具调用与证据都可回放到具体的账本条目

四、时间预算:分四档,每档都有明确的止损条件

下面的数字全部来自仓库自身(make doctor 会核对的项,以及 README 与 compose 文件里的配置),不是我估的。

档位 投入 命令 你能得到什么 谁不该来
试味 30 分钟 pip install aisoc-sandbox && aisoc-sandbox demo 一个告警走完 Detect → Triage → Hunt → Respond,离线、零依赖、< 5 秒、无需 key,输出决策账本 想看“能不能检测”的人——它用确定性推理替代真实 LLM,工具是模拟执行
验证 半天 make doctor → make up → make smoke 16 个容器的真实管道;make smoke 逐阶段打印 PASS;make stats 输出 87 连接器 / 2,535 可执行规则 / 68 hunts 只有 8 GB 内存或 20 GB 空闲磁盘不够的机器
评估 1–2 天 make up-full;接一个真实源 加上 ClickHouse、Neo4j、OpenSearch 的事件湖与实体图;跑 hunts/dcsync-replication-rights.yaml 这类闭环 schema 的狩猎 想直接连自有 SIEM 又不愿写 normalize 的人
深度投入 一周以上 改门禁、加连接器、写检测 你要么需要自托管 + 可审计账本,要么想把 claim→gate 搬到自己的仓库 只想“用起来”的人

几处容易踩的实测细节,先知道能省半天:

  • make up 不只是 docker compose up。它会先 env 生成 .env 里的十五个密钥,再 _ports 处理端口冲突——5432 被本机 Postgres 占用、11434 被本机 Ollama 占用都不会让安装失败,控制台地址会跟着改;README 记录的读数是 64 秒到登录态。
  • 首次启动会下载约 2 GB 的模型进一个 volume,只有 make clean 能清掉。这不是可选项,是“无 key 也能出真实分诊结论”的代价。
  • make smoke 的 10 个阶段里有一条是“匿名写入被拒绝”。把 make smoke 当健康检查,等于顺带验了一次鉴权。
  • 想跑 aisoc-sandbox 之外的所有四档,前提都是 Docker Compose v2 + python3 (3.9+) + bash。Windows 有独立的一行安装脚本,它做的是同一套事,包括调用 scripts/ensure_env.py 而不是简单 cp .env.example .env——因为这个差异曾让全新 Windows 安装停在“api 没起来”且没有任何提示。

止损条件

把它写成可执行规则,比写成“建议谨慎”有用:

  1. 你无法让任何一道门禁变红。 如果你改坏了东西而 CI 依然全绿,说明你还没读懂它在测什么,此刻不要提交 PR,也不要基于这套门禁做判断。
  2. 一个季度内你需要跨过的 BREAKING 超过 2 次。 说明你不是它的目标用户,或者你该 pin 版本并只读 CHANGELOG 的 ### BREAKING。
  3. 你的遥测不在这 87 个连接器的覆盖里,且你不打算写 normalize。 README 自己写着 “Not able to see telemetry you have not connected. There is no discovery.” 这种情况下你会得到“没有数据”,而它长得和“没有威胁”一模一样。
  4. 你在找 drop-in 的 SIEM 替代品。 同一个“What AiSOC is not”段落里也写了:它做关联和调查,不替代长期日志留存与合规检索。

结论

第二次爬坡不改变任何技术事实,它只改变注意力的分配:第一轮把 README 翻译成了中文,第二轮把项目放进了通用榜单。这两件事都不构成“值得投入”的理由。

值得投入的理由只有两个,而且都能被验证。要么你需要一个自托管、每一步都能导出成签名证据包的安全运营管道——那就按上面的“验证”档跑一次 make up + make smoke,用 make stats 对一遍数字,再决定是否接真实源。要么你不做安全,但你想要一套“声明必须被门禁覆盖、门禁必须能红、测不到就写 not measured”的工程习惯——那么 CLAIM_TO_GATE_MATRIX.md、gate_toolkit.py 和 check_alert_reduction_claims.py 这三份文件,一个下午就能读完,且不会因为你哪天不再用 AiSOC 而失效。

至于“热度退潮后还剩什么”——它留下的是 7.1% 这个数字,和一群愿意把它写进 CI 的人。前者告诉你 AI 安全 Agent 现在真实的位置,后者决定这个项目半年后还在不在。这两件事都比 5,128 重要。

登录后查看全文
AiSOC