从告警到举证的完整留痕:合规视角下被重新定价的能力
从告警到举证的完整留痕:合规视角下被重新定价的能力
当 AI Agent 开始替安全运营团队分诊告警、给出研判结论,一个新的问题浮出水面:这个结论是怎么来的? 内部审计要问,外部监管要问,客户的安全团队也要问——它依据什么证据做出判断,推理过程能否复现,事后有没有人改过答案。过去,"AI 的判断"是一个黑盒,企业要么不敢用,要么用了却说不清;而 2026 年 10 月底登上 GitHub Trending 榜单的开源项目 AiSOC,把回答这三个问题做成了产品的一等公民:它为每一次 Agent 调查维护一个可回放、防篡改的"决策账本"(Investigation Ledger),并把整个调查过程导出为带签名的证据包。
这不是一个营销话术。通读 AiSOC 仓库(MIT 许可,当前 v20.1.0)的代码与 ADR(Architecture Decision Record)可以发现,围绕"留痕"这个主题,项目至少沉淀了三套数据库级机制、两份诚实到罕见的自我声明,以及一套带 CI 门禁的成本模型。本文从合规视角拆解这套体系:它需要记录哪些最小字段,回放材料如何被用于审计举证,以及在隐私与存储成本之间它做了哪些取舍。
一、合规场景对安全运营提出的新要求
传统 SOC 工具链的合规痛点集中在"数据侧":日志留存够不够、告警处置有没有人签字。AI 介入之后,多出了"决策侧"的合规缺口:
- AI 决策可解释性。当分诊结论直接决定告警是否关闭、响应动作是否执行时,"模型说了算"不再可接受。企业需要回答"结论的证据链是什么"。
- AI 决策可审计性。模型推理不是一次性的:同一个告警可能被重试、回放、升级调查多次,每一轮的 prompt、工具调用、中间结论都必须可追溯,且不能被事后修改。
- 人类责任边界。自动处置动作必须有人类审批,而"谁批准了什么、基于什么风险等级"本身也是留痕对象。
- 证据可携带。审计往往发生在系统之外——证据需要导出为独立文件,且在离开系统后仍可自证未被篡改。
AiSOC 项目描述里的一句话概括了它对此的定位:"a replayable decision ledger for every agent step"——对每一个 Agent 步骤提供可回放的决策账本。值得注意的是,社区对该项目的报道(CSDN 多篇深度文章、头条技术号)在强调"告警融合、ATT&CK 调查、10 倍效率"的同时,专门点名了"决策 Ledger 与公开评测 Harness"作为其区别于其他开源 SOC 的差异点。这与本文的切入点一致:当检测与响应的能力逐渐趋同,决策留痕正在成为被重新定价的能力。
二、决策链条留痕需要覆盖的最小字段集
留痕体系由两组表构成,全部定义在 Postgres 迁移文件中。
2.1 Investigation Ledger:Agent 调查的三级账本
迁移 services/api/migrations/008_investigation_ledger.sql 建了三张表,分别对应"一次调查—一个步骤—一段原文"三个粒度:
investigation_runs(一次调查一行)
| 字段 | 合规含义 |
|---|---|
case_id / raw_alert |
决策针对的对象,原始告警以 JSONB 全量留存 |
model_used |
哪个模型做的判断(如 ollama/llama3.2:3b-instruct-q4_K_M) |
status / error / iterations |
运行终态,杜绝"永远 running"的悬挂记录 |
total_tokens / total_cost_usd |
成本与用量 |
started_at / completed_at |
时间边界 |
成本字段尤其值得细看。ORM 模型 services/api/app/models/investigation.py 中,total_cost_usd 之外还并列了 measured_call_count、estimated_cost_usd、estimated_call_count、unpriced_call_count——实测成本、估算成本、未计价调用数分列存放,互不混同。写入端 services/agents/app/investigator/ledger.py 的注释直白地解释了动机:
total_cost_usdis measured cost — what the gateway reported — andNonemeans no call on this run reported one. It is not defaulted to0.0any more…
此前每个本地模型运行的调查都带着硬编码的 $0.0000 入账,"零成本"与"未测量"在数据上不可区分。对一个以"如实陈述"为设计原则的留痕系统,这是不可接受的失真。
investigation_events(一个 Agent 步骤一行,append-only)
| 字段 | 合规含义 |
|---|---|
seq + UNIQUE(run_id, seq) |
同一调查内单调递增的序号,事件顺序不可插入、不可重排 |
ts |
步骤发生时刻 |
kind |
步骤类型:llm_call、tool_call、triage_verdict、decision_reason、evidence_cited 等 |
agent / summary / payload |
谁做的、做了什么、完整结构化负载 |
input_hash / output_hash |
输入/输出内容的哈希指纹 |
duration_ms |
步骤耗时 |
这张表的迁移文件里有一个关键 DDL:
CREATE OR REPLACE FUNCTION inv_events_immutable()
RETURNS TRIGGER LANGUAGE plpgsql AS $$
BEGIN
RAISE EXCEPTION 'investigation_events rows are immutable (attempted %)' , TG_OP;
END;
$$;
CREATE TRIGGER trg_inv_events_immutable
BEFORE UPDATE OR DELETE ON investigation_events
FOR EACH ROW EXECUTE FUNCTION inv_events_immutable();
不可变不是应用层约定,而是数据库触发器:任何 UPDATE 和 DELETE 都会在存储引擎层直接抛异常,包括 DBA 手工会话。三张表同时启用 ENABLE ROW LEVEL SECURITY + FORCE ROW LEVEL SECURITY,租户隔离由 Postgres 策略而非查询代码保证。
investigation_artifacts(原文级大块)
llm_prompt、llm_response、完整报告等长文本以 content + sha256 + size_bytes 落库,event_id 外键把原文精确挂到它所解释的那个步骤上。
2.2 自动分诊路径:留痕与授权写在同一笔事务里
自动分诊是最容易被审计追问的路径——它高频、无人值守、且能直接关闭告警。ledger.py 中的 persist_auto_triage() 把整条决策链放进一个数据库事务:
- seq 0 写入产生结论的那次模型调用(
llm_call,携带input_hash/output_hash); - seq 1 写入
triage_verdict事件,payload 内含verdict、confidence、rationale、findings、proposed_actions、auto_closed; - 完整 prompt/response 原文以 artifact 挂在 verdict 事件上;
- 最后回写
alerts行的ai_score、ai_summary、triage_groundedness等列。
注释里记录了一个真实事故:seq 0 之前,"每个融合告警上的分诊决策是整个平台中唯一无法回放的决策"——这条路径根本不写 prompt。issue #1276 之后才补齐。而 auto-close 的授权判断(authorize_auto_closure)被刻意放在写库前的最后一刻而非结论产生时:
An authorization that travelled with a verdict would let a tenant disable closure and still have in-flight work close alerts behind them.
即:授权跟着策略走,不跟着结论走。租户中途关闭自动关闭开关,所有在途工作也必须服从新策略,且被拒绝的自动关闭会以 Auto-close withheld (...) 的形式明文记录进告警的 findings——拒绝本身也是留痕。
此外,整个写入以确定性 run_id 配合 ON CONFLICT (run_id, seq) DO NOTHING 实现幂等:Kafka 重放同一个分诊结果不会在账本里产生第二行结论。对审计而言,这意味着"账本行数"与"实际决策数"严格相等,重复投递不会制造虚假的证据膨胀。
2.3 人类审批与审计日志:哈希链闭环
Agent 之外的动作同样入链。raise_approval() 写入 agent_approvals 表(requested_by、risk_level、action、status),审批 ID 由 (tenant, run, action_type, target) 的 uuid5 确定性派生,重放不会生成第二个审批单。
平台级操作则进入 audit_log,迁移 services/api/migrations/043_audit_log_hash_chain.sql 为其加上哈希链:
-- * ``prev_hash`` — the ``entry_hash`` of the previous audit row
-- for the same tenant, or NULL for the first.
-- * ``entry_hash`` — sha256 over the canonical serialization of the
-- row's fields, mixed with ``prev_hash``.
每行携带前一行的 prev_hash 和自身的 entry_hash,离线重放即可证明"没有行被删除、重排或改写"。迁移注释里点明了触发器防不住的威胁:持有高权限凭据的人执行 DROP/RECREATE 或 TRUNCATE 后伪造一份仍满足触发器的历史——哈希链正是为了捕获这类"触发器合规但历史是假的"场景。
三、回放材料在内部审计与外部检查中的用法
留痕的价值在举证环节兑现。AiSOC 为此提供了从"逐步骤回放"到"可携带证据包"的完整导出面,端点定义在 services/api/app/api/v1/endpoints/investigations.py:
GET /v1/investigations/{run_id}/replay——按seq全量有序回放每一步;GET /v1/investigations/{run_id}/timeline——带决策溯源标注的时间线;GET /v1/investigations/{run_id}/explain?step=N——单步深挖:prompt、响应、证据、下游影响;GET /v1/investigations/{run_id}/summary.pdf与GET /api/v1/investigations/{run_id}/bundle——导出件。
3.1 证据包的三个"决策级"属性
证据包实现于 services/api/app/services/evidence_bundle.py,设计文档 docs/architecture/evidence-bundles.md 把三个属性逐一说明为"决策而非默认值":
① 逐字节可回放。 同一 run 两次导出的字节完全一致:键排序、分隔符固定、时间戳取账本自身值而非 now()、不记录生成主机、事件按 seq 排序。因此审计方可以不信任导出方,自己 diff、重新计算哈希、重验签名。verify_bundle() 专门设计为从 payload 重算摘要与签名,而不是比较文件里已有的两个值——后者对"payload 和摘要被一起篡改"的文件会放行。
② Prompt 只带哈希,不带原文。 prompt 里装着告警,告警里装着客户的主机名、用户名、内网地址;证据包恰恰是最可能离开客户控制范围的文件。因此包内 prompt 位置是摘要——它仍能证明"哪个 prompt 跑过"(重算对比),但不携带资产明文。细节处理也讲究:没有 prompt 的步骤不生成 hash 字段,因为空字符串的哈希会把"没有 prompt"与"prompt 恰好哈希成某个值"悄悄合并。
③ 空值不是零。 无成本遥测的 run 导出 total_cost_usd: null 并附 cost_provenance 字段;0.0 声称"这次运行是免费的",null 才表示"没人测量"。文档原话:"This repository has published the first while meaning the second before."(这个仓库曾经把第一种当第二种发布过。)
诚实的签名声明。 包内签名为 HMAC-SHA256,密钥来自部署自身。SIGNATURE_ALGORITHM 字段在包内明文注明:这是篡改证据(tamper-evidence)而非不可否认(non-repudiation)——任何持有签名密钥的人都能产出合法签名,所以它证明"导出后未被改动",不证明"只有 AiSOC 生成"。文档的推理很到位:审计方若因"signed"一词默认这是公钥签名,那是被产品方而非格式误导了,所以限定语必须随每个包一起走,而不是只写在文档里。
OCSF 版本声明同样体现了"宁可不映射也不虚报":ingest 主干发 OCSF 1.1.0,但证据包使用的 ai_agent 对象直到 1.9.0 才存在,于是包声明 1.9.0。文档结论是:"Declaring 1.1.0 while emitting an ai_agent would be a false claim about a public standard, which is worse than not mapping at all."(声明 1.1.0 却发出 ai_agent,是对公开标准的虚假陈述,比根本不映射更糟。)
3.2 内部审计的两个直接用法
- 结论与证据对齐检查。
explain?step=N让审计员对任意一步看到 prompt、工具调用与引用证据;而 verdict 行上的input_hash为 null 与否,能区分"从未调用模型"与"调用了但没记录"两种真实状态。 - 自动处置的授权复核。
agent_approvals+ verdict payload 里的auto_closed与Auto-close withheldfinding,让审计员可以逐单核对"哪些告警被自动关闭、当时策略是否允许、谁批准的"。
对外部检查,audit_export.py(services/api/app/services/audit_export.py)提供确定性 CSV(RFC 4180)与自包含 HTML 两种审计轨迹导出,导出头带 ExportContext——谁在什么时候用什么过滤条件生成的,文件自身可证。另有 aisoc_compliance_evidence 表(services/api/migrations/013_compliance_evidence.sql)把证据行直接挂到 framework + control_id(SOC2 / PCI-DSS / ISO27001 等 + 具体控制项),形成"告警 → 证据 → 控制项"的举证映射,同样带 prev_hash/payload_hash 链完整性字段。
四、留痕与隐私、存储成本之间的平衡
留痕天然与两个方向冲突:数据主体要删除,存储要花钱。AiSOC 的取舍全部落在代码与 ADR 里,可以逐条检验。
4.1 隐私侧:默认不出域,出域先假名化
docs/security/data-handling.md 按部署模式拆解数据流。默认 make up 栈内置 Ollama 本地模型,任何分诊调用都不离开基础设施;air-gapped 模式(infra/compose/docker-compose.airgap.yml)下"无证据外流"无条件成立,且有 container-egress.yml CI 任务在 --internal 网络 + DNS 黑洞下实测每个容器的出站请求(带 canary,防止"零观测"被误读为合规)。
当租户选择接入外部托管模型时,证据以假名化形式出域:内网 IP/主机名替换为 IP_3/HOST_2,用户名替换为 USER_1,token 按 run 生成、仅存内存,模型在 token 上推理,账本与控制台在本地还原真实值。文档记录了一个值得注意的细节:假名化器曾存在且通过单测,但没有任何 LLM 调用点实际调用它——文档把一个计划中的控制写成了已交付的控制。修复后门禁 test_egress_pseudonymization.py 改为驱动真实调用路径、检查假 provider 实际收到的内容,并立刻抓到一个单测发现不了的真实缺口:散文里裸露的 running as priya.raghavan 曾以明文出域。
留痕与隐私的边界划在导出件上:内部账本存全量原文(本地、RLS 隔离),离开边界的证据包只带哈希。这是"举证能力"与"数据最小化"之间的一个清晰分界。
4.2 留存侧:哈希链感知截断,删除本身也是事实
append-only 审计日志与删除请求存在结构性张力。docs/security/data-handling.md 的表述是:
The audit log is append-only by design, which is in tension with a deletion request and is the right tension to have. The hash chain is what makes the log evidence; a log that can be edited to satisfy a request is not one.
而 ADR-0013 与迁移 services/api/migrations/117_audit_retention.sql 解决了"留存窗口强制执行会毁掉哈希链"这个具体矛盾:直接删除最旧行会让重验在新首行报 prev_hash mismatch——一条完好无损的链读起来像被篡改过,对一个职责就是区分这两者而言是最坏结果。方案是 audit_retention_truncate(SECURITY DEFINER,应用角色没有 DELETE 权限,函数是唯一路径)在单事务内写 checkpoint 再删除:checkpoint 记录截断截止时间、生效的留存窗口、删除行数、被删最后一行的哈希、存活最老一行的 prev_hash——两侧哈希在未被篡改的链上必须相等,"删除"从不可见的缺口变成了审计员可读的事实。
4.3 成本侧:$/TB 是 CI 门禁下的计算值,不是口号
原始遥测的分层与成本由 ADR-0005(docs/decisions/0005-storage-consolidation.md)固化:热层 ClickHouse 30 天、温层对象存储 90 天、冷层 365 天,满足"合规保留一年"的同时压住成本;scripts/storage_cost_model.py 是单一事实源,确定性计算,提交的工作样例显示 1 TB/天摄入 ≈ $902/月 ≈ $30/原始 TB,--check 会因价目或场景变动未重新生成而让 CI 失败。留痕数据本身(三张 ledger 表)体量远小于原始事件流,且 Investigation Ledger 只在 Postgres 核心层——默认 8 GB 内存的 core 部署即包含,不额外引入存储引擎。
4.4 已知缺口:项目自己也写了
合规文章若只列成就便不可信。AiSOC 的文档主动声明了几条"做不到":没有专门的 DSR(数据主体请求)端点,问卷文档将其列为 gap 而非 feature(docs/security/data-handling.md 原文:"no such route is in the tree today");SOC 2 Type II / ISO 27001 未持有,营销口径统一为 "controls aligned to",且 CI 脚本 audit_compliance_claims.py 会在任何人重新使用无保留限定的框架名称时失败构建(ADR-0002 把"何时委托 Type I 审计"绑定到具体营收门槛上,避免为审计而审计);租户删除与审计日志不可变触发器的冲突被单独追踪、未顺手放宽。这些自我声明与仓库内的 claim-to-gate 矩阵(319 行 GATED / 5 行 PARTIAL)共同构成了一种少见的工程伦理:每个合规声明都能指到一条会失败的检查,每个没做到的事都被明说。
结语
回到标题的问题:留痕为什么"被重新定价"?在检测规则与 LLM 分诊能力快速商品化的今天,"能查出问题"只是入场券;"能向任何质疑者自证判断过程且无法抵赖、无法篡改、可离线复核",才是 AI 安全运营进入受监管环境的通行证。AiSOC 给出的答卷是:append-only 触发器 + RLS 的账本三表、同一事务内的分诊授权检查点、哈希链审计日志与链感知截断、假名化出域控制、以及逐字节可重放且诚实标注签名性质的证据包。它未必是最终形态(DSR、认证缺口都在文档里摊着),但"决策留痕"作为 SOC 产品的一等设计目标,这个方向本身已经值得安全团队在选型时把它写进评估清单。
