Agent Governance Toolkit:OWASP LLM Top 10 风险覆盖映射与源码级防御缺口分析
Agent Governance Toolkit:OWASP LLM Top 10 风险覆盖映射与源码级防御缺口分析
本文基于 Agent Governance Toolkit 仓库中的合规映射文档,完整梳理该工具集对 OWASP Top 10 for LLM Applications 十类风险的覆盖情况:哪些防御机制已落地(如正则注入检测、MCP 网关五段式管道、执行环与 kill switch)、哪些仍停留在"检测存在但未接入强制执行链路"的结构性缺口,以及 2025 版新增风险类别的覆盖现状。读完本文,你可以获得一张逐风险、逐模块、可溯源到具体文件的能力对照表,并理解该工具集"检测与执行分离"这一核心架构取舍及其推荐收敛路径。
免责声明(继承原文档): 这是内部自评估映射,不是经认证的认证或第三方审计,仅记录工具集能力与所引用标准的对齐情况。组织必须自行委托合格审计方完成合规评估。
映射版本: 1.0 | OWASP 参考: OWASP Top 10 for LLM Applications | 工具集版本: v1.1.0 | 最后更新: 2026 年 4 月
版本说明: 本映射使用 OWASP Top 10 for LLM Applications v1.1 (2023) 的风险分类。2025 修订版对多个风险重新编号(如 Sensitive Information Disclosure 从 LLM06 移至 LLM02)、重命名部分条目(Model Theft → Unbounded Consumption,Overreliance → Misinformation),并新增两个类别:System Prompt Leakage(2025 版 LLM07) 与 Vector and Embedding Weaknesses(2025 版 LLM08)。本文在文末单独给出这两个新类别的覆盖说明。
执行摘要与覆盖总览
工具集对 10 个风险中的 9 个具备检测机制,但其中 6 个共享一个结构性缺口:检测模块以独立工具的形式存在,却未接入 BaseIntegration 强制生命周期。一次集中的集成工作——通过 AgentControl 标志位控制的可选自动装配——可同时收敛多个风险。目前最强的强制点在于插件/工具安全(MCPGateway)与执行权限控制(执行环、kill switch),最大的短板在输出净化与敏感数据保护。
| # | OWASP 风险 | 覆盖 | 关键机制 | 关键缺口 |
|---|---|---|---|---|
| LLM01 | Prompt Injection | Partial | 6 组正则模式 + base64 解码 + MCP 工具扫描 | 纯正则、无语义检测;opt-in 而非默认接入 |
| LLM02 | Unexpected Code Execution | Partial | 基于 AST 的 Python 代码校验 + 漂移检测 | post_execute() 永不阻断;仅 Python;无文本输出净化 |
| LLM03 | Training Data Poisoning | Partial | MemoryGuard 保护运行时记忆存储 | 训练流水线不在范围内;MemoryGuard 未接入适配器 |
| LLM04 | Model Denial of Service | Partial | token/调用/超时限额 + 并发信号量 + 熔断器 | TokenBudgetTracker 仅告警;RateLimiter 未接入;无载荷大小限制 |
| LLM05 | Supply Chain Vulnerabilities | Partial | SBOM + Ed25519 签名 + MCP 指纹 + ContentHashInterceptor | SupplyChainGuard 仅报告;签名 opt-in |
| LLM06 | Sensitive Information Disclosure | Partial | MCP 网关 PII 模式 + 代码生成密钥检测 + 出口策略 | 仅 2 个 PII 模式;无输出文本过滤;审计日志 PII 脱敏未完成 |
| LLM07 | Insecure Plugin Design | Partial | MCPGateway 五段管道 + rug-pull 检测 + schema 滥用扫描 | JSON Schema 组合($ref/oneOf)未检查;网关与扫描器脱节 |
| LLM08 | Excessive Agency | Partial | 执行环 + kill switch + 流氓检测 + scope 守卫 | kill switch 仅手动触发;检测模块仅告警、未自动接入强制 |
| LLM09 | Overreliance | Partial | 漂移检测 + 置信度阈值 + 对抗评估器 | 无事实核查;置信度属性从未被框架填充 |
| LLM10 | Model Theft | Gap | N/A | 范围外——工具集包装 LLM API,不托管模型 |
结论:0 项完全缓解,9 项部分覆盖,1 项范围外缺口。
映射方法采用结构化多视角分析并带独立冗余:(1) 对全部 4 个包做两轮独立代码扫描,产出 file:line 级缓解证据,分歧项提交深查;(2) 对每项声称的缓解做绕过(bypass)对抗验证;(3) 合规审计交叉验证引用准确性、证据完整性与遗漏子风险;(4) 战略评审做纵深防御与企业就绪度评估。证据标准为行级代码引用加对抗绕过测试。
横切发现:检测存在,强制执行缺失
十项风险中有六项共享同一结构模式:检测机制作为独立工具存在,但未接入 BaseIntegration 生命周期。映射文档列出的完整缺口清单如下:
| 模块 | 它能做什么 | 它没做什么 |
|---|---|---|
PromptInjectionDetector |
扫描文本中的注入模式 | 未被任何适配器的 pre_execute() 调用 |
TokenBudgetTracker |
跟踪 token 用量、触发告警回调 | 从不阻断执行;is_exceeded 标志无人检查 |
RateLimiter |
令牌桶限流,提供 allow() |
未接入任何适配器或拦截器 |
BoundedSemaphore |
带背压的并发限制器 | 未集成进 BaseIntegration.pre_execute() |
ScopeGuard |
评估文件/行数范围 | 返回建议性字符串,无人检查决策 |
SupplyChainGuard |
扫描供应链风险 | 返回 findings,无阻断管道 |
MCPSecurityScanner |
检测工具投毒、rug-pull、schema 滥用 | 结果不被 MCPGateway 决策消费 |
post_execute() |
计算漂移分数、发出事件 | 始终返回 (True, None)——永不阻断 |
注意: 以上结论适用于大多数适配器使用的 BaseIntegration 路径。MAF(Microsoft Agent Framework)适配器通过其 FunctionMiddleware 管道为流氓检测、治理策略与执行环强制提供了接入,但只覆盖 Semantic Kernel 集成路径。
源码印证:这些"未接入"并非空口
post_execute()确实始终放行:在 base.py 中,post_execute负责在工具执行后做漂移评估并发出DRIFT_DETECTED事件(事件常量定义于 base.py#L58,发出逻辑位于 base.py#L577),但返回值恒为放行,符合文档"advisory only"的定性。- 限流与并发组件本身实现完备但未接线:rate_limiter.py 中的
RateLimiter(类定义于 L28)提供线程安全的allow(agent_id)判定(L86);BoundedSemaphore实现了带背压阈值的并发计数与拒绝(base.py#L234)。两者均具备生产能力,只是没有宿主在pre_execute路径上调用它们——从源码结构看,缺口确实在"装配"而非"实现"。 - 与之相对,
ContentHashInterceptor(base.py#L175)是一个已接入强制路径的范例:strict 模式下,未注册内容哈希的工具调用直接返回allowed=False,且哈希不匹配同样拒绝(base.py#L189-L213)。这与CompositeInterceptor的"顺序执行、先拒绝者胜出"语义(base.py#L216-L231)一起,构成了把检测模块接入强制链路时可直接复用的拦截器基建。
建议(继承原文档): 在 BaseIntegration.__init__() 中增加可选自动装配,由 AgentControl 标志控制,可同时收敛 LLM01、LLM02、LLM04、LLM06、LLM07 的缺口。推荐的拦截器顺序:先限流,再 scope guard,最后做内容检查——避免对反正会被限流的请求执行昂贵的正则。
LLM01:Prompt Injection(提示注入)
攻击者通过精心构造的输入操纵 LLM 行为、覆盖系统指令,直接注入或经由被投毒的外部内容间接注入。
覆盖:Partial
缓解机制
PromptInjectionDetector(prompt_injection.py#L457)——6 组编译期正则模式组,覆盖直接覆盖、分隔符攻击、角色扮演/越狱、上下文操纵、多轮升级与编码攻击;支持 strict/balanced/permissive 三档灵敏度。- Base64 载荷解码——解码 base64 候选段并检查可疑关键词(ignore、override、system、password、exec、eval、import os 等)。
- 金丝雀令牌检测——通过植入系统提示中的 canary 串检测泄露,CRITICAL 威胁级、confidence=1.0。
- MCP 工具描述扫描(mcp_security.py)——复用
PromptInjectionDetector扫描 MCP 工具描述,捕获嵌入工具元数据的注入。 ConversationGuardian(conversation_guardian.py)——normalize_text()去除同形字/leetspeak/零宽字符,提升抗规避能力。- LlamaFirewall 集成(llamafirewall.py)——将 Meta 的 LlamaFirewall 与 Agent OS 检测链式组合,支持 CHAIN_BOTH、VOTE_MAJORITY 等 4 种模式,未安装时优雅降级。
- 阻断模式(base.py)——对工具参数支持 substring、regex、glob 三类模式阻断。
- Fail-closed——检测错误时按 CRITICAL 威胁级、
is_injection=True处理。
源码级深入:检测管线如何工作
当前 prompt_injection.py 的模式定义与文档描述一一对应:直接覆盖(如 ignore (all) previous instructions、you are now)定义于 L289-L297,分隔符攻击组还包括各模型特殊 token(<|im_start|>、<a href="https://link.gitcode.com/i/9ef33784a55aadd22e14682c8457a3ac" target="_blank">INST]、<<SYS>> 等,[L299-L312),角色扮演组覆盖 jailbreak、DAN mode 等(L314-L322)。灵敏度阈值集中配置:strict=0.3、balanced=0.5、permissive=0.7,permissive 档最低威胁级提升到 HIGH(L365-L375)。
detect() 的主流程(L560 起)是:blocklist 快速路径 → 逐类模式检查(直接覆盖/分隔符/编码/角色扮演/上下文操纵/canary/多轮)→ 自定义模式 → 灵敏度过滤 → allowlist 后过滤 → 输出 DetectionResult(含最高威胁级、注入类型、置信度与匹配模式列表)。异常路径明确 fail-closed:任何检测异常都记录为 CRITICAL 且 is_injection=True(L576-L593),与文档第 358-373 行的引用行为一致。
值得注意的两点源码级细节:
- 模式可外置:
PromptInjectionConfig+load_prompt_injection_config()(L382-L450)支持从 YAML 加载整套detection_patterns,仓库中提供示例配置 prompt-injection-safety.yaml;无配置构造检测器时会显式告警内置规则为"样例规则"。 - 证据后端永不阻断:
DetectionEvidenceBackend/EmbeddingSignalBackend(L137-L177)实现了 ADR-0015 式的可选、evidence-only 检测后端(含 embedding kNN 信号,实现见 prompt_injection_embedding.py)。EvidenceSignal.__post_init__在构造期强制blocks=False、拒绝非有限分数——即嵌入类语义信号只能作为附加证据,永远不会改变正则规则已做出的判定。从源码结构看,这为"语义检测作为升级路径"预留了安全边界。
另外,映射文档曾指出 DetectionConfig.allowlist 缺少输入校验(issue #744);而当前源码中 DetectionConfig.__post_init__(L238-L266)已对 allowlist/blocklist 条目做空值与最小长度(3 字符)校验并冻结列表——可推断该建议在映射文档撰写后的版本中已落地,阅读映射结论时需注意这一时间差。
覆盖边界
| 技术类别 | 覆盖 | 说明 |
|---|---|---|
| 直接英文覆盖指令 | 是 | 6 组编译正则匹配已知短语 |
| Base64 编码载荷 | 是 | 解码后检查可疑关键词 |
| Canary 令牌泄露 | 是 | 植入 canary 串以 CRITICAL 级检出 |
| 语义等价改写 | 否 | 正则匹配字面短语,不理解语义意图 |
| 非英文注入 | 否 | 模式全为英文,无多语言归一 |
| 经工具输出的间接注入 | 否 | 检测器只扫输入,不扫工具返回 |
| URL 编码 / ROT13 | 否 | 仅覆盖 base64 与 hex/unicode 转义 |
| allowlist 配置滥用 | 否(映射时点) | 当时 DetectionConfig.allowlist 缺输入校验(见 #744;当前源码已加校验) |
建议: 通过 AgentControl.prompt_injection_detection 标志将检测器接入 BaseIntegration.pre_execute()(正则默认开启);将 LlamaFirewall 文档化为语义检测的推荐升级路径;让 PromptInjectionDetector 复用 ConversationGuardian 的归一化逻辑;为 allowlist 增加校验防止过宽条目禁用检测(如上所述,源码已部分实现)。
LLM02:Unexpected Code Execution(意外代码执行)
LLM 输出传递给下游组件前缺乏校验或净化,可能引发 XSS、SSRF 或代码执行。
覆盖:Partial
缓解机制
CodeSecurityValidator(secure_codegen.py)——基于 AST 校验 LLM 生成的 Python 代码:危险导入(17 个模块)、危险调用(22+ 函数)、shell 注入(shell=True)、SQL 注入(字符串格式化)、路径穿越(../)、硬编码密钥(5 类模式)。- 代码净化——注释掉危险行。
- 安全代码模板——预审计的 HTTP 客户端、文件读取、SQL 查询、subprocess 调用模板。
GuardrailsKernel(guardrails_adapter.py)——桥接 Guardrails AI 验证器,输入/输出校验支持 BLOCK/WARN/FIX 动作。- 漂移检测——用
SequenceMatcher计算基线与真实输出的语义漂移分,超阈值发DRIFT_DETECTED事件(实现见 base.py#L344)。
覆盖边界
| 技术类别 | 覆盖 | 说明 |
|---|---|---|
| Python 代码校验(AST) | 是 | 危险导入/调用、shell/SQL 注入、路径穿越、密钥 |
| 输出漂移检测 | 部分 | 发事件但 post_execute() 恒返回放行——仅建议性 |
| 非 Python 代码 | 否 | 非 Python 语言直接抛 ValueError |
| 自然语言输出过滤 | 否 | 无面向 PII/密钥/敏感数据的文本净化 |
| HTML/XSS 输出编码 | 否 | 面向 Web UI 渲染的输出无转义或编码 |
建议: 增加 AgentControl.block_on_drift: bool = False 并在 post_execute() 中生效(约一行改动加策略标志);提供一个基础 OutputSanitizer,复用 mcp_gateway.py 中已定义的危险模式扫描工具输出;文档说明多语言代码校验需 CodeShield(可经 LlamaFirewall 的 scan_code() 获得)。
LLM03:Training Data Poisoning(训练数据投毒)
操纵训练数据向模型注入漏洞、偏差或后门。
覆盖:Partial
缓解机制
MemoryGuard(memory_guard.py)——保护 Agent 运行时记忆存储(RAG、情景记忆、工作记忆):写前校验检查注入模式(7 组正则)、代码注入(6 组正则)、过量特殊字符(>30% 阈值)、Unicode 双向控制/同形字操纵。- 哈希完整性——逐条 SHA-256 比对做篡改检测(哈希计算见 memory_guard.py#L79)。
- 批量扫描——对既有记忆条目做完整性+内容扫描。
- 写入审计轨迹——每次写入尝试记录时间戳、来源、内容哈希与允许/拒绝决策;
validate_write()公开入口见 memory_guard.py#L243。 - Fail-closed——校验错误阻断写入。
对抗验证: 训练流水线投毒在架构上超出范围——工具集不管理模型训练、微调或数据集治理。MemoryGuard 应对的是运行时变体:在推理期影响 Agent 行为的 RAG 存储、情景记忆与工作上下文投毒。
建议: 将 MemoryGuard.validate_write() 接入管理 Agent 记忆/上下文的适配器;明确文档化范围边界——"训练流水线投毒在范围外;运行时记忆与上下文投毒(RAG 注入、情景记忆篡改)由 MemoryGuard 应对"。
LLM04:Model Denial of Service(模型拒绝服务)
资源密集查询过度消耗算力、降低可用性或推高成本。
覆盖:Partial
缓解机制
- Token 限额——
AgentControl.max_tokens(默认 4096),构造时校验为正整数。 - 工具调用限额——
AgentControl.max_tool_calls(默认 10),由NativeAdapterRuntime强制。 - 超时——
AgentControl.timeout_seconds(默认 300s),在pre_execute检查。 - 并发限制——
BoundedSemaphore(base.py#L234)带背压,容量耗尽时拒绝请求,并暴露is_under_pressure、stats()等观测接口。 - MCPGateway 限流——按 Agent 调用预算强制;存在
reset_agent/reset_all手动重置方法,但无自动时间窗重置。 RateLimiter——令牌桶算法、线程安全,预算耗尽时allow()返回False(rate_limiter.py#L86)。RingBreachDetector(breach_detector.py)——滑动窗口调用速率分析+严重度阈值,HIGH/CRITICAL 时按 Agent 触发熔断。
覆盖边界
| 技术类别 | 覆盖 | 说明 |
|---|---|---|
| 工具调用次数限制 | 是 | NativeAdapterRuntime 按会话强制 max_tool_calls |
| MCPGateway 调用预算 | 是 | 按 Agent 预算强制;有手动重置但无自动时间窗重置 |
| Token 预算跟踪 | 部分 | 跟踪用量并告警,但从不阻断执行 |
| 令牌桶限流 | 否(未接入) | 算法正确但未被任何适配器/拦截器导入 |
| 并发限制 | 否(未接入) | BoundedSemaphore 存在但未集成进 pre_execute() |
| 载荷大小校验 | 否 | 无输入大小限制,任意大参数会被序列化并处理 |
建议: 将 RateLimiter 与 TokenBudgetTracker 以策略标志(block_on_budget_exceeded、block_on_rate_limit)控制阻断行为接入 BaseIntegration;增加 AgentControl.max_input_length 作为粗粒度载荷守卫;为 MCPGateway 调用计数增加自动时间窗重置;提示:相对模型上下文窗口的 prompt 长度校验属于模型服务侧职责,不在治理工具集范围内。
LLM05:Supply Chain Vulnerabilities(供应链漏洞)
LLM 应用所用第三方组件、预训练模型或数据流水线中的漏洞。
覆盖:Partial
缓解机制
SupplyChainGuard(supply_chain.py)——检测新发布包(<7 天)、未锁定版本、仿冒名(SequenceMatcher 相似度 >0.85)。- SBOM 生成(sbom.py)——SPDX 2.3 格式,SHA-256 哈希与依赖追踪。
- 构件签名(signing.py)——基于
cryptography库的 Ed25519 签名;库缺失时 fail-closed(抛ImportError)。 - MCP 工具指纹(mcp_security.py)——工具定义 SHA-256 指纹,
check_rug_pull()做变更检测。 - MCP 仿冒名检测——Levenshtein 距离 ≤2 编辑的工具名冒充检查。
ContentHashInterceptor(base.py#L175)——工具可调用对象 SHA-256 内容哈希;strict 模式阻断未注册工具。- CI 工作流——dependency-review、CodeQL、OpenSSF Scorecard、SBOM 生成的自动化审计链路。
覆盖边界
| 技术类别 | 覆盖 | 说明 |
|---|---|---|
| 依赖元数据扫描 | 部分 | SupplyChainGuard 产出 findings 但无阻断管道——仅报告 |
| 构件签名 | 部分 | 库缺失时 fail-closed,但签名本身 opt-in |
| 工具完整性校验 | 部分 | fail-closed,但要求适配器协作设置 content_hash 元数据 |
| CI 层扫描 | 是 | dependency-review、CodeQL、Scorecard、SBOM 工作流在役 |
| MCP 工具指纹 | 是 | SHA-256 指纹 + rug-pull 变更检测 |
建议: 将 SupplyChainGuard findings 接入阻断管道(如 CRITICAL 级直接 raise);让 ContentHashInterceptor 的哈希计算在工具注册时自动完成,而非依赖适配器配合;增加 SLSA 溯源证明生成。
LLM06:Sensitive Information Disclosure(敏感信息泄露)
LLM 应用通过输出或日志泄露机密数据、PII 或专有信息。
覆盖:Partial
缓解机制
- PII 模式(mcp_gateway.py)——内置正则匹配 SSN(
\b\d{3}-\d{2}-\d{4}\b)与信用卡号,作用于工具参数;命中时返回拒绝与原因。从当前源码看,这些模式位于_BUILTIN_DANGEROUS_PATTERNS常量中(mcp_gateway.py#L25-L35),与 shell 注入等危险参数模式同列,在参数净化阶段统一匹配——印证了"仅 2 个 PII 模式"的边界结论。 - 阻断模式——
NativeAdapterRuntime.intercept()将blocked_patterns与工具参数比对。 - 密钥检测(secure_codegen.py)——5 组正则匹配 API 密钥、密码、token、AWS 密钥、私钥,CRITICAL 级。
- 出口策略(egress_policy.py)——域名级出口过滤,first-match-wins、默认拒绝。
- Canary 泄露检测——检测用户输入中的系统提示 canary 令牌(prompt_injection.py)。
覆盖边界与升级发现
| 技术类别 | 覆盖 | 说明 |
|---|---|---|
| 工具参数中的 SSN/信用卡 | 是 | 正则命中即阻断参数 |
| 其他 PII(邮箱、电话、地址) | 否 | 仅实现 2 个 PII 模式 |
| LLM 文本输出中的敏感数据 | 否 | 阻断模式只查工具参数,不查 LLM 响应文本 |
| 审计日志参数脱敏 | 否 | 审计条目按原文保存 parameters,无脱敏 |
审计日志泄露(升级发现,继承原文档): 审计轨迹是最可靠的泄露通道——只要 log_all_calls=True(默认值)开启,每次工具调用的完整参数(包括作为参数传入的 PII、凭据、token)都会原样存入 AuditEntry 并经 logger.info() 暴露。也就是说,工具集自身的安全日志构成一条数据泄露路径,值得优先修复。
建议: 优先增加 AgentControl.redact_audit_pii: bool = False,在持久化前对 AuditEntry.parameters 做模式化脱敏(仓库已有 credential_redactor.py 作为可参考的脱敏基建);将默认 PII 模式扩展到 OWASP 推荐集合(邮箱、电话、IP、JWT token);对 LLM 输出应用同样的模式扫描(经 post_execute() 或新的输出拦截器);文档化外部 DLP 服务集成的进阶配置路径。
LLM07:Insecure Plugin Design(不安全插件设计)
插件或工具接收不可信输入而缺乏充分校验,导致注入、权限提升或数据外泄。
覆盖:Partial
缓解机制
- MCPGateway 五段管道(mcp_gateway.py)——拒绝名单 → 允许名单 → 参数净化(策略+内置模式)→ 限流 → 人在环审批;错误时 fail-closed。这是全仓库强制密度最高的路径之一。
- 工具定义扫描(mcp_security.py)——综合扫描隐藏指令、描述注入、schema 滥用与跨服务器攻击。
- Rug-pull 检测——工具定义 SHA-256 指纹+变更检测。
- Schema 滥用检测——标记过度宽松的 schema、可疑字段名(
system_prompt、webhook、callback_url)、携带指令的默认值。 ContentHashInterceptor——工具可调用对象 SHA-256 完整性校验,strict 模式阻断未注册工具。- RBAC(rbac.py)——4 角色访问控制+动作级权限。
- 人工审批——敏感工具经可配置回调要求显式人工批准,回调出错时 fail-closed。
覆盖边界
| 技术类别 | 覆盖 | 说明 |
|---|---|---|
| 工具允许/拒绝名单 | 是 | 五段管道 + fail-closed 错误处理 |
| 参数模式匹配 | 是 | json.dumps() 压平嵌套结构,正则不受深度影响 |
| Unicode 归一化参数 | 否 | 内置正则只匹配 ASCII 分号,全角变体不归一 |
| JSON Schema 组合($ref/oneOf) | 否 | _check_schema_abuse() 只检查顶层属性,组合关键字未解析 |
| 运行时 rug-pull 检测 | 否 | check_rug_pull() 在扫描期执行;MCPGateway 执行期不调用扫描器 |
| 敏感工具人在环 | 是 | 可配置审批回调 + fail-closed |
建议: 将 MCPSecurityScanner 结果接入 MCPGateway 决策(连接扫描期检测与执行期强制);为 _check_schema_abuse() 增加 $ref/oneOf/allOf/anyOf 解析;在模式匹配前对工具参数做 Unicode NFKC 归一化。
LLM08:Excessive Agency(过度权限)
LLM Agent 采取超出其预期范围的行为,包括过度自主、权限或功能。
覆盖:Partial
缓解机制
- 执行环(enforcer.py)——4 级权限模型(Ring 0-3);Public Preview 下 Ring 0 恒拒绝;Agent 环由信任分派生;
should_demote()检查信任分跌落。 - Kill switch(kill_switch.py)——立即终止 Agent,6 种 kill 原因 + saga 步骤补偿。
RogueDetectionMiddleware(maf_adapter.py)——quarantine_recommended=True时抛MiddlewareTermination。这是唯一自动阻断的强制点。- 违约检测(breach_detector.py)——滑动窗口频率分析+严重度分级+内部熔断。
- 流氓 Agent 检测(rogue_detector.py)——由频率 z 分数、熵偏差与能力画像违例合成风险评分。
- 工具允许名单——
NativeAdapterRuntime阻断不在allowed_tools中的工具。 - 最大工具调用——每会话硬限制。
- 人工审批——
require_human_approval暂停所有工具调用等待评审。 - Scope 守卫(scope_guard.py)——文件/行数限额,PASS/SOFT_FAIL/HARD_FAIL 三态决策。
- 升级仲裁(escalation.py)——敏感动作 M-of-N 审批,带超时与默认拒绝。
覆盖边界
| 技术类别 | 覆盖 | 说明 |
|---|---|---|
| 工具允许名单 | 是 | NativeAdapterRuntime 阻断未授权工具 |
| 每会话最大工具调用 | 是 | 硬限制强制生效 |
| 人工审批门 | 是 | require_human_approval 暂停全部工具调用 |
| 流氓检测→自动阻断(MAF 路径) | 是 | RogueDetectionMiddleware 抛 MiddlewareTermination(仅 MAF 适配器) |
| 流氓检测→自动阻断(其他路径) | 否 | 独立的 RogueAgentDetector 只设置 quarantine_recommended,不采取强制动作 |
| Kill switch 自动触发 | 否 | 仅 1 个调用点(CLI 处理器 session_commands.py);无检测系统调用它 |
| ScopeGuard 强制 | 否 | 返回建议性 ScopeEvaluation,无生产代码检查该决策 |
建议: 提供可选 RogueEnforcementBridge,以可配置风险阈值连接 RogueAgentDetector.assess() 到 KillSwitch.kill();将 ScopeGuard 评估结果接入 ToolCallInterceptor,HARD_FAIL 时阻断;检测与强制的分离在架构上是有意设计(运维方掌控强制策略),但工具集应提供 opt-in 接线,而非要求用户自写胶水代码。
LLM09:Overreliance(过度依赖)
不经验证地接受 LLM 输出,导致错误信息、安全漏洞或错误决策。
覆盖:Partial
缓解机制
- 漂移检测——
SequenceMatcher计算基线与真实输出的漂移分,超阈值发DRIFT_DETECTED事件(base.py#L344)。 - 置信度阈值——
AgentControl.confidence_threshold(默认 0.8)门控低于最小置信度的动作。 - 对抗评估器(_adversarial_impl.py)——用 8 个内置攻击向量测试治理拦截器,产出分类风险分;是测试工具而非运行时强制。
- 干跑模式(dry_run.py)——影子模式评估,记录"会发生什么"但不阻断。
- 信任评分——5 维评分(策略合规、资源效率、输出质量、安全态势、协作健康)+ 指数移动平均。
覆盖边界
| 技术类别 | 覆盖 | 说明 |
|---|---|---|
| 漂移检测(同 Agent) | 部分 | 计算分数、发事件但从不阻断 |
| 置信度阈值门控 | 否(死代码) | 源码用 getattr(input_data, 'confidence', None) 取值,但没有框架适配器填充该属性 |
| 级联幻觉(跨 Agent) | 否 | 漂移检测是单 Agent 的,无跨 Agent 幻觉传播检测 |
| 事实准确性校验 | 否 | 无 fact-check、grounding 或检索验证——应用层关注点 |
| 对抗性治理测试 | 是 | 8 个攻击向量对拦截器的测试工具(非运行时) |
建议: 文档化范围边界——"工具集检测与过度依赖相关的行为异常(漂移、信任衰减),但不验证事实准确性;fact-check 与 grounding 属应用层";让漂移检测可阻断(block_on_drift 标志);探索多 Agent 部署下的跨 Agent 漂移关联分析。
LLM10:Model Theft(模型窃取)
通过 API 查询、侧信道或直接访问,未经授权访问、复制或提取专有 LLM 模型。
覆盖:Gap(范围外)
工具集包装 LLM API 客户端,不托管模型、不管理权重、不控制模型服务基础设施。模型窃取防护需要在推理/服务层设防,架构上不属于本工具集的领域。
间接缓解: 基于 RateLimiter 的限流可限制可用于蒸馏式提取的查询量;全量工具调用审计日志为可疑查询模式提供取证线索;RogueAgentDetector 的频率分析可检测可能表明提取尝试的高强度系统性查询。这些是纵深防御信号,而非主要缓解。
建议: 文档化为范围外并引用间接缓解;在服务层建议 API 密钥轮换、模型端点访问日志、输出水印、提取查询检测。
与 OWASP Agentic Top 10 的关系
本文档覆盖的是 OWASP Top 10 for LLM Applications——LLM 应用特有风险。工具集同时对 OWASP Top 10 for Agentic Applications (2026) 做了映射,见 OWASP Agentic Top 10 架构映射,覆盖 Agent 特有风险(目标劫持、流氓 Agent、级联故障等)。
两个列表存在重叠:
| LLM 风险 | Agentic 风险 | 重叠关系 |
|---|---|---|
| LLM01 提示注入 | ASI-01 Agent 目标劫持 | 提示注入是目标劫持的向量之一 |
| LLM05 供应链 | ASI-04 供应链 | 同一风险、不同框架 |
| LLM07 不安全插件 | ASI-02 工具滥用 | 插件安全是工具治理的子集 |
| LLM08 过度权限 | ASI-10 流氓 Agent | 过度权限可能表现为流氓行为 |
证据标准不同:Agentic Top 10 映射采用"能力存在"标准,本文档采用"已验证强制 + 对抗绕过测试"标准。对 Agentic Top 10 做类似的对抗验证,很可能暴露出同类的"检测未强制"缺口。
2025 版新增风险类别的覆盖说明
LLM07 (2025):System Prompt Leakage(系统提示泄露)
系统提示未经授权泄露,暴露内部逻辑、安全控制或敏感配置。
覆盖:Partial。 工具集的金丝雀令牌检测(prompt_injection.py 的 _check_canary_leak,在 L652 的检测管线中被调用)在 canary 串出现在用户可见输出时可捕获系统提示泄露;MemoryGuard 将策略受控上下文(vfs://{agent_id}/policy/*)保护为只读。但没有专门针对系统提示的保护机制——无提示加密、无对已知系统提示片段的输出扫描、无对提取尝试(重复探测性提问)的监测。
LLM08 (2025):Vector and Embedding Weaknesses(向量与嵌入弱点)
RAG 流水线中嵌入、向量存储或检索机制被操纵以注入恶意内容或投毒上下文。
覆盖:Partial。 MemoryGuard(memory_guard.py)对 Agent 记忆存储(含 RAG 存储)的写入做注入模式检测、哈希完整性与内容扫描,覆盖了写路径投毒。但没有读路径校验——在 MemoryGuard 部署前写入的投毒内容、或在嵌入/索引层被投毒的内容,在检索时不会被检出;不存在嵌入级完整性校验。可以推断,该方向的后续演进方向之一是仓库中已存在的嵌入信号模块(prompt_injection_embedding.py 同目录的 embedding kNN 证据后端),但它目前只作为 evidence-only 信号接入注入检测,尚不承担向量存储完整性职责。
结语:如何读这份映射
这份映射最有价值的结论不是"覆盖了几项",而是揭示了工具集的一种刻意架构:检测模块与强制执行链路解耦。绝大多数检测器(注入、投毒、限流、供应链、范围守卫)都以完整、可测试的独立组件存在,强制点集中在少数已接线的路径上(MCPGateway 五段管道、ContentHashInterceptor 严格模式、MAF 适配器的流氓检测中间件、工具允许名单与调用上限)。对使用者而言,这意味着:
- 开箱即用的强制集中在 MCP 工具治理与执行权限(环、kill switch、允许名单、调用上限);
- 其余防护需要显式接线——按映射文档的建议,用
AgentControl标志控制的统一自动装配(限流 → scope guard → 内容检查的顺序)是收益最大的单点改造; - 范围边界是明确的:训练流水线投毒、事实准确性、模型窃取防护均不属于工具集职责,需要上层或应用层补齐;
- 文档结论存在时间差:映射撰写时点的问题(如 allowlist 无校验)在部分模块的当前源码中已有修复迹象,引用具体结论时应核对对应版本的源码。