Agent Governance Toolkit:OWASP LLM Top 10 风险覆盖映射与源码级防御缺口分析

原创2026-09-17 11:16:371,877 阅读
文章标签:人工智能AI 安全治理可信 AI策略引擎认证鉴权身份认证Agent 沙箱零信任可观测性安全治理

Agent Governance Toolkit:OWASP LLM Top 10 风险覆盖映射与源码级防御缺口分析

本文基于 Agent Governance Toolkit 仓库中的合规映射文档,完整梳理该工具集对 OWASP Top 10 for LLM Applications 十类风险的覆盖情况:哪些防御机制已落地(如正则注入检测、MCP 网关五段式管道、执行环与 kill switch)、哪些仍停留在"检测存在但未接入强制执行链路"的结构性缺口,以及 2025 版新增风险类别的覆盖现状。读完本文,你可以获得一张逐风险、逐模块、可溯源到具体文件的能力对照表,并理解该工具集"检测与执行分离"这一核心架构取舍及其推荐收敛路径。

免责声明(继承原文档): 这是内部自评估映射,不是经认证的认证或第三方审计,仅记录工具集能力与所引用标准的对齐情况。组织必须自行委托合格审计方完成合规评估。

映射版本: 1.0 | OWASP 参考: OWASP Top 10 for LLM Applications | 工具集版本: v1.1.0 | 最后更新: 2026 年 4 月

版本说明: 本映射使用 OWASP Top 10 for LLM Applications v1.1 (2023) 的风险分类。2025 修订版对多个风险重新编号(如 Sensitive Information Disclosure 从 LLM06 移至 LLM02)、重命名部分条目(Model Theft → Unbounded Consumption,Overreliance → Misinformation),并新增两个类别:System Prompt Leakage(2025 版 LLM07) 与 Vector and Embedding Weaknesses(2025 版 LLM08)。本文在文末单独给出这两个新类别的覆盖说明。


执行摘要与覆盖总览

工具集对 10 个风险中的 9 个具备检测机制,但其中 6 个共享一个结构性缺口:检测模块以独立工具的形式存在,却未接入 BaseIntegration 强制生命周期。一次集中的集成工作——通过 AgentControl 标志位控制的可选自动装配——可同时收敛多个风险。目前最强的强制点在于插件/工具安全(MCPGateway)与执行权限控制(执行环、kill switch),最大的短板在输出净化与敏感数据保护。

# OWASP 风险 覆盖 关键机制 关键缺口
LLM01 Prompt Injection Partial 6 组正则模式 + base64 解码 + MCP 工具扫描 纯正则、无语义检测;opt-in 而非默认接入
LLM02 Unexpected Code Execution Partial 基于 AST 的 Python 代码校验 + 漂移检测 post_execute() 永不阻断;仅 Python;无文本输出净化
LLM03 Training Data Poisoning Partial MemoryGuard 保护运行时记忆存储 训练流水线不在范围内;MemoryGuard 未接入适配器
LLM04 Model Denial of Service Partial token/调用/超时限额 + 并发信号量 + 熔断器 TokenBudgetTracker 仅告警;RateLimiter 未接入;无载荷大小限制
LLM05 Supply Chain Vulnerabilities Partial SBOM + Ed25519 签名 + MCP 指纹 + ContentHashInterceptor SupplyChainGuard 仅报告;签名 opt-in
LLM06 Sensitive Information Disclosure Partial MCP 网关 PII 模式 + 代码生成密钥检测 + 出口策略 仅 2 个 PII 模式;无输出文本过滤;审计日志 PII 脱敏未完成
LLM07 Insecure Plugin Design Partial MCPGateway 五段管道 + rug-pull 检测 + schema 滥用扫描 JSON Schema 组合($ref/oneOf)未检查;网关与扫描器脱节
LLM08 Excessive Agency Partial 执行环 + kill switch + 流氓检测 + scope 守卫 kill switch 仅手动触发;检测模块仅告警、未自动接入强制
LLM09 Overreliance Partial 漂移检测 + 置信度阈值 + 对抗评估器 无事实核查;置信度属性从未被框架填充
LLM10 Model Theft Gap N/A 范围外——工具集包装 LLM API,不托管模型

结论:0 项完全缓解,9 项部分覆盖,1 项范围外缺口。

映射方法采用结构化多视角分析并带独立冗余:(1) 对全部 4 个包做两轮独立代码扫描,产出 file:line 级缓解证据,分歧项提交深查;(2) 对每项声称的缓解做绕过(bypass)对抗验证;(3) 合规审计交叉验证引用准确性、证据完整性与遗漏子风险;(4) 战略评审做纵深防御与企业就绪度评估。证据标准为行级代码引用加对抗绕过测试。


横切发现:检测存在,强制执行缺失

十项风险中有六项共享同一结构模式:检测机制作为独立工具存在,但未接入 BaseIntegration 生命周期。映射文档列出的完整缺口清单如下:

模块 它能做什么 它没做什么
PromptInjectionDetector 扫描文本中的注入模式 未被任何适配器的 pre_execute() 调用
TokenBudgetTracker 跟踪 token 用量、触发告警回调 从不阻断执行;is_exceeded 标志无人检查
RateLimiter 令牌桶限流,提供 allow() 未接入任何适配器或拦截器
BoundedSemaphore 带背压的并发限制器 未集成进 BaseIntegration.pre_execute()
ScopeGuard 评估文件/行数范围 返回建议性字符串,无人检查决策
SupplyChainGuard 扫描供应链风险 返回 findings,无阻断管道
MCPSecurityScanner 检测工具投毒、rug-pull、schema 滥用 结果不被 MCPGateway 决策消费
post_execute() 计算漂移分数、发出事件 始终返回 (True, None)——永不阻断

注意: 以上结论适用于大多数适配器使用的 BaseIntegration 路径。MAF(Microsoft Agent Framework)适配器通过其 FunctionMiddleware 管道为流氓检测、治理策略与执行环强制提供了接入,但只覆盖 Semantic Kernel 集成路径。

源码印证:这些"未接入"并非空口

  • post_execute() 确实始终放行:在 base.py 中,post_execute 负责在工具执行后做漂移评估并发出 DRIFT_DETECTED 事件(事件常量定义于 base.py#L58,发出逻辑位于 base.py#L577),但返回值恒为放行,符合文档"advisory only"的定性。
  • 限流与并发组件本身实现完备但未接线:rate_limiter.py 中的 RateLimiter(类定义于 L28)提供线程安全的 allow(agent_id) 判定(L86);BoundedSemaphore 实现了带背压阈值的并发计数与拒绝(base.py#L234)。两者均具备生产能力,只是没有宿主在 pre_execute 路径上调用它们——从源码结构看,缺口确实在"装配"而非"实现"。
  • 与之相对,ContentHashInterceptor(base.py#L175)是一个已接入强制路径的范例:strict 模式下,未注册内容哈希的工具调用直接返回 allowed=False,且哈希不匹配同样拒绝(base.py#L189-L213)。这与 CompositeInterceptor 的"顺序执行、先拒绝者胜出"语义(base.py#L216-L231)一起,构成了把检测模块接入强制链路时可直接复用的拦截器基建。

建议(继承原文档): 在 BaseIntegration.__init__() 中增加可选自动装配,由 AgentControl 标志控制,可同时收敛 LLM01、LLM02、LLM04、LLM06、LLM07 的缺口。推荐的拦截器顺序:先限流,再 scope guard,最后做内容检查——避免对反正会被限流的请求执行昂贵的正则。


LLM01:Prompt Injection(提示注入)

攻击者通过精心构造的输入操纵 LLM 行为、覆盖系统指令,直接注入或经由被投毒的外部内容间接注入。

覆盖:Partial

缓解机制

  • PromptInjectionDetector(prompt_injection.py#L457)——6 组编译期正则模式组,覆盖直接覆盖、分隔符攻击、角色扮演/越狱、上下文操纵、多轮升级与编码攻击;支持 strict/balanced/permissive 三档灵敏度。
  • Base64 载荷解码——解码 base64 候选段并检查可疑关键词(ignore、override、system、password、exec、eval、import os 等)。
  • 金丝雀令牌检测——通过植入系统提示中的 canary 串检测泄露,CRITICAL 威胁级、confidence=1.0。
  • MCP 工具描述扫描(mcp_security.py)——复用 PromptInjectionDetector 扫描 MCP 工具描述,捕获嵌入工具元数据的注入。
  • ConversationGuardian(conversation_guardian.py)——normalize_text() 去除同形字/leetspeak/零宽字符,提升抗规避能力。
  • LlamaFirewall 集成(llamafirewall.py)——将 Meta 的 LlamaFirewall 与 Agent OS 检测链式组合,支持 CHAIN_BOTH、VOTE_MAJORITY 等 4 种模式,未安装时优雅降级。
  • 阻断模式(base.py)——对工具参数支持 substring、regex、glob 三类模式阻断。
  • Fail-closed——检测错误时按 CRITICAL 威胁级、is_injection=True 处理。

源码级深入:检测管线如何工作

当前 prompt_injection.py 的模式定义与文档描述一一对应:直接覆盖(如 ignore (all) previous instructions、you are now)定义于 L289-L297,分隔符攻击组还包括各模型特殊 token(<|im_start|>、<a href="https://link.gitcode.com/i/9ef33784a55aadd22e14682c8457a3ac" target="_blank">INST]、<<SYS>> 等,[L299-L312),角色扮演组覆盖 jailbreak、DAN mode 等(L314-L322)。灵敏度阈值集中配置:strict=0.3、balanced=0.5、permissive=0.7,permissive 档最低威胁级提升到 HIGH(L365-L375)。

detect() 的主流程(L560 起)是:blocklist 快速路径 → 逐类模式检查(直接覆盖/分隔符/编码/角色扮演/上下文操纵/canary/多轮)→ 自定义模式 → 灵敏度过滤 → allowlist 后过滤 → 输出 DetectionResult(含最高威胁级、注入类型、置信度与匹配模式列表)。异常路径明确 fail-closed:任何检测异常都记录为 CRITICAL 且 is_injection=True(L576-L593),与文档第 358-373 行的引用行为一致。

值得注意的两点源码级细节:

  1. 模式可外置:PromptInjectionConfig + load_prompt_injection_config()(L382-L450)支持从 YAML 加载整套 detection_patterns,仓库中提供示例配置 prompt-injection-safety.yaml;无配置构造检测器时会显式告警内置规则为"样例规则"。
  2. 证据后端永不阻断:DetectionEvidenceBackend/EmbeddingSignalBackend(L137-L177)实现了 ADR-0015 式的可选、evidence-only 检测后端(含 embedding kNN 信号,实现见 prompt_injection_embedding.py)。EvidenceSignal.__post_init__ 在构造期强制 blocks=False、拒绝非有限分数——即嵌入类语义信号只能作为附加证据,永远不会改变正则规则已做出的判定。从源码结构看,这为"语义检测作为升级路径"预留了安全边界。

另外,映射文档曾指出 DetectionConfig.allowlist 缺少输入校验(issue #744);而当前源码中 DetectionConfig.__post_init__(L238-L266)已对 allowlist/blocklist 条目做空值与最小长度(3 字符)校验并冻结列表——可推断该建议在映射文档撰写后的版本中已落地,阅读映射结论时需注意这一时间差。

覆盖边界

技术类别 覆盖 说明
直接英文覆盖指令 是 6 组编译正则匹配已知短语
Base64 编码载荷 是 解码后检查可疑关键词
Canary 令牌泄露 是 植入 canary 串以 CRITICAL 级检出
语义等价改写 否 正则匹配字面短语,不理解语义意图
非英文注入 否 模式全为英文,无多语言归一
经工具输出的间接注入 否 检测器只扫输入,不扫工具返回
URL 编码 / ROT13 否 仅覆盖 base64 与 hex/unicode 转义
allowlist 配置滥用 否(映射时点) 当时 DetectionConfig.allowlist 缺输入校验(见 #744;当前源码已加校验)

建议: 通过 AgentControl.prompt_injection_detection 标志将检测器接入 BaseIntegration.pre_execute()(正则默认开启);将 LlamaFirewall 文档化为语义检测的推荐升级路径;让 PromptInjectionDetector 复用 ConversationGuardian 的归一化逻辑;为 allowlist 增加校验防止过宽条目禁用检测(如上所述,源码已部分实现)。


LLM02:Unexpected Code Execution(意外代码执行)

LLM 输出传递给下游组件前缺乏校验或净化,可能引发 XSS、SSRF 或代码执行。

覆盖:Partial

缓解机制

  • CodeSecurityValidator(secure_codegen.py)——基于 AST 校验 LLM 生成的 Python 代码:危险导入(17 个模块)、危险调用(22+ 函数)、shell 注入(shell=True)、SQL 注入(字符串格式化)、路径穿越(../)、硬编码密钥(5 类模式)。
  • 代码净化——注释掉危险行。
  • 安全代码模板——预审计的 HTTP 客户端、文件读取、SQL 查询、subprocess 调用模板。
  • GuardrailsKernel(guardrails_adapter.py)——桥接 Guardrails AI 验证器,输入/输出校验支持 BLOCK/WARN/FIX 动作。
  • 漂移检测——用 SequenceMatcher 计算基线与真实输出的语义漂移分,超阈值发 DRIFT_DETECTED 事件(实现见 base.py#L344)。

覆盖边界

技术类别 覆盖 说明
Python 代码校验(AST) 是 危险导入/调用、shell/SQL 注入、路径穿越、密钥
输出漂移检测 部分 发事件但 post_execute() 恒返回放行——仅建议性
非 Python 代码 否 非 Python 语言直接抛 ValueError
自然语言输出过滤 否 无面向 PII/密钥/敏感数据的文本净化
HTML/XSS 输出编码 否 面向 Web UI 渲染的输出无转义或编码

建议: 增加 AgentControl.block_on_drift: bool = False 并在 post_execute() 中生效(约一行改动加策略标志);提供一个基础 OutputSanitizer,复用 mcp_gateway.py 中已定义的危险模式扫描工具输出;文档说明多语言代码校验需 CodeShield(可经 LlamaFirewall 的 scan_code() 获得)。


LLM03:Training Data Poisoning(训练数据投毒)

操纵训练数据向模型注入漏洞、偏差或后门。

覆盖:Partial

缓解机制

  • MemoryGuard(memory_guard.py)——保护 Agent 运行时记忆存储(RAG、情景记忆、工作记忆):写前校验检查注入模式(7 组正则)、代码注入(6 组正则)、过量特殊字符(>30% 阈值)、Unicode 双向控制/同形字操纵。
  • 哈希完整性——逐条 SHA-256 比对做篡改检测(哈希计算见 memory_guard.py#L79)。
  • 批量扫描——对既有记忆条目做完整性+内容扫描。
  • 写入审计轨迹——每次写入尝试记录时间戳、来源、内容哈希与允许/拒绝决策;validate_write() 公开入口见 memory_guard.py#L243。
  • Fail-closed——校验错误阻断写入。

对抗验证: 训练流水线投毒在架构上超出范围——工具集不管理模型训练、微调或数据集治理。MemoryGuard 应对的是运行时变体:在推理期影响 Agent 行为的 RAG 存储、情景记忆与工作上下文投毒。

建议: 将 MemoryGuard.validate_write() 接入管理 Agent 记忆/上下文的适配器;明确文档化范围边界——"训练流水线投毒在范围外;运行时记忆与上下文投毒(RAG 注入、情景记忆篡改)由 MemoryGuard 应对"。


LLM04:Model Denial of Service(模型拒绝服务)

资源密集查询过度消耗算力、降低可用性或推高成本。

覆盖:Partial

缓解机制

  • Token 限额——AgentControl.max_tokens(默认 4096),构造时校验为正整数。
  • 工具调用限额——AgentControl.max_tool_calls(默认 10),由 NativeAdapterRuntime 强制。
  • 超时——AgentControl.timeout_seconds(默认 300s),在 pre_execute 检查。
  • 并发限制——BoundedSemaphore(base.py#L234)带背压,容量耗尽时拒绝请求,并暴露 is_under_pressure、stats() 等观测接口。
  • MCPGateway 限流——按 Agent 调用预算强制;存在 reset_agent/reset_all 手动重置方法,但无自动时间窗重置。
  • RateLimiter——令牌桶算法、线程安全,预算耗尽时 allow() 返回 False(rate_limiter.py#L86)。
  • RingBreachDetector(breach_detector.py)——滑动窗口调用速率分析+严重度阈值,HIGH/CRITICAL 时按 Agent 触发熔断。

覆盖边界

技术类别 覆盖 说明
工具调用次数限制 是 NativeAdapterRuntime 按会话强制 max_tool_calls
MCPGateway 调用预算 是 按 Agent 预算强制;有手动重置但无自动时间窗重置
Token 预算跟踪 部分 跟踪用量并告警,但从不阻断执行
令牌桶限流 否(未接入) 算法正确但未被任何适配器/拦截器导入
并发限制 否(未接入) BoundedSemaphore 存在但未集成进 pre_execute()
载荷大小校验 否 无输入大小限制,任意大参数会被序列化并处理

建议: 将 RateLimiter 与 TokenBudgetTracker 以策略标志(block_on_budget_exceeded、block_on_rate_limit)控制阻断行为接入 BaseIntegration;增加 AgentControl.max_input_length 作为粗粒度载荷守卫;为 MCPGateway 调用计数增加自动时间窗重置;提示:相对模型上下文窗口的 prompt 长度校验属于模型服务侧职责,不在治理工具集范围内。


LLM05:Supply Chain Vulnerabilities(供应链漏洞)

LLM 应用所用第三方组件、预训练模型或数据流水线中的漏洞。

覆盖:Partial

缓解机制

  • SupplyChainGuard(supply_chain.py)——检测新发布包(<7 天)、未锁定版本、仿冒名(SequenceMatcher 相似度 >0.85)。
  • SBOM 生成(sbom.py)——SPDX 2.3 格式,SHA-256 哈希与依赖追踪。
  • 构件签名(signing.py)——基于 cryptography 库的 Ed25519 签名;库缺失时 fail-closed(抛 ImportError)。
  • MCP 工具指纹(mcp_security.py)——工具定义 SHA-256 指纹,check_rug_pull() 做变更检测。
  • MCP 仿冒名检测——Levenshtein 距离 ≤2 编辑的工具名冒充检查。
  • ContentHashInterceptor(base.py#L175)——工具可调用对象 SHA-256 内容哈希;strict 模式阻断未注册工具。
  • CI 工作流——dependency-review、CodeQL、OpenSSF Scorecard、SBOM 生成的自动化审计链路。

覆盖边界

技术类别 覆盖 说明
依赖元数据扫描 部分 SupplyChainGuard 产出 findings 但无阻断管道——仅报告
构件签名 部分 库缺失时 fail-closed,但签名本身 opt-in
工具完整性校验 部分 fail-closed,但要求适配器协作设置 content_hash 元数据
CI 层扫描 是 dependency-review、CodeQL、Scorecard、SBOM 工作流在役
MCP 工具指纹 是 SHA-256 指纹 + rug-pull 变更检测

建议: 将 SupplyChainGuard findings 接入阻断管道(如 CRITICAL 级直接 raise);让 ContentHashInterceptor 的哈希计算在工具注册时自动完成,而非依赖适配器配合;增加 SLSA 溯源证明生成。


LLM06:Sensitive Information Disclosure(敏感信息泄露)

LLM 应用通过输出或日志泄露机密数据、PII 或专有信息。

覆盖:Partial

缓解机制

  • PII 模式(mcp_gateway.py)——内置正则匹配 SSN(\b\d{3}-\d{2}-\d{4}\b)与信用卡号,作用于工具参数;命中时返回拒绝与原因。从当前源码看,这些模式位于 _BUILTIN_DANGEROUS_PATTERNS 常量中(mcp_gateway.py#L25-L35),与 shell 注入等危险参数模式同列,在参数净化阶段统一匹配——印证了"仅 2 个 PII 模式"的边界结论。
  • 阻断模式——NativeAdapterRuntime.intercept() 将 blocked_patterns 与工具参数比对。
  • 密钥检测(secure_codegen.py)——5 组正则匹配 API 密钥、密码、token、AWS 密钥、私钥,CRITICAL 级。
  • 出口策略(egress_policy.py)——域名级出口过滤,first-match-wins、默认拒绝。
  • Canary 泄露检测——检测用户输入中的系统提示 canary 令牌(prompt_injection.py)。

覆盖边界与升级发现

技术类别 覆盖 说明
工具参数中的 SSN/信用卡 是 正则命中即阻断参数
其他 PII(邮箱、电话、地址) 否 仅实现 2 个 PII 模式
LLM 文本输出中的敏感数据 否 阻断模式只查工具参数,不查 LLM 响应文本
审计日志参数脱敏 否 审计条目按原文保存 parameters,无脱敏

审计日志泄露(升级发现,继承原文档): 审计轨迹是最可靠的泄露通道——只要 log_all_calls=True(默认值)开启,每次工具调用的完整参数(包括作为参数传入的 PII、凭据、token)都会原样存入 AuditEntry 并经 logger.info() 暴露。也就是说,工具集自身的安全日志构成一条数据泄露路径,值得优先修复。

建议: 优先增加 AgentControl.redact_audit_pii: bool = False,在持久化前对 AuditEntry.parameters 做模式化脱敏(仓库已有 credential_redactor.py 作为可参考的脱敏基建);将默认 PII 模式扩展到 OWASP 推荐集合(邮箱、电话、IP、JWT token);对 LLM 输出应用同样的模式扫描(经 post_execute() 或新的输出拦截器);文档化外部 DLP 服务集成的进阶配置路径。


LLM07:Insecure Plugin Design(不安全插件设计)

插件或工具接收不可信输入而缺乏充分校验,导致注入、权限提升或数据外泄。

覆盖:Partial

缓解机制

  • MCPGateway 五段管道(mcp_gateway.py)——拒绝名单 → 允许名单 → 参数净化(策略+内置模式)→ 限流 → 人在环审批;错误时 fail-closed。这是全仓库强制密度最高的路径之一。
  • 工具定义扫描(mcp_security.py)——综合扫描隐藏指令、描述注入、schema 滥用与跨服务器攻击。
  • Rug-pull 检测——工具定义 SHA-256 指纹+变更检测。
  • Schema 滥用检测——标记过度宽松的 schema、可疑字段名(system_prompt、webhook、callback_url)、携带指令的默认值。
  • ContentHashInterceptor——工具可调用对象 SHA-256 完整性校验,strict 模式阻断未注册工具。
  • RBAC(rbac.py)——4 角色访问控制+动作级权限。
  • 人工审批——敏感工具经可配置回调要求显式人工批准,回调出错时 fail-closed。

覆盖边界

技术类别 覆盖 说明
工具允许/拒绝名单 是 五段管道 + fail-closed 错误处理
参数模式匹配 是 json.dumps() 压平嵌套结构,正则不受深度影响
Unicode 归一化参数 否 内置正则只匹配 ASCII 分号,全角变体不归一
JSON Schema 组合($ref/oneOf) 否 _check_schema_abuse() 只检查顶层属性,组合关键字未解析
运行时 rug-pull 检测 否 check_rug_pull() 在扫描期执行;MCPGateway 执行期不调用扫描器
敏感工具人在环 是 可配置审批回调 + fail-closed

建议: 将 MCPSecurityScanner 结果接入 MCPGateway 决策(连接扫描期检测与执行期强制);为 _check_schema_abuse() 增加 $ref/oneOf/allOf/anyOf 解析;在模式匹配前对工具参数做 Unicode NFKC 归一化。


LLM08:Excessive Agency(过度权限)

LLM Agent 采取超出其预期范围的行为,包括过度自主、权限或功能。

覆盖:Partial

缓解机制

  • 执行环(enforcer.py)——4 级权限模型(Ring 0-3);Public Preview 下 Ring 0 恒拒绝;Agent 环由信任分派生;should_demote() 检查信任分跌落。
  • Kill switch(kill_switch.py)——立即终止 Agent,6 种 kill 原因 + saga 步骤补偿。
  • RogueDetectionMiddleware(maf_adapter.py)——quarantine_recommended=True 时抛 MiddlewareTermination。这是唯一自动阻断的强制点。
  • 违约检测(breach_detector.py)——滑动窗口频率分析+严重度分级+内部熔断。
  • 流氓 Agent 检测(rogue_detector.py)——由频率 z 分数、熵偏差与能力画像违例合成风险评分。
  • 工具允许名单——NativeAdapterRuntime 阻断不在 allowed_tools 中的工具。
  • 最大工具调用——每会话硬限制。
  • 人工审批——require_human_approval 暂停所有工具调用等待评审。
  • Scope 守卫(scope_guard.py)——文件/行数限额,PASS/SOFT_FAIL/HARD_FAIL 三态决策。
  • 升级仲裁(escalation.py)——敏感动作 M-of-N 审批,带超时与默认拒绝。

覆盖边界

技术类别 覆盖 说明
工具允许名单 是 NativeAdapterRuntime 阻断未授权工具
每会话最大工具调用 是 硬限制强制生效
人工审批门 是 require_human_approval 暂停全部工具调用
流氓检测→自动阻断(MAF 路径) 是 RogueDetectionMiddleware 抛 MiddlewareTermination(仅 MAF 适配器)
流氓检测→自动阻断(其他路径) 否 独立的 RogueAgentDetector 只设置 quarantine_recommended,不采取强制动作
Kill switch 自动触发 否 仅 1 个调用点(CLI 处理器 session_commands.py);无检测系统调用它
ScopeGuard 强制 否 返回建议性 ScopeEvaluation,无生产代码检查该决策

建议: 提供可选 RogueEnforcementBridge,以可配置风险阈值连接 RogueAgentDetector.assess() 到 KillSwitch.kill();将 ScopeGuard 评估结果接入 ToolCallInterceptor,HARD_FAIL 时阻断;检测与强制的分离在架构上是有意设计(运维方掌控强制策略),但工具集应提供 opt-in 接线,而非要求用户自写胶水代码。


LLM09:Overreliance(过度依赖)

不经验证地接受 LLM 输出,导致错误信息、安全漏洞或错误决策。

覆盖:Partial

缓解机制

  • 漂移检测——SequenceMatcher 计算基线与真实输出的漂移分,超阈值发 DRIFT_DETECTED 事件(base.py#L344)。
  • 置信度阈值——AgentControl.confidence_threshold(默认 0.8)门控低于最小置信度的动作。
  • 对抗评估器(_adversarial_impl.py)——用 8 个内置攻击向量测试治理拦截器,产出分类风险分;是测试工具而非运行时强制。
  • 干跑模式(dry_run.py)——影子模式评估,记录"会发生什么"但不阻断。
  • 信任评分——5 维评分(策略合规、资源效率、输出质量、安全态势、协作健康)+ 指数移动平均。

覆盖边界

技术类别 覆盖 说明
漂移检测(同 Agent) 部分 计算分数、发事件但从不阻断
置信度阈值门控 否(死代码) 源码用 getattr(input_data, 'confidence', None) 取值,但没有框架适配器填充该属性
级联幻觉(跨 Agent) 否 漂移检测是单 Agent 的,无跨 Agent 幻觉传播检测
事实准确性校验 否 无 fact-check、grounding 或检索验证——应用层关注点
对抗性治理测试 是 8 个攻击向量对拦截器的测试工具(非运行时)

建议: 文档化范围边界——"工具集检测与过度依赖相关的行为异常(漂移、信任衰减),但不验证事实准确性;fact-check 与 grounding 属应用层";让漂移检测可阻断(block_on_drift 标志);探索多 Agent 部署下的跨 Agent 漂移关联分析。


LLM10:Model Theft(模型窃取)

通过 API 查询、侧信道或直接访问,未经授权访问、复制或提取专有 LLM 模型。

覆盖:Gap(范围外)

工具集包装 LLM API 客户端,不托管模型、不管理权重、不控制模型服务基础设施。模型窃取防护需要在推理/服务层设防,架构上不属于本工具集的领域。

间接缓解: 基于 RateLimiter 的限流可限制可用于蒸馏式提取的查询量;全量工具调用审计日志为可疑查询模式提供取证线索;RogueAgentDetector 的频率分析可检测可能表明提取尝试的高强度系统性查询。这些是纵深防御信号,而非主要缓解。

建议: 文档化为范围外并引用间接缓解;在服务层建议 API 密钥轮换、模型端点访问日志、输出水印、提取查询检测。


与 OWASP Agentic Top 10 的关系

本文档覆盖的是 OWASP Top 10 for LLM Applications——LLM 应用特有风险。工具集同时对 OWASP Top 10 for Agentic Applications (2026) 做了映射,见 OWASP Agentic Top 10 架构映射,覆盖 Agent 特有风险(目标劫持、流氓 Agent、级联故障等)。

两个列表存在重叠:

LLM 风险 Agentic 风险 重叠关系
LLM01 提示注入 ASI-01 Agent 目标劫持 提示注入是目标劫持的向量之一
LLM05 供应链 ASI-04 供应链 同一风险、不同框架
LLM07 不安全插件 ASI-02 工具滥用 插件安全是工具治理的子集
LLM08 过度权限 ASI-10 流氓 Agent 过度权限可能表现为流氓行为

证据标准不同:Agentic Top 10 映射采用"能力存在"标准,本文档采用"已验证强制 + 对抗绕过测试"标准。对 Agentic Top 10 做类似的对抗验证,很可能暴露出同类的"检测未强制"缺口。


2025 版新增风险类别的覆盖说明

LLM07 (2025):System Prompt Leakage(系统提示泄露)

系统提示未经授权泄露,暴露内部逻辑、安全控制或敏感配置。

覆盖:Partial。 工具集的金丝雀令牌检测(prompt_injection.py 的 _check_canary_leak,在 L652 的检测管线中被调用)在 canary 串出现在用户可见输出时可捕获系统提示泄露;MemoryGuard 将策略受控上下文(vfs://{agent_id}/policy/*)保护为只读。但没有专门针对系统提示的保护机制——无提示加密、无对已知系统提示片段的输出扫描、无对提取尝试(重复探测性提问)的监测。

LLM08 (2025):Vector and Embedding Weaknesses(向量与嵌入弱点)

RAG 流水线中嵌入、向量存储或检索机制被操纵以注入恶意内容或投毒上下文。

覆盖:Partial。 MemoryGuard(memory_guard.py)对 Agent 记忆存储(含 RAG 存储)的写入做注入模式检测、哈希完整性与内容扫描,覆盖了写路径投毒。但没有读路径校验——在 MemoryGuard 部署前写入的投毒内容、或在嵌入/索引层被投毒的内容,在检索时不会被检出;不存在嵌入级完整性校验。可以推断,该方向的后续演进方向之一是仓库中已存在的嵌入信号模块(prompt_injection_embedding.py 同目录的 embedding kNN 证据后端),但它目前只作为 evidence-only 信号接入注入检测,尚不承担向量存储完整性职责。


结语:如何读这份映射

这份映射最有价值的结论不是"覆盖了几项",而是揭示了工具集的一种刻意架构:检测模块与强制执行链路解耦。绝大多数检测器(注入、投毒、限流、供应链、范围守卫)都以完整、可测试的独立组件存在,强制点集中在少数已接线的路径上(MCPGateway 五段管道、ContentHashInterceptor 严格模式、MAF 适配器的流氓检测中间件、工具允许名单与调用上限)。对使用者而言,这意味着:

  1. 开箱即用的强制集中在 MCP 工具治理与执行权限(环、kill switch、允许名单、调用上限);
  2. 其余防护需要显式接线——按映射文档的建议,用 AgentControl 标志控制的统一自动装配(限流 → scope guard → 内容检查的顺序)是收益最大的单点改造;
  3. 范围边界是明确的:训练流水线投毒、事实准确性、模型窃取防护均不属于工具集职责,需要上层或应用层补齐;
  4. 文档结论存在时间差:映射撰写时点的问题(如 allowlist 无校验)在部分模块的当前源码中已有修复迹象,引用具体结论时应核对对应版本的源码。
登录后查看全文
agent-governance-toolkit