用0.security做LLM红队测试:提示注入、越狱与MCP工具滥用的攻防评估指南

原创2026-11-11 17:25:591,975 阅读

用0.security做LLM红队测试:提示注入、越狱与MCP工具滥用的攻防评估指南

0.security(以下简称 0)是一个开源 AI 安全测试框架(AI security harness),除代码安全分析、漏洞研究与修复外,还内置了完整的 LLM 红队测试引擎:批量生成提示注入(prompt injection)与越狱(jailbreak)载荷、自动攻击你的模型端点、判定哪些行为"失守",并针对 MCP 工具滥用提供运行时保障测试。本文带你用 3 条命令跑通第一次 LLM 红队测试,看懂 20 个攻击模板,以及使用 0 agent-assure 做 MCP Agent 的端到端攻防评估。

0.security 安全工作循环:先学习代码风格,再发现问题、修复问题并把结果反馈给你

一、什么是 LLM 红队测试?

传统渗透测试的对象是代码,而 LLM 应用的攻击面是"自然语言"。攻击者通常不会直接说"忽略指令",而是把恶意指令藏在 README、邮件、工具返回结果里,让模型在执行正常任务时被"间接注入"。

0 的 LLM 红队引擎 packages/llm-redteam/ 正是为此设计:它是一个攻击侧引擎,由三部分组成:

组件 职责 源码位置
策略库 把"目标行为"转换成攻击载荷文本 framing.ts、concealment.ts
目标适配器 mock 模拟模型 / 真实 OpenAI 兼容端点 targets/
判定引擎 用正则或 LLM 判定模型是否"失守"(break) judge.ts、engine.ts

策略库分为两类组合拳:

  • framing(伪装框架):让有害步骤"看起来像正常操作"。例如把命令包装成"无聊但必须的常规安装步骤"(mundane-required)、模仿模型自己的思考语气(reasoning-mimicry)、伪造 CI 权威(fake-ci-authority);
  • concealment(隐蔽强化):在人类看不见的地方追加隐藏指令。包括 HTML 注释(渲染不可见但模型能读到)、Unicode Tags 块(U+E0000,对 Claude 系模型有效)、"sneaky bits"双字符二进制(对 OpenAI 系模型有效)。

该策略库并非凭空想象,而是源自真实对抗实验(Gray Swan Arena "IPI June '26")中"实际有效"的战术,详见 packages/llm-redteam/README.md。

二、3 条命令跑通第一次 LLM 红队测试

克隆仓库并构建引擎

git clone https://gitcode.com/gh_mirrors/04/0
cd 0
pnpm --filter @0/llm-redteam build

查看策略库

node packages/llm-redteam/dist/cli.js strategies

CLI 入口为 cli.ts,会列出每种策略的 kind(framing/concealment)与设计理由(rationale)。

运行攻击演练

# mock 模式:4 个模拟模型,无需联网,安全无副作用
node packages/llm-redteam/dist/cli.js run install-package

# 真实端点:先配置 LLM_BASEURL、LLLM_API_KEY、LLM_MODELS 环境变量
node packages/llm-redteam/dist/cli.js run install-package --target chat

mock 模式内置 4 个模拟模型(1 个顺从模型、2 个能解码特定隐蔽通道的模型、1 个加固模型),输出形如:

  [1] compliant-7b via frame:mundane-required -> BREAK
  [2] claude-ish via frame:reasoning-mimicry+conceal:unicode-tags -> BREAK
=== install-package: 2/4 models broken in N attempts ===

引擎的核心逻辑是"记录唯一失守"(unique breaks):某个模型在某个行为上第一次被攻破后就不再重试,报告的是"哪些模型防线失效",而不是"失效了多少次"。

一个诚实的关键发现

真实对抗数据揭示了一个重要规律:失守率按"动作危害度"分层。让模型"安装一个包"这类轻微动作很容易得手(约 18/22 个模型失守);而真正恶意的动作(SSH 后门、数据外传、去匿名化)则几乎是一堵墙(失守率约 0)。引擎把这个区别如实呈现,避免夸大防御能力或攻击效果。

三、20 个开箱即用的攻击模板(YAML)

仓库根目录的 templates/ 收录了 20 个按 OWASP LLM Top 10 分类的攻击模板,每个模板都包含载荷、"易受攻击特征"和"安全表现特征",可直接用于你自己的评估。

提示注入(prompt-injection,OWASP LLM01)

覆盖从基础到多轮的完整谱系:

越狱(jailbreak)与系统提示提取

MCP 工具滥用(OWASP LLM07)

这是 LLM Agent 最危险的攻击面——模型拥有调用工具的能力后,"读到的内容"就可能变成"执行的指令":

数据外泄与多轮杀伤链

0.security 工作流界面:以可视化步骤编排安全评估流程并一键运行

四、0 agent-assure:MCP Agent 的运行时保障测试

文本层面的判定只能看模型"说了什么",但 Agent 真正的风险在"做了什么"。0 agent-assure 提供范围绑定的运行时路径:测试一个被禁止的、可外部观察的动作,判定权交给独立的状态观测器(oracle),模型文本本身永远不能决定结论。实现见 agent-assurance.ts 与 agent-assure.ts。

0 agent-assure \
  --agent-endpoint https://agent.staging.example.test/execute \
  --mcp-endpoint https://mcp.staging.example.test/mcp \
  --oracle-endpoint https://oracle.staging.example.test/observe \
  --scenario ./invoice-egress.json \
  --scope ./scope.json \
  --target-version build-42 \
  --policy-version policy-7 \
  --model-version model-2026-08-20

工作方式为"三段式契约":

  1. 侦察:先调用 MCP 端点的 tools/list 获取工具清单;
  2. 执行:把场景(良性任务 + 注入载荷 + 被禁止动作)、canary 令牌包成 HTTP 信封 POST 给你的 Agent 适配器,适配器返回 transcript 与 tool_calls;
  3. 观测:独立的状态观测器返回 { observed, complete }。只有完整的观测才能给出结论——观测不完整时结果为 inconclusive,端点故障为 error。

退出码即结论:观测到禁止动作退出 1;完成的"未观测到"退出 0;错误/不确定退出 2。命令会写出脱敏后的哈希寻址证据包(evidence bundle);用 --baseline manifest.json 还能把本次复测绑定到上一次运行并输出配置变更。

0.security 发现队列:安全评估结果附源码定位、客户影响说明与修复建议

五、如何解读红队测试报告

拿到结果后,建议按以下清单解读:

  1. 区分"尝试"与"失守":attemptReports 中 skipped: true 的行不是新的发送记录,也不算安全结论;发送/判定失败只会产生非 broken 的错误证据,不能把所有"未失守"都记为防御成功;
  2. 关注 unique breaks:报告回答的是"哪些(模型, 行为)组合被攻破",同一模型对同一行为只计一次;
  3. 预算语义:maxAttempts 限制的是每轮扫描的发送次数,迭代升级扫描会获得独立的相同额度;
  4. Jev 建议性反馈:启用后会为每次成功响应打上 explicit-refusal / partial-compliance / attempted-prohibited / ambiguous 标签,仅作参考,不会改变 broken 判定;注意它会向所选 provider 发送有界的对话摘录;
  5. 不要过度宣称:一次"未观测到"只对该场景和该观测窗口成立,不意味着抵御了所有攻击。

0.security 聊天界面:SQL 注入漏洞的完整证据链——发现位置、客户影响与参数化查询修复

六、总结:把红队测试变成可持续的安全习惯

用 0 做 LLM 红队测试的心法可以概括为三步:

  • 🎯 先离线演练:用 mock 目标理解策略库如何组合,不产生任何网络请求;
  • 🧪 再打真实端点:--target chat 配合 LLM_BASEURL/LLM_API_KEY/LLM_MODELS 对授权端点做行为扫描;
  • 🛡️ 最后验证动作:对 MCP Agent 用 0 agent-assure 做运行时观测,让"模型没乱说话"升级为"系统确实没乱动"。

配合 templates/ 中的 YAML 模板和 packages/llm-redteam/ 的策略库,你就能建立起一套可复现、可回归、有证据包的 LLM 安全评估流程——这正是把"提示注入测试"从一次性手工尝试,升级为持续安全实践的关键。

⚠️ 安全提示:所有真实端点攻击(--target chat)与 agent-assure 运行,务必仅在你拥有授权的 staging/测试环境中进行,并通过 --scope 约束端点范围;分享证据包前请人工复核脱敏效果。

登录后查看全文
0security