Security-101 课程 8.2：AI 安全能力全景——从防护工具到 AI 红队实践

本课是 Security-101 网络安全入门课程「AI 安全基础」模块（Module 8）的核心一节，系统讲解当前可用于保护 AI 系统的工具与能力分类，并深入剖析「AI 红队（AI red teaming）」与「传统安全红队」的本质差异。读完本文，你将掌握 AI 安全能力版图（自动化测试、对抗性机器学习评估、开源工具包与协作平台），理解 AI 红队为何是一种覆盖恶意与良性失败、包含 Prompt 注入等新型攻击面的扩展实践，并能在真实项目中将其用于 AI 系统的风险评估与防护。

本课在课程体系中的定位

根据仓库根目录的 README.md 模块总览表，整个课程由 8 个模块、33 篇小课组成，每课约需 30～60 分钟，配套小节测验与扩展阅读。「AI 安全基础」模块共 4 课，构成一条完整的学习链路：

课号	主题	学习目标
8.1 AI security key concepts	AI 安全关键概念	理解传统安全与 AI 安全的异同
8.2 AI security capabilities（本课）	AI 安全能力	学习可用的 AI 安全工具与用于保护 AI 的控制措施
8.3 Responsible AI	负责任 AI	理解什么是负责任 AI 及安全从业者需警惕的 AI 特有危害
8.4 End of module quiz	模块测验	通过在线表单完成模块自测

可以看到，8.1 解决「AI 安全是什么、与传统安全差在哪」的概念问题，本课 8.2 则落地到「用什么工具和能力去实施防护」的实操层面，8.3 进一步补足伦理与责任维度。三课内容互相呼应，本课是其中承上启下的能力篇。

当前有哪些工具和能力可以保护 AI 系统

AI 系统由于其学习能力与决策过程的特殊性，面临的威胁（数据投毒、模型逆向、对抗性攻击等）远多于传统 IT 系统。好在当前业界已经形成了一批应对这些威胁的工具与能力，本课将其归纳为四大类。

Counterfit：AI 系统安全测试的开源自动化工具

Counterfit 是一款用于 AI 系统安全测试的开源自动化工具，定位是帮助组织开展 AI 安全风险评估，并验证其算法（模型）的健壮性（robustness）。它把针对机器学习模型的攻击与评估流程自动化，是组织将 AI 安全测试纳入常规安全流程的重要抓手。

原文表述：Avoimen lähdekoodin automaatiotyökalu AI-järjestelmien turvallisuustestaukseen, joka auttaa organisaatioita tekemään AI-turvallisuusriskien arviointeja ja varmistamaan algoritmien luotettavuuden.（开源自动化工具，用于 AI 系统安全测试，帮助组织进行 AI 安全风险评估并确保算法的可靠性。）

对抗性机器学习工具（Adversarial Machine Learning Tools）

这类工具的核心价值在于评估机器学习模型对抗对抗性攻击（adversarial attacks）的韧性。对抗性攻击是指攻击者对输入数据施加轻微、往往人眼难以察觉的改动，即可诱导模型产生错误判断或错误预测——这正是 8.1 AI security key concepts 中强调的 AI 特有攻击面。对抗性机器学习工具通过模拟这类攻击，帮助团队识别并缓解模型中的漏洞，验证模型在真实攻击场景下的鲁棒性。

AI 安全工具包（AI Security Toolkits）

社区中有大量开源工具包可供直接使用，它们为保护 AI 系统提供了现成资源，包括用于实施安全措施的库（libraries）与框架（frameworks）。这类工具包的价值在于将安全能力封装为可复用组件，让组织不必从零构建防护逻辑，即可快速补齐数据、模型、推理链路等环节的安全控制。

协作平台（Collaborative Platforms）

AI 安全不仅是单一组织的问题，更是企业与 AI 社区之间的协作课题。通过建立合作伙伴关系，各方共同开发 AI 专用的安全扫描器（AI-specific security scanners）及其他工具，从而**保护 AI 供应链（AI supply chain）**的安全。这一点与课程此前反复强调的供应链安全原则一脉相承——AI 系统的组件（训练数据、预训练模型、第三方依赖）一旦被污染或植入后门，将威胁整个系统。

四类能力的组合价值

能力类别	核心作用	适用环节
Counterfit	自动化安全测试与风险评估	模型上线前的安全评估
对抗性机器学习工具	评估模型对对抗攻击的韧性、识别漏洞	模型开发与验证阶段
AI 安全工具包	提供库与框架，落地安全控制措施	安全措施的工程化实施
协作平台	联合开发扫描器与工具，保障 AI 供应链	供应链安全与生态共建

本课总结指出：这些工具与能力属于一个持续成长的新兴领域，致力于提升 AI 系统抵御多样化威胁的能力；它们代表了研究、实用工具与产业协作的结合，共同应对 AI 技术带来的独特挑战。简言之，单靠传统安全工具无法覆盖 AI 特有的攻击面，上述四类能力共同构成了当前 AI 安全防护的实战工具箱。

AI 红队：与传统安全红队的关键差异

红队（red teaming）在传统网络安全中指通过模拟攻击者视角，主动探测系统漏洞的安全实践。而 AI 红队（AI red teaming） 在多个关键维度上与传统安全红队存在显著差异，本课从五个方面展开对比。

1. 聚焦 AI 系统而非传统 IT 基础设施

传统红队的目标是 IT 基础设施（网络、主机、应用），而 AI 红队专门瞄准 AI 系统的独特漏洞，例如机器学习模型本身、数据管道（data pipelines）等。也就是说，攻击面从「软件 + 基础设施」扩展到了「数据 + 模型 + 算法」，这正是 8.1 课所指出的 AI 攻击面更大的根源。

2. 测试 AI 行为：异常与意外输入

AI 红队测试 AI 系统对异常或意外输入的反应。由于 AI 的决策依赖统计学习而非确定性规则，一个看似无害的输入变化可能引发完全错误的输出。通过系统性地投喂异常输入，红队可以发现攻击者可能利用的漏洞——这是传统漏洞扫描难以覆盖的行为级测试。

3. 探索 AI 故障：恶意与良性失败并重

与传统红队只关注「安全漏洞」不同，AI 红队同时审视恶意（malicious）与良性（benign）的失败。它考虑更广泛的用户画像（personas）与潜在的系统级故障，而不仅仅局限于安全破坏场景。例如一个模型在正常使用中因训练数据偏差产生歧视性输出，虽非「攻击」导致的漏洞，却同样是红队需要发现并报告的系统失败。

4. Prompt 注入与内容生成攻击

AI 红队的核心探测内容之一就是 Prompt 注入（prompt injection） 这类新型攻击：攻击者通过精心构造的提示词操纵 AI 系统，使其生成有害或缺乏依据（ungrounded）的内容。随着大语言模型与生成式 AI 的普及，这类攻击已成为 AI 红队必须覆盖的典型失败模式，也是传统红队完全不涉及的领域。

5. 道德与负责任 AI 设计

AI 红队是**「负责任 AI 设计」（responsible AI by design）**的组成部分，确保 AI 系统在面对各种试图使其「偏离预期行为」的尝试时保持稳健。换言之，红队不仅为安全而测，也为 AI 的可靠性、公平性与可控性而测，这与 8.3 Responsible AI 中强调的公平、问责、稳健等原则直接呼应。

AI 红队的整体定位：一种扩展的安全实践

综合来看，AI 红队是一种扩展后的实践（expanded practice）：它既覆盖传统意义上的安全漏洞探测，又额外包含 AI 技术所特有的其他类型系统失败测试。通过理解并缓解 AI 部署带来的新型风险，AI 红队是开发更安全 AI 系统的关键环节。

可以用下表快速对照二者的差异：

维度	传统安全红队	AI 红队
目标对象	IT 基础设施、应用	机器学习模型、数据管道等 AI 系统
测试方式	渗透测试、漏洞扫描	异常/意外输入下的行为测试
失败范围	以安全漏洞为主	恶意失败 + 良性失败，覆盖更多画像
典型攻击面	网络、主机、应用漏洞	Prompt 注入、对抗样本、内容生成滥用
目标边界	保障系统安全	安全 + 负责任 AI 设计（稳健、可控、符合预期）

与其他课程内容的衔接

• 概念基础（8.1）：本课提到的对抗性攻击、模型逆向、数据投毒等威胁面，均源于 8.1 AI security key concepts 对「AI 安全与传统安全差异」的系统阐述；同时，AI 安全仍沿用传统安全的基本原则（威胁防护、漏洞管理、数据安全、供应链安全），本课的工具与红队实践正是这些原则在 AI 场景下的落地。
• 伦理与责任（8.3）：8.3 Responsible AI 从公平、透明、问责、隐私保护等角度给出了 AI 系统「既安全又合乎伦理」的实践清单（如遵循伦理准则、实施主动安全测试与 AI 信任/风险/安全管理项目、保障透明可解释、维护数据隐私、引入人类监督等），与 AI 红队共同构成完整的 AI 治理闭环。
• 模块自测（8.4）：学完本课可通过 8.4 End of module quiz 中的在线测验检验对 AI 安全能力与红队实践的掌握程度。

扩展学习建议

原文档在「Further reading（Lisälukemista）」部分还推荐了以下方向供深入钻研（这些资源列于原文档中，可按标题检索）：

• Microsoft AI Red Team 构建更安全的 AI 未来（Microsoft Security Blog）：了解微软 AI 红队的一线实践与安全方法论。
• 微软开源自动化框架（open automation framework）红队化生成式 AI 系统（Microsoft Security Blog）：介绍用于对生成式 AI 系统进行自动化红队测试的开源框架，与本课「AI 安全工具包 + 自动化测试」主题直接相关。
• AI 安全工具：开源工具包（Wiz Academy）：进一步盘点开源 AI 安全工具生态。

此外，若希望系统巩固整个 AI 安全模块，建议按「8.1 概念 → 8.2 能力（本课）→ 8.3 负责任 AI → 8.4 测验」的顺序完成学习，并结合 README.md 中给出的课程总览把握全貌。

说明：本课内容翻译自课程原始英文文档 8.2 AI security capabilities，原文以英文为准。