SingGuard-NSFA基准测试详解:9.6万样本、133种语言,F1领先最强竞品6-12个点
SingGuard-NSFA基准测试详解:9.6万样本、133种语言,F1领先最强竞品6-12个点
SingGuard-NSFA 是面向 Agent(agentic AI)系统的双模式安全防护栏(guardrail)框架,能实时拦截提示词注入、敏感信息窃取、恶意代码请求等操作型威胁。本文详解它的三大基准测试设计——覆盖 9.6 万样本、133 种语言,以及其 F1 得分领先最强竞品 6-12 个百分点的完整由来,帮助新手快速看懂这套安全评测方法。
🛡️ SingGuard-NSFA 是什么?
一句话概括:给 AI Agent 装的"安检门"。
当 AI Agent 开始自主执行操作(调用工具、读写文件、发起网络请求)时,传统"只拦坏话"的审核远远不够。SingGuard-NSFA 关注的是 Agent 会做什么,而非模型会说什么,专门拦截以下操作型威胁:
- 💉 提示词注入与越狱(Prompt Injection & Jailbreak)
- 🐛 恶意代码与网络攻击请求(Malicious Code & Cyberattack)
- 🔑 敏感信息窃取(Sensitive Information Stealing)
- ⚠️ 危险操作与工具滥用(Dangerous Operations & Tool Abuse)
- 🔥 资源耗尽攻击(Resource Abuse)
它由蚂蚁集团 AI 安全实验室团队开发,基于 Apache 2.0 协议开源,底座为 Qwen3.5 系列(0.8B / 2B / 4B / 9B 四种规模),本仓库正是 9B 版本的 GGUF 量化模型。项目说明见 README.md。
📊 9.6 万样本是怎么来的:三大基准测试
这是本文的核心。SingGuard-NSFA 没有"蹭"公开数据集,而是**专门构建(purpose-built)**了三套多语言基准,合计 96,838 条样本,全部覆盖 133 种语言:
| 基准测试 | 样本总数 | 正:负样本比 | 风险域 | 风险变体数 | 语言数 |
|---|---|---|---|---|---|
| NSFA_Query_Multilingual | 63,431 | 29,474 : 33,957 | 5 | 160 | 133 |
| NSFA_Response_Multilingual | 29,972 | 14,314 : 15,658 | 2 | 25 | 133 |
| NSFA_CrossSource_Query_Multilingual | 3,435 | 2,315 : 1,120 | 5 | — | 133 |
| 合计 | 96,838 | — | — | — | 133 |
💡 "正样本"指真实存在风险的样本,"负样本"指安全无害的样本。三套基准的正负比都刻意保持均衡(接近 1:1),避免模型靠"猜安全"就能蒙对分数。
1️⃣ Query 基准:6.3 万条"攻击侧"样本
NSFA_Query_Multilingual 模拟用户输入(输入安检)。它覆盖 5 个一级风险域、160 个三级风险变体,共 6.3 万条。模型要在 Agent 执行之前,先判断"这句话该不该被放行"。
2️⃣ Response 基准:3 万条"输出侧"样本
NSFA_Response_Multilingual 模拟 Agent 的回复(输出安检),覆盖 2 个风险域、25 个变体:
- 🚧 危险行为生成(Hazardous Action Generation)
- 📤 敏感信息泄露(Sensitive Information Leakage)
它检验的是:Agent 有没有在回答里"带坏东西出去"。
3️⃣ CrossSource 基准:3,400 条"真·独立"样本
这是最能服人的一套。NSFA_CrossSource_Query_Multilingual 由 5 个公开的 Agent 安全数据集改编而来:AgentDojo、InjecAgent、AgentHarm、AgentDyn、ATBench。因为与训练数据从构造上就完全独立,它最能反映模型在"没见过的新场景"下的真实泛化能力。
🌍 为什么坚持 133 种语言?
多数安全模型只在英语上评测,可真实世界的注入攻击会用任何语言发起。SingGuard-NSFA 的三套基准全部覆盖 133 种语言(从阿拉伯语、中文到祖鲁语),确保防护栏不会因为"换了种语言就失效"。
📌 官方建议:对低资源语言部署,最好再用本地语料做一次补充评测。
🔍 标注质量:7 模型多数投票 + MinHashLSH 去重
好分数靠好数据。两套自建基准采用了严格的双重质控:
- 🗳️ 7 模型多数投票标注:用 7 个模型对每条样本独立判断,取多数结果作为标签,大幅降低单一模型偏见。
- ✂️ MinHashLSH 去重:在"训练-评测"边界做激进去重,防止评测样本和训练数据"撞脸"导致分数虚高。
- 📝 独立提示模板:评测用了与训练数据不同的 prompting 模板,进一步隔离"背题"可能。
🏆 F1 领先最强竞品 6-12 个点,凭什么?
在所有三个基准上,SingGuard-NSFA 的 F1 均超过 94%,并领先最强竞品 6-12 个绝对百分点——这不是小数点的差距,而是安全领域的"代差"。
论文的结果总览图(teaser results)中,SingGuard-NSFA 的生成推理模式(蓝色)在三大基准上全面压过所有竞品(灰色),且是唯一在三套基准上"全胜"的选手。部分竞品甚至不支持回复侧检测(标记为 N/A)。
更妙的是它的可扩展性:把 NSFA 分类头"嫁接"到竞品 Llama Guard 3 上,仅查询检测的 F1 就提升了 17.6 个点,直接把它推到外部防护栏第一名。这证明其架构是可复用的"增强插件"。
⚙️ 双检测模式:实时分类 vs 生成推理
SingGuard-NSFA 的核心设计是"一个底座,两种用法":
| 模式 | 原理 | 速度 | 适用场景 |
|---|---|---|---|
| 实时分类(在线拦截) | 冻结底座 + 轻量 MLP 分类头,单次前向输出风险概率 | 约 45-57 ms/样本(A100) | 高并发在线流量,快速筛查 |
| 生成推理(离线审计) | 自回归生成思维链风险分析 + 结构化风险判定 | 较慢 | 合规审计、事故调查、人工复核 |
- ⚡ 实时分类:把最后一个 token 的嵌入喂给每个风险域的 MLP 分类头,单样本约 50 ms 出分,可按风险容忍度设置阈值。
- 🧠 生成推理:模型先"讲清楚为什么有风险",再给出风险类型判定,完整可解释,适合事后追责。
📑 185 个风险变体:NSFA 分类体系
所有评测都基于 NSFA(Not-Secure-For-Agents)分类法——一套以 CIA 三性(机密性/完整性/可用性)为根基、并与三份 OWASP 指南交叉验证的分层分类,共 185 个风险变体:
- 查询侧:5 个一级域 → 24 个二级风险 → 160 个三级变体(其中"提示注入与越狱"横跨全部 CIA 三性)
- 回复侧:2 个一级域 → 4 个二级风险 → 25 个三级变体
这种"域-风险-变体"三层结构,让新风险类型可以随时只训练一个轻量分类头就加入,无需重训整个底座。
📦 快速上手:本仓库的三种 GGUF 量化文件
GGUF 是便于本地/边缘部署的量化格式。本仓库提供 9B 模型的三种精度,按需选择:
| 模型文件 | 量化 | 精度 | 适合场景 |
|---|---|---|---|
| Sing-Guard-9B-F16.gguf | F16 | 16 位浮点 | 最高精度,全精度基线 |
| Sing-Guard-9B-Q8_0.gguf | Q8_0 | 8 位 | 高质量均衡,推荐默认 |
| Sing-Guard-9B-Q4_K_M.gguf | Q4_K_M | 4 位 K-量化 | 体积最小,低显存/边缘环境 |
💡 想跑在内存紧张的设备上?优先选 Q4_K_M;追求检测精度优先,选 Q8_0 或 F16。
⚠️ 适用场景与边界
了解边界,才能用对。SingGuard-NSFA 是单轮、纯文本防护栏,以下场景不在覆盖范围:
- ❌ 多轮对话 / 轨迹级威胁(如渐进式目标劫持)
- ❌ 多模态威胁(图片、音频、视频)
- ❌ 多 Agent 系统间的通信投毒
- ❌ 内容安全审核(色情、暴力、涉毒等"说"层面的合规)
- ❌ 用于生成或规避检测的攻击用途(它是纯防御工具)
官方建议:把它和"多轮轨迹分析工具"搭配使用,才能构成完整的 Agent 安全防线。
💡 写在最后
SingGuard-NSFA 用9.6 万条样本、133 种语言、严格的双重复核,把 Agent 安全评测从"拍脑袋"拉回了"可量化"。F1 全面领先竞品 6-12 个点、94% 以上的稳定表现,加上"一个底座、两种模式、可扩展分类头"的工程设计,让它成为当前值得关注的开源安全基座。
如果你正为 Agent 系统搭建第一道安全防线,不妨从这个 9B 的 GGUF 版本起步,先用 Q8_0 感受它的实时检测能力。