读懂SingGuard-NSFA评测基准:9万+样本多语言测试的方法论全解析
读懂SingGuard-NSFA评测基准:9万+样本多语言测试的方法论全解析
SingGuard-NSFA 是面向 Agentic AI(智能体)的双模式安全护栏模型,支持 133 种语言,可检测提示注入、敏感信息窃取、危险工具滥用等风险。本文带你完整拆解它背后 9 万+ 多语言样本的评测基准集:测了什么、怎么构建、为什么结果可信。
一、什么是 SingGuard-NSFA?先认识"被测对象"
在讲基准之前,先弄清它在测什么。🧐
SingGuard-NSFA 基于 NSFA(Not-Secure-For-Agents) 风险分类体系——一个以 CIA 三性(保密性、完整性、可用性)为根基的层级分类,覆盖 185 种风险变体,并与三份 OWASP 指南交叉验证:
- 输入侧(Query):5 大风险域、160 个变体——提示注入与越狱、恶意代码与网络攻击、敏感信息窃取、危险操作与工具滥用、资源滥用
- 输出侧(Response):2 大风险域、25 个变体——危险行为生成、敏感信息泄露
模型提供两种推理模式:
- 生成式推理:先输出一段完整风险分析,再给出结构化风险判定,适合合规审计与事件复盘
- 实时分类:轻量分类头单次前向传播完成风险打分,单样本约 50 ms,适合高吞吐在线流量
共发布 0.8B / 2B / 4B / 9B 四种尺寸,均基于 Qwen3.5 基座微调。模型细节与使用示例见 README.md。
二、三套基准共 9 万+ 样本:多语言测试集长什么样
项目使用 3 个多语言基准 完成评测,合计 96,838 条样本,全部覆盖 133 种语言:
| 基准 | 总样本量 | 正:负比例 | 风险域 | 风险变体 | 语言数 |
|---|---|---|---|---|---|
| NSFA_Query_Multilingual | 63,431 | 29,474 : 33,957 | 5 | 160 | 133 |
| NSFA_Response_Multilingual | 29,972 | 14,314 : 15,658 | 2 | 25 | 133 |
| NSFA_CrossSource_Query_Multilingual | 3,435 | 2,315 : 1,120 | 5 | — | 133 |
2.1 输入侧基准:63,431 条"恶意提问"测试
最大的一套,专门考察输入护栏——Agent 执行动作之前,能否识别出恶意用户查询。5 大风险域的 160 个变体被翻译到全部 133 种语言,正负样本接近 1:1.15,意味着模型既要被考"找得出恶意",也要被考"别误伤正常提问"(误报率)。
2.2 输出侧基准:29,972 条"危险回答"测试
这套考察输出护栏:Agent 生成的回复中若包含危险行为或信息泄露,模型能否拦截。2 大域扩展出 25 个三级变体,正负比例约 1:1.1,同样兼顾漏报与误报。
2.3 跨来源基准:一道"开卷之外的期末考"
3,435 条样本改编自 5 个公开 Agent 安全数据集:AgentDojo、InjecAgent、AgentHarm、AgentDyn 与 ATBench。
它的价值在于构造上的天然独立——与训练数据完全无关,相当于突击期末考,能有效检验模型是否只是"背下了训练题"。
三、方法论三大亮点:为什么结果可信
这套评测最见功力的地方,是以下三个核心设计。
3.1 提示模板与训练数据不同:防止"背题"
两套自建基准使用了与训练数据不同的提示模板。大模型极易对格式"模式记忆"——若测试题与训练题措辞模板一致,模型靠套模板也能拿高分。更换模板后,模型必须真正理解风险语义才能得分,这才是有效评测。
3.2 七模型多数投票标注:人机协同定标准答案
样本标签来自七模型多数投票标注协议——七个模型独立判断,取多数意见作为标准答案。相比单人人工标注,多模型投票在 9 万+ 样本、133 种语言的规模下更具一致性与可复现性,也避免了单一批判者引入的主观偏差。
3.3 MinHashLSH 跨边界去重:堵住数据泄漏漏洞
这是评测中最硬核的细节:项目用 MinHashLSH(局部敏感哈希)对训练-评测边界做近似去重,即检查测试样本与训练样本是否存在"近似重复"并予以过滤。
为什么必要?数据泄漏(测试题混进训练集)是模型评测最常见的硬伤,会让 F1 分数沦为自欺。纯文本精确比对只能找出"完全相同"的样本,而 LSH 近似检测能在 9 万+ 规模上高效捞出"几乎一样"的变体。
3.4 正负样本配比有讲究
两套自建基准正负样本均接近 1:1,跨来源集保持约 2:1 的正例偏重。均衡配比能防止模型靠"全判安全"或"全判危险"刷高 F1——这是评测设计中最基础、却最容易被忽略的细节。
四、如何解读结果:94% F1 到底意味着什么
项目以 F1 分数(精确率与召回率的调和平均)报告结果:
- 0.8B ~ 9B 全部四个模型在三个基准上 F1 均超过 94%
- 比最强的竞争护栏领先 6–12 个 F1 绝对百分点
- 0.8B 小模型在资源受限的边缘设备上同样保持 94%+ F1
新手可以这样理解 F1:它同时约束"漏报少"和"误拦少",94%+ 且对竞品有 6–12 分优势,是相当扎实的领先幅度。
⚠️ 注意:NSFA 分类聚焦Agent 操作安全(Agent 会"做什么"),而非文本内容合规(模型会"说什么")。色情、暴力等风险不在评测范围内,请勿把它当作内容审核工具使用。
五、获取模型:本仓库的 3 个 GGUF 量化版本
当前仓库正是 SingGuard-NSFA 0.8B 的 GGUF 量化版,包含三档精度,可直接配合 llama.cpp 类推理框架加载:
| 文件 | 精度 | 适用场景 |
|---|---|---|
| Sing-Guard-0.8B-F16.gguf | F16 半精度 | 显存充足时的最高精度选择 |
| Sing-Guard-0.8B-Q8_0.gguf | Q8_0 | 精度与体积均衡 |
| Sing-Guard-0.8B-Q4_K_M.gguf | Q4_K_M | 体积小,内存受限环境首选 |
一句话建议:内存富余选 F16,追求轻量部署选 Q4_K_M。
六、总结:这套评测方法论的四个关键数字
- ✅ 96,838 条样本、133 种语言:三套基准覆盖输入+输出两侧,规模足以支撑多语言结论
- ✅ 三道防泄漏防线:不同提示模板 + 七模型多数投票标注 + MinHashLSH 跨边界去重
- ✅ 跨来源独立验证:改编自 5 个公开数据集,证明模型不是"背题型选手"
- ✅ 94%+ F1 且全面领先竞品 6–12 分:四尺寸模型一致达标,小模型可上边缘设备
如果你在构建 Agent 系统并想挑选安全护栏,SingGuard-NSFA 的评测方法论也给出了一个可参考的范本——多语言安全评测,应当这样严谨地做。