Qwen3.5-397B-A17B-singprobe 性能深度评估:23 项基准测试全方位验证流式安全护栏与幻觉检测实力
Qwen3.5-397B-A17B-singprobe 性能深度评估:23 项基准测试全方位验证流式安全护栏与幻觉检测实力
本文带来 Qwen3.5-397B-A17B-singprobe 的性能深度评估:围绕 23 项基准测试,全方位验证这款流式安全护栏与幻觉检测探针的真实实力,帮助新手快速判断它是否值得部署到你的生产环境。
一分钟看懂 SingProbe 是什么 👀
SingProbe 是一种内流式护栏(intrinsic streaming guardrail):它不再额外运行一个独立的安全模型,而是直接复用基座模型 Qwen3.5-397B-A17B 生成时的中间隐状态(hidden states),在每生成一个 token 时同步输出三类打分:
- 查询意图(query intent):识别用户问题的意图类别
- 回复不安全度(response unsafety):实时判断正在生成的内容是否越线
- 幻觉风险(hallucination risk):评估回答"一本正经胡说八道"的概率
| 关键指标 | 数值 |
|---|---|
| 探针参数量 | 8.13M |
| 采集层(tapped layers) | 第 18、38、58 层 |
| 输出标签 | 8 类意图 + unsafe + hallucination |
| 解码开销 | < 0.5% |
💡 对新手来说最关键的一点:探针参数只有 8.13M,相比 397B 的基座模型几乎是"零负担",这就是它能做到解码开销不到 0.5% 的原因。
23 项基准测试:四类任务逐项拆解
官方在 README.md 中给出了完整的评测表格,覆盖 6 + 8 + 3 + 6 = 23 项基准测试(所有指标均为"越高越好"):
查询意图分类(6 项基准)
| 指标 | SingProbe | 参考基线 |
|---|---|---|
| F1 | 0.8750 | YuFeng-XGuard-Reason-8B:0.8714 |
在 6 个意图分类基准上,SingProbe 以 0.8750 的 F1 小幅领先 8B 级专用安全模型 YuFeng-XGuard-Reason-8B,且无需独立部署安全模型。
回复安全分类(8 项基准)
| 指标 | SingProbe | 参考基线 |
|---|---|---|
| F1 | 0.8696 | Qwen3Guard-Gen-8B-strict:0.8604 |
8 项回复安全分类基准上 F1 达到 0.8696,同样超过 Qwen3Guard-Gen-8B-strict 基线。
流式安全检测(3 项基准)——核心强项 🏆
| 指标 | SingProbe | 参考基线 |
|---|---|---|
| R-AUC | 0.9905 | Qwen3Guard-Stream-8B-strict:0.9640 |
| T-AUC | 0.9339 | Qwen3Guard-Stream-8B-strict:0.8893 |
这是本评估中差距最大的一项:R-AUC 0.9905 意味着在流式(边生成边检测)场景下,SingProbe 能以极高准确率识别出不安全片段;T-AUC 0.9339 则说明它还能更早地发现问题——对流式场景而言,"发现得早"意味着有更多时间做拦截或改写。
幻觉检测(6 项基准)
| 指标 | SingProbe | 参考基线 |
|---|---|---|
| AUC | 0.8117 | DRIFT:0.8000 |
在 6 个幻觉检测基准上 AUC 为 0.8117,超越此前专门的幻觉检测方案 DRIFT(0.8000)。
部署友好度:误报率与延迟开销 🔍
安全护栏最怕"误杀"正常回答。官方给出的两项部署特性(见 README.md):
- 正常回复误报率:0.03%(5 个数据集平均)——即每 10000 条正常回复约只有 3 条会被误判,对线上业务几乎无感
- 解码开销 < 0.5%——护栏基本不拖慢生成速度
这两项数据是流式护栏能否落地的分水岭:既保住了召回率(流式 R-AUC 0.9905),又把误伤和延迟压到了极低水平。
架构揭秘:为什么 8.13M 参数就够用 ⚙️
探针的结构定义在 configuration_sing_probe.py 中,从 config.json 可以看到其核心配置:
| 配置项 | 值 | 作用 |
|---|---|---|
base_model_layer_ids |
[18, 38, 58] |
从基座第 18/38/58 层采集隐状态 |
num_attention_heads |
8 | 探针内部使用 8 头注意力 |
sliding_window |
2048 | 滑动窗口注意力,限制单次计算范围 |
num_labels |
10 | 对应 label_0 到 label_9 共 10 个输出 |
torch_dtype |
bfloat16 | 半精度推理 |
模型实现在 modeling_sing_probe.py 中:探针先对采集的三层隐状态做 Q/K/V 投影,当序列超过 2048 时自动切换为滑动窗口注意力(_sliding_window_attention),保证长文本下的计算量可控;最后经 RMSNorm + 线性分类头输出 10 维 logits。权重文件为 model.safetensors。
简单说:基座模型负责"答题",探针负责在答题过程中实时打分,两者共用同一次前向传播,因此开销极低。
快速上手:SGLang / vLLM 一键加载 🚀
SingProbe 已通过 SGLang 和 vLLM 的集成分支提供支持。以 SGLang 为例,启动服务时只需多加一个 --probe-ckpt 参数加载探针:
python -m sglang.launch_server \
--model-path Qwen/Qwen3.5-397B-A17B \
--probe-ckpt inclusionAI/Qwen3.5-397B-A17B-singprobe \
--port 30000
启动后,每生成一个 token,服务都会返回一个包含 label_0 至 label_9 打分的字典,可直接用于意图路由、安全拦截或幻觉告警。
⚠️ 注意:必须使用配套的基座模型与探针对——Qwen3.5-397B-A17B 搭配本 checkpoint,不可与其他 Qwen 版本混用。
如需从仓库获取完整资料,可执行:
git clone https://gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-397B-A17B-singprobe
文件资料速查
| 文件 | 说明 |
|---|---|
| README.md | 模型介绍、评测表格与快速开始 |
| config.json | 探针结构配置(层号、注意力头数、标签数) |
| configuration_sing_probe.py | 探针 Config 类(MLP 版 + 注意力版) |
| modeling_sing_probe.py | 探针模型前向实现 |
| model.safetensors | 8.13M 探针权重 |
总结:这套 23 项基准成绩意味着什么?
✅ 四项任务全面领先:意图分类、回复安全、流式安全、幻觉检测均超过 8B 级专用安全模型或专门方案,其中流式安全 R-AUC 0.9905 优势最明显。
✅ 成本近乎为零:8.13M 参数、< 0.5% 解码开销、0.03% 误报率,适合对延迟敏感的线上流式服务。
✅ 工程门槛低:一行 --probe-ckpt 参数即可接入 SGLang/vLLM,无需改动业务代码。
对于需要"边生成、边审核"的对话或搜索场景,Qwen3.5-397B-A17B-singprobe 用 23 项基准测试证明了自己是当前兼顾检测精度与部署成本的高性价比流式护栏方案。