Qwen3.5-122B-A10B-singprobe常见问题清单:基座配对、参数校验与误报率等10个FAQ
Qwen3.5-122B-A10B-singprobe常见问题清单:基座配对、参数校验与误报率等10个FAQ
Qwen3.5-122B-A10B-singprobe 是一款基于 Qwen3.5-122B-A10B 的流式安全护栏(streaming guardrail)探针模型:它不依赖独立的安全模型,而是在基座模型逐 token 生成时直接复用其隐状态(hidden states),对每个 token 实时打出查询意图、回复不安全与幻觉风险三类分数,解码耗时增加不到 0.5%。本文整理了新手落地时最常遇到的 10 个问题,覆盖基座配对、参数校验报错、误报率与部署方式。
先看懂:这个仓库里都有什么?
| 文件 | 作用 |
|---|---|
| config.json | 探针模型的核心配置:隐层维度、抓取层编号、标签数、基座名称等 |
| configuration_sing_probe.py | SingProbeAttnConfig / SingProbeMlpConfig 配置类定义 |
| modeling_sing_probe.py | SingProbeAttnModel 探针主体:滑动窗口注意力 + 10 路分类器 |
| model.safetensors | 探针权重文件(仅 6.17M 参数,非常轻量) |
| README.md | 官方说明:评测结果、快速上手命令 |
一句话理解:探针本体只有约 617 万参数,却要靠"借"基座模型第 14、30、46 层的隐状态来工作,所以它几乎永远不会独立出现,总是跟着基座模型一起部署。
FAQ 1:singprobe 和普通安全过滤有什么区别?
传统做法是再挂一个独立的安全模型,对完整回复二次审查,延迟高。SingProbe 属于内生式护栏:基座模型每生成一个 token,探针就顺手算一次分数,实现"边生成边检查"。README.md 中给出的实测优势:
- 解码开销 < 0.5%
- 良性回复误报率(false-positive rate)5 个数据集平均仅 0.03%
- 流式安全检测 R-AUC 0.9895 / T-AUC 0.9304,优于同规模专用护栏模型
FAQ 2:基座模型必须配对使用吗?能不能换成其他 Qwen?
必须使用指定配对:Qwen/Qwen3.5-122B-A10B + 本仓库的探针权重,这是 README.md 明确强调的 "Use the exact base-model/probe pair"。
原因在 config.json 里写得很直白:
"base_model_name": "Qwen/Qwen3.5-122B-A10B"声明了绑定关系;"hidden_size": 3072与基座隐状态维度强绑定,换基座后维度不匹配会直接报参数校验错误(见 FAQ 4);"base_model_layer_ids": [14, 30, 46]对应基座网络的具体层编号,换个模型这些层的内容完全不同,探针学到的判别特征也就失效了。
简单说:探针是"为这个基座的这 3 层量身定制的听诊器",换基座等于把听诊器贴错位置。
FAQ 3:config.json 里的 [14, 30, 46] 和 hidden_size 怎么理解?
这是理解输入维度校验的钥匙:
- 探针每次从基座抓取 3 层隐状态(第 14、30、46 层,覆盖浅、中、深三个位置);
- 每层维度
hidden_size = 3072,拼接后输入维度为3072 × 3 = 9216; - 这个值由 configuration_sing_probe.py 中的
input_size属性自动计算:hidden_size * len(base_model_layer_ids)。
所以配置里的 num_attention_heads: 8、head_dim: 64、sliding_window: 2048 等,都是围绕 9216 维输入设计的,改任何一项都可能触发校验失败。
FAQ 4:加载时遇到 "input feature size does not match" 怎么解决?
完整报错为:
ValueError: input feature size {实际维度} does not match hidden_size * number of tapped layers ({期望维度})
该检查位于 modeling_sing_probe.py 的 _validate_input 方法中,触发原因几乎都是基座与探针没有正确配对:
--model-path用了别的模型(如其他尺寸的 Qwen),隐层维度不是 3072;- 抓取层编号与探针训练时不一致,拼接出的输入维度不等于 9216;
- 中间框架没有把 3 层隐状态正确拼接/展平后传给探针。
排查顺序:先核对基座是否为 Qwen/Qwen3.5-122B-A10B → 再核对框架是否按 [14, 30, 46] 抓层 → 最后检查传入探针的张量最后一维是否为 9216。
FAQ 5:输出的 10 个分数(label_0~label_9)分别代表什么?
config.json 中 "num_labels": 10 对应 README.md 说明的 8 类查询意图 + 1 类不安全(unsafe)+ 1 类幻觉(hallucination)。集成框架会为每个生成 token 返回一个包含 label_0~label_9 的分数字典,业务侧可以:
- 用意图分数做入口分流(识别用户在做什么类型的事);
- 用 unsafe 分数做流式拦截(风险分越过阈值即中断或改写);
- 用幻觉分数做内容可信度评估(标记可能"编造"的片段)。
FAQ 6:对正常内容的误报率(false-positive rate)到底多高?
这是新手最关心的一点——护栏模型如果太敏感,会把大量正常回复拦下来。官方给出的数据(见 README.md 的部署特性表):
- 良性回复平均误报率 0.03%,统计自 5 个数据集;
- 翻译过来即:约 1 万条安全回复中,只有 3 条左右会被误判。
对于生产环境,这个数字意味着可以较放心地开启实时拦截策略,同时仍建议按业务风险等级微调阈值,并在灰度期抽样人工复核被拦截样本。
FAQ 7:对推理速度、显存的影响有多大?
- 速度:探针复用基座已算好的隐状态,额外计算量很小,实测解码耗时增加 < 0.5%;
- 显存/存储:探针权重仅 6.17M 参数、
torch_dtype为bfloat16(见 config.json),相对 122B 级基座可忽略不计; - 长上下文场景下,探针注意力默认受
sliding_window: 2048约束,序列超过窗口时会按 2048 长度分块做滑动窗口注意力(实现见 modeling_sing_probe.py 的_sliding_window_attention),避免算力随序列平方增长。
FAQ 8:用 SGLang / vLLM 部署时,参数怎么写?
探针通过 SGLang 或 vLLM 的集成分支加载,核心是启动服务时追加 --probe-ckpt 指向探针的仓库 ID。参考 README.md 的 Quick Start:
python -m sglang.launch_server \
--model-path Qwen/Qwen3.5-122B-A10B \
--probe-ckpt inclusionAI/Qwen3.5-122B-A10B-singprobe \
--port 30000
三个要点:
--model-path必须写基座模型路径,--probe-ckpt写探针,两者缺一不可;- 若需要在本地获取代码与权重,可使用仓库地址
git clone https://gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-122B-A10B-singprobe; - 请求返回的每个 token 附带
label_0~label_9分数,后续策略在业务层实现。
FAQ 9:还有哪些配置会被启动时校验拦截?
除 FAQ 4 的输入维度外,modeling_sing_probe.py 在初始化阶段还会做两类参数校验:
| 校验项 | 条件 | 报错信息 |
|---|---|---|
| 注意力头配置 | num_attention_heads >= 1 且 head_dim >= 1 |
num_attention_heads and head_dim must be positive |
| 滑动窗口 | 若设置 sliding_window,必须为正数 |
sliding_window must be positive |
另外 configuration_sing_probe.py 会对传入的 hidden_size、num_attention_heads、num_labels 等做类型强转,避免字符串型配置流入模型构建。修改配置前建议先对照 config.json 的原值。
FAQ 10:评测表现如何?值不值得选它做护栏?
README.md 汇总了与专用安全模型的对比(均为多基准平均分,"越高分越好"):
| 任务 | 指标 | singprobe | 参考基线 |
|---|---|---|---|
| 查询意图分类(6 基准) | F1 | 0.8697 | YuFeng-XGuard-Reason-8B:0.8714 |
| 回复安全分类(8 基准) | F1 | 0.8680 | Qwen3Guard-Gen-8B-strict:0.8604 |
| 流式安全(3 基准) | R-AUC / T-AUC | 0.9895 / 0.9304 | Qwen3Guard-Stream-8B-strict:0.9640 / 0.8893 |
| 幻觉检测(6 基准) | AUC | 0.7806 | DRIFT:0.8000 |
解读结论:
- 流式安全是它的强项,R-AUC 领先专用流式护栏约 2.5 个百分点;
- 意图分类与 8B 专用模型基本打平,但省去了额外部署一个 8B 模型的算力;
- 幻觉检测 AUC 略低于专用方法 DRIFT,若业务对幻觉极其敏感,建议以"标记 + 人工复核"而非"硬拦截"方式使用该分数。
总结:三条落地军规
- 严格配对:
Qwen/Qwen3.5-122B-A10B+ 本探针,勿混用其他基座(FAQ 2/4); - 先跑通再调阈值:用
--probe-ckpt最小化启动,观察label_0~label_9分布后再定拦截线(FAQ 5/8); - 按场景选指标:流式拦截看 unsafe 分数,内容可信度看幻觉分数,并参考 0.03% 误报率设定告警预期(FAQ 6/10)。
更多方法细节可参考 README.md 中引用的技术报告与训练代码仓库,模型本身遵循 Apache-2.0 许可。