Qwen3.5-122B-A10B-singprobe常见问题清单:基座配对、参数校验与误报率等10个FAQ

原创2026-10-16 10:54:561,847 阅读

Qwen3.5-122B-A10B-singprobe常见问题清单:基座配对、参数校验与误报率等10个FAQ

Qwen3.5-122B-A10B-singprobe 是一款基于 Qwen3.5-122B-A10B 的流式安全护栏(streaming guardrail)探针模型:它不依赖独立的安全模型,而是在基座模型逐 token 生成时直接复用其隐状态(hidden states),对每个 token 实时打出查询意图、回复不安全与幻觉风险三类分数,解码耗时增加不到 0.5%。本文整理了新手落地时最常遇到的 10 个问题,覆盖基座配对、参数校验报错、误报率与部署方式。

先看懂:这个仓库里都有什么?

文件 作用
config.json 探针模型的核心配置:隐层维度、抓取层编号、标签数、基座名称等
configuration_sing_probe.py SingProbeAttnConfig / SingProbeMlpConfig 配置类定义
modeling_sing_probe.py SingProbeAttnModel 探针主体:滑动窗口注意力 + 10 路分类器
model.safetensors 探针权重文件(仅 6.17M 参数,非常轻量)
README.md 官方说明:评测结果、快速上手命令

一句话理解:探针本体只有约 617 万参数,却要靠"借"基座模型第 14、30、46 层的隐状态来工作,所以它几乎永远不会独立出现,总是跟着基座模型一起部署。

FAQ 1:singprobe 和普通安全过滤有什么区别?

传统做法是再挂一个独立的安全模型,对完整回复二次审查,延迟高。SingProbe 属于内生式护栏:基座模型每生成一个 token,探针就顺手算一次分数,实现"边生成边检查"。README.md 中给出的实测优势:

  • 解码开销 < 0.5%
  • 良性回复误报率(false-positive rate)5 个数据集平均仅 0.03%
  • 流式安全检测 R-AUC 0.9895 / T-AUC 0.9304,优于同规模专用护栏模型

FAQ 2:基座模型必须配对使用吗?能不能换成其他 Qwen?

必须使用指定配对:Qwen/Qwen3.5-122B-A10B + 本仓库的探针权重,这是 README.md 明确强调的 "Use the exact base-model/probe pair"。

原因在 config.json 里写得很直白:

  • "base_model_name": "Qwen/Qwen3.5-122B-A10B" 声明了绑定关系;
  • "hidden_size": 3072 与基座隐状态维度强绑定,换基座后维度不匹配会直接报参数校验错误(见 FAQ 4);
  • "base_model_layer_ids": [14, 30, 46] 对应基座网络的具体层编号,换个模型这些层的内容完全不同,探针学到的判别特征也就失效了。

简单说:探针是"为这个基座的这 3 层量身定制的听诊器",换基座等于把听诊器贴错位置。

FAQ 3:config.json 里的 [14, 30, 46] 和 hidden_size 怎么理解?

这是理解输入维度校验的钥匙:

  • 探针每次从基座抓取 3 层隐状态(第 14、30、46 层,覆盖浅、中、深三个位置);
  • 每层维度 hidden_size = 3072,拼接后输入维度为 3072 × 3 = 9216;
  • 这个值由 configuration_sing_probe.py 中的 input_size 属性自动计算:hidden_size * len(base_model_layer_ids)。

所以配置里的 num_attention_heads: 8、head_dim: 64、sliding_window: 2048 等,都是围绕 9216 维输入设计的,改任何一项都可能触发校验失败。

FAQ 4:加载时遇到 "input feature size does not match" 怎么解决?

完整报错为:

ValueError: input feature size {实际维度} does not match hidden_size * number of tapped layers ({期望维度})

该检查位于 modeling_sing_probe.py 的 _validate_input 方法中,触发原因几乎都是基座与探针没有正确配对:

  1. --model-path 用了别的模型(如其他尺寸的 Qwen),隐层维度不是 3072;
  2. 抓取层编号与探针训练时不一致,拼接出的输入维度不等于 9216;
  3. 中间框架没有把 3 层隐状态正确拼接/展平后传给探针。

排查顺序:先核对基座是否为 Qwen/Qwen3.5-122B-A10B → 再核对框架是否按 [14, 30, 46] 抓层 → 最后检查传入探针的张量最后一维是否为 9216。

FAQ 5:输出的 10 个分数(label_0~label_9)分别代表什么?

config.json 中 "num_labels": 10 对应 README.md 说明的 8 类查询意图 + 1 类不安全(unsafe)+ 1 类幻觉(hallucination)。集成框架会为每个生成 token 返回一个包含 label_0~label_9 的分数字典,业务侧可以:

  • 用意图分数做入口分流(识别用户在做什么类型的事);
  • 用 unsafe 分数做流式拦截(风险分越过阈值即中断或改写);
  • 用幻觉分数做内容可信度评估(标记可能"编造"的片段)。

FAQ 6:对正常内容的误报率(false-positive rate)到底多高?

这是新手最关心的一点——护栏模型如果太敏感,会把大量正常回复拦下来。官方给出的数据(见 README.md 的部署特性表):

  • 良性回复平均误报率 0.03%,统计自 5 个数据集;
  • 翻译过来即:约 1 万条安全回复中,只有 3 条左右会被误判。

对于生产环境,这个数字意味着可以较放心地开启实时拦截策略,同时仍建议按业务风险等级微调阈值,并在灰度期抽样人工复核被拦截样本。

FAQ 7:对推理速度、显存的影响有多大?

  • 速度:探针复用基座已算好的隐状态,额外计算量很小,实测解码耗时增加 < 0.5%;
  • 显存/存储:探针权重仅 6.17M 参数、torch_dtype 为 bfloat16(见 config.json),相对 122B 级基座可忽略不计;
  • 长上下文场景下,探针注意力默认受 sliding_window: 2048 约束,序列超过窗口时会按 2048 长度分块做滑动窗口注意力(实现见 modeling_sing_probe.py 的 _sliding_window_attention),避免算力随序列平方增长。

FAQ 8:用 SGLang / vLLM 部署时,参数怎么写?

探针通过 SGLang 或 vLLM 的集成分支加载,核心是启动服务时追加 --probe-ckpt 指向探针的仓库 ID。参考 README.md 的 Quick Start:

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.5-122B-A10B \
  --probe-ckpt inclusionAI/Qwen3.5-122B-A10B-singprobe \
  --port 30000

三个要点:

  1. --model-path 必须写基座模型路径,--probe-ckpt 写探针,两者缺一不可;
  2. 若需要在本地获取代码与权重,可使用仓库地址 git clone https://gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-122B-A10B-singprobe;
  3. 请求返回的每个 token 附带 label_0~label_9 分数,后续策略在业务层实现。

FAQ 9:还有哪些配置会被启动时校验拦截?

除 FAQ 4 的输入维度外,modeling_sing_probe.py 在初始化阶段还会做两类参数校验:

校验项 条件 报错信息
注意力头配置 num_attention_heads >= 1 且 head_dim >= 1 num_attention_heads and head_dim must be positive
滑动窗口 若设置 sliding_window,必须为正数 sliding_window must be positive

另外 configuration_sing_probe.py 会对传入的 hidden_size、num_attention_heads、num_labels 等做类型强转,避免字符串型配置流入模型构建。修改配置前建议先对照 config.json 的原值。

FAQ 10:评测表现如何?值不值得选它做护栏?

README.md 汇总了与专用安全模型的对比(均为多基准平均分,"越高分越好"):

任务 指标 singprobe 参考基线
查询意图分类(6 基准) F1 0.8697 YuFeng-XGuard-Reason-8B:0.8714
回复安全分类(8 基准) F1 0.8680 Qwen3Guard-Gen-8B-strict:0.8604
流式安全(3 基准) R-AUC / T-AUC 0.9895 / 0.9304 Qwen3Guard-Stream-8B-strict:0.9640 / 0.8893
幻觉检测(6 基准) AUC 0.7806 DRIFT:0.8000

解读结论:

  • 流式安全是它的强项,R-AUC 领先专用流式护栏约 2.5 个百分点;
  • 意图分类与 8B 专用模型基本打平,但省去了额外部署一个 8B 模型的算力;
  • 幻觉检测 AUC 略低于专用方法 DRIFT,若业务对幻觉极其敏感,建议以"标记 + 人工复核"而非"硬拦截"方式使用该分数。

总结:三条落地军规

  1. 严格配对:Qwen/Qwen3.5-122B-A10B + 本探针,勿混用其他基座(FAQ 2/4);
  2. 先跑通再调阈值:用 --probe-ckpt 最小化启动,观察 label_0~label_9 分布后再定拦截线(FAQ 5/8);
  3. 按场景选指标:流式拦截看 unsafe 分数,内容可信度看幻觉分数,并参考 0.03% 误报率设定告警预期(FAQ 6/10)。

更多方法细节可参考 README.md 中引用的技术报告与训练代码仓库,模型本身遵循 Apache-2.0 许可。

登录后查看全文
Qwen3.5-122B-A10B-singprobe