Qwen3.5-27B-singprobe架构对比:Attention探针与MLP探针两种实现的设计取舍

原创2026-10-18 23:42:081,684 阅读

Qwen3.5-27B-singprobe架构对比:Attention探针与MLP探针两种实现的设计取舍

Qwen3.5-27B-singprobe 是构建在 Qwen3.5-27B 之上的流式安全护栏探针(streaming guardrail)。仓库同时内置了 Attention 探针与 MLP 探针两种轻量架构,总参数仅约千万级,解码开销 < 0.5%。本文带你拆解这两种探针的结构、参数规模与计算特性,帮你快速理解它们各自的设计取舍。

📌 先搞清楚:它解决什么问题

传统做法是额外挂一个独立的安全模型,逐条审查请求与回复,延迟高、成本高。Qwen3.5-27B-singprobe 换了个思路:复用基座模型生成时已经算好的 hidden states,在每个 token 解码的同时,顺手打出 10 个分数(label_0–label_9),覆盖:

  • 8 类查询意图分类
  • 回复安全性评分
  • 幻觉风险评分

也就是说,它不是"另起炉灶",而是给基座模型装了一副"轻量眼镜"。整个探针只有 10.1M 参数(README.md),这正是 Attention 探针与 MLP 探针之争的前提:如何在极小的参数预算内做好逐 token 打分。

🧩 共同地基:三层 hidden states 拼接

两种探针的输入完全一致——从基座模型的 <a href="https://link.gitcode.com/i/45ef12a3fcb0d8bf05f971f4ae3e1ff0" target="_blank">20, 41, 62] 三层抽取 hidden states 并横向拼接([config.json):

input_size = hidden_size × 层数 = 5120 × 3 = 15360

拼接逻辑由两个配置类共用的 input_size 属性实现:configuration_sing_probe.py。输入维度不匹配时,基类会抛出 ValueError 明确提示:modeling_sing_probe.py。

💡 抽取中间层(20/41/62)而非仅最后一层,是为了同时拿到"浅层语义 + 深层任务信息",这是两类探针共享的信息设计。

📈 MLP 探针:两层全连接的极简方案

MLP 探针(SingProbeMlpModel)是教科书式的两层结构:

15360 维输入 → fc1(1024) → GELU → fc2(10) → 10 个分数

它的配置定义在 SingProbeMlpConfig,默认 intermediate_size=1024、hidden_act="gelu",对应参数量约 15.7M。

核心特性:逐 token 独立计算。 MLP 探针只看当前 token 拼接后的特征,不感知上下文——每个 token 的打分互不影响,计算量是 O(1),与序列长度完全无关。这是它能做到"几乎零开销"的根本原因。

🕵️ Attention 探针:自带上下文的"长眼"探针

当前发布的 checkpoint 用的就是它(config.json 中 architectures: <a href="https://link.gitcode.com/i/8cf0fa28ba51419dad6d02738128cb03" target="_blank">"SingProbeAttnModel"])。[SingProbeAttnModel 的结构可以拆成四步:

  1. Q/K/V 投影:输入分别投影为 8 头 Query(8×64=512 维)和单头 Key/Value(64 维)——这是一种 GQA 风格的共享设计,把 KV 参数量压到 1/8;
  2. 因果注意力:短序列走标准的 causal 注意力(modeling_sing_probe.py),跨 token 汇聚上下文;
  3. 残差连接:o_proj(context) + query_features(modeling_sing_probe.py),让分类头同时看到"全局上下文 + 当前 token 局部特征";
  4. RMSNorm + 线性分类头输出 10 个分数(modeling_sing_probe.py)。

滑动窗口:长序列的成本护栏。 当上下文超过 sliding_window=2048 时,探针切换到分块滑窗注意力:每个位置只看最近的 2048 个 token(modeling_sing_probe.py)。这把计算复杂度从 O(n²) 硬生生压回有界常数,对流式场景至关重要——你不需要"回顾整篇对话",只需盯住最近一段上下文就能判断安全态势。

⚖️ 设计取舍对比:一张表看懂差异

维度 MLP 探针 Attention 探针
结构 fc1 → GELU → fc2 Q/K/V 投影 + 因果注意力 + 残差 + RMSNorm
参数量(本仓库配置下) ≈15.7M(默认 intermediate=1024) ≈10.1M
跨 token 上下文交互 ❌ 无,逐 token 独立 ✅ 有,窗口 2048
单 token 计算成本 O(1),与上下文无关 与窗口内长度成正比(上限 2048)
表达机制 多层非线性 8 头多视角意图表示 + GQA 共享 KV
更适合 极致低延迟、离线批处理 流式安全、需要跨 token 依赖的打分

为什么最终选 Attention 探针? 直觉上 MLP 更省,但安全与幻觉风险往往是跨 token 累积的:回复的前半段可能正常,风险要到后面才浮现。MLP 探针逐 token 独立打分,天然"近视";Attention 探针用 8 个注意力头分别捕捉不同意图线索、并汇聚最近 2048 个 token 的上下文,用更少的参数(10.1M < 15.7M)换来了跨 token 的信息交互能力——这正是流式护栏最需要的能力。

🎯 选型建议:什么场景用哪种

  • 延迟敏感到极限、且 token 本身信息已足够(如单 token 意图识别)→ MLP 探针更划算,实现简单、行为可预测;
  • 流式安全审查、幻觉监测、回复风险随上下文演化 → Attention 探针更合适,多花一点注意力计算,换来上下文感知;
  • 两者配置项高度对称(hidden_size、base_model_layer_ids、num_labels),切换架构只需换 model_type 与配置类,迁移成本低。

🚀 快速上手:加载探针 checkpoint

克隆仓库:

git clone https://gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-27B-singprobe

按 README.md 的 Quick Start,配合 SGLang 集成分支在启动时挂载探针:

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.5-27B \
  --probe-ckpt inclusionAI/Qwen3.5-27B-singprobe \
  --port 30000

注意基座模型与探针必须成对使用:Qwen/Qwen3.5-27B + 本 checkpoint,加载后每个生成的 token 都会附带一份 10 维分数。

📁 关键文件索引

文件 说明
config.json 当前 checkpoint 配置:Attention 架构、8 头、滑窗 2048
configuration_sing_probe.py 两种探针的配置类(MLP / Attention)
modeling_sing_probe.py 两种探针的前向实现,含滑窗注意力
model.safetensors 探针权重(约 10.1M 参数)
README.md 评估指标与部署方式

一句话总结:MLP 探针用"独立打分"换极致速度,Attention 探针用"有界窗口注意力"换上下文感知;Qwen3.5-27B-singprobe 选择了后者,并以 GQA 共享 KV + 2048 滑动窗口把额外开销压到 0.5% 以内——在"看得远"和"跑得快"之间找到了工程上最稳的平衡点。

登录后查看全文
Qwen3.5-27B-singprobe