深度解析Hy3-singprobe代码实现:8.13M参数探针如何复用第25/51/78层隐藏状态

原创2026-10-18 18:48:381,708 阅读

深度解析Hy3-singprobe代码实现:8.13M参数探针如何复用第25/51/78层隐藏状态

Hy3-singprobe 是一个仅含 8.13M 参数的流式安全探针(streaming guardrail)模型,它内嵌于腾讯 Hy3 基座模型,复用第 25、51、78 层的隐藏状态(hidden states),在解码的每个 token 上实时输出 8 类查询意图 + 不安全内容 + 幻觉风险 共 10 维评分,解码开销不到 0.5%。本文带你读懂它的完整代码实现。

一、Hy3-singprobe 是什么:不额外跑安全模型的内嵌探针

传统做法是在主模型之外再部署一个独立的安全模型(通常 8B 级别),既占显存又增加延迟。SingProbe 的思路完全不同:

  • 零额外推理管线:探针直接读取基座模型在生成过程中"顺路"产生的隐藏状态;
  • 逐 token 评分:每生成一个 token,探针就输出一次 10 维分数,实现流式(streaming)安全监控;
  • 极轻量:全部参数只有 8.13M,约为基座模型的千分之一量级。

核心规格一览(来自 README.md 与 config.json):

项目 值
基座模型 tencent/Hy3(hidden_size = 4096)
探针参数 8.13M
取数层(tapped layers) [25, 51, 78]
输出 8 个意图 + unsafe + hallucination,共 10 个标签
解码开销 < 0.5%

二、配置即说明书:读懂 config.json 的关键字段

config.json 是整个探针的"身份证",几个字段值得逐个拆解:

字段 值 含义
architectures SingProbeAttnModel 指向实现类(注意力版探针)
auto_map AutoModel → modeling_sing_probe.py 告诉 transformers 从哪加载代码
base_model_layer_ids [25, 51, 78] 从基座的第 25、51、78 层抽取隐藏状态
hidden_size 4096 基座单层的向量宽度
num_labels 10 每个 token 输出 10 维 logits
sliding_window 2048 注意力滑动窗口长度
torch_dtype bfloat16 权重精度

这里藏着一个关键设计:探针的实际输入维度 = hidden_size × 取数层数 = 4096 × 3 = 12288。也就是说,三个不同深度的隐藏状态被拼成一条 12288 维的"复合特征"喂给探针——第 25 层偏表层语义,第 51、78 层偏深层语义,多层组合让探针同时看到"用户想干什么"和"模型正在说什么"。

三、两套架构:Attention 版与 MLP 版

configuration_sing_probe.py 中定义了两类配置:

  • SingProbeAttnConfig(L30-L55):当前 config.json 实际采用的架构,8 个注意力头、head_dim 64、滑动窗口 2048;
  • SingProbeMlpConfig(L4-L27):极简双层 MLP 版(fc1 → GELU → fc2),可作为轻量对照方案。

两者共享一个核心属性 input_size:

@property
def input_size(self) -> int:
    return self.hidden_size * len(self.base_model_layer_ids)

这保证了"配置声明的取数层数"与"模型实际接收的向量宽度"始终一致——改配置即可扩展/裁剪取数层。

四、8.13M 参数花在哪:逐模块拆解 SingProbeAttnModel

SingProbeAttnModel 的全部模块定义在 modeling_sing_probe.py。设 input_size = 12288、projection_size = 8 × 64 = 512,参数量可以精确核算:

模块 结构 参数量
proj_q 12288 → 512(无 bias) 6,291,456
proj_k 12288 → 64(无 bias) 786,432
proj_v 12288 → 64(无 bias) 786,432
o_proj 512 → 512(无 bias) 262,144
norm RMSNorm(512) 512
classifier 512 → 10 5,130
合计 8,132,106 ≈ 8.13M ✅

可以看到参数的大头(约 77%)花在输入投影上——因为输入向量高达 12288 维,任何从原始特征到内部表示的映射都不便宜。几个值得注意的工程细节:

  1. GQA 式注意力:proj_k/proj_v 只投影到单个 head_dim(L124-L125),8 个 Query 头共享 1 组 KV(enable_gqa=True),大幅压缩 KV 成本;
  2. 全部投影层去掉 bias:小模型省参数、推理更省算力;
  3. 残差 + 归一化收尾:o_proj(context) + query_features 后接 RMSNorm,再经 classifier 输出 10 维 logits(L138-L139),保证深层特征不丢失。

五、滑动窗口注意力:为流式长文本量身定制

流式安全监控面对的是可能很长的上下文。SingProbeAttnModel 内置了 _sliding_window_attention(L80-L109):

  • 序列长度 ≤ 2048 时,走标准因果(causal)全注意力;
  • 超过 2048 时,按 2048 为步长切块,每块的 Query 只关注自身位置之前 2048 以内的 KV(通过相对位置掩码实现)。

这样无论生成多长的回复,探针单步的计算量都被窗口截断为常数级,是"< 0.5% 解码开销"的重要保障之一。

六、输入校验与输出:每个 token 一份 10 维评分

基类 SingProbePreTrainedModel(L13-L31)做了一道防线:_validate_input 会检查输入最后一维是否恰好等于 12288,不匹配时直接抛出明确的 ValueError,避免把错误层的隐藏状态悄悄喂进去。

前向输出为 TokenClassifierOutput,其 logits 形状为 [batch, seq_len, 10],对应 label_0–label_9 共 10 个分数:前 8 个是查询意图类别,第 9、10 个分别是响应不安全与幻觉风险。推理框架(SGLang / vLLM 的集成分支)会把这些分数随每个生成 token 一并返回。

按 README.md 的 Quick Start,在服务启动时通过 --probe-ckpt 挂载探针即可:

python -m sglang.launch_server \
  --model-path tencent/Hy3 \
  --probe-ckpt inclusionAI/Hy3-singprobe \
  --port 30000

七、性能表现:8.13M 如何打平 8B 级安全模型

小参数并没有换来"小性能"。README.md 中的评测结果(分数均取各基准集平均,越高越好):

任务 指标 Hy3-singprobe 参考基线(8B 级)
查询意图分类(6 个基准) F1 0.8721 YuFeng-XGuard-Reason-8B:0.8714
响应安全分类(8 个基准) F1 0.8645 Qwen3Guard-Gen-8B-strict:0.8604
流式安全(3 个基准) R-AUC / T-AUC 0.9899 / 0.9498 Qwen3Guard-Stream-8B-strict:0.9640 / 0.8893
幻觉检测(6 个基准) AUC 0.8067 DRIFT:0.8000

另有两个部署向的关键数字:良性回复平均误报率仅 0.02%(5 个数据集),解码额外开销 < 0.5%。

八、上手要点:三个容易踩坑的细节 🎯

  1. 基座与探针必须精确配对:本探针只能在 tencent/Hy3 上工作——它的 12288 维输入绑定的是 Hy3 的 4096 维宽度和第 25/51/78 层的语义,换基座即失效;
  2. 精度保持 bfloat16:config.json 中已声明 torch_dtype,加载时按 bfloat16 读取权重,避免数值偏移;
  3. 分数按 token 消费:下游策略应基于每 token 的 10 维分数做累计/阈值判断,而不是只看最终整句,这正是流式探针相对批量安全模型的独特优势。

小结:Hy3-singprobe 的实现可以浓缩为一句话——把基座模型第 25/51/78 层的隐藏状态拼成 12288 维特征,用一个 8.13M 参数的 GQA 注意力模块 + 滑动窗口,逐 token 打出 10 维安全评分。配置、架构、参数在 config.json、configuration_sing_probe.py、modeling_sing_probe.py 三个文件中一一对应,源码极短,非常适合想理解"内嵌式安全探针"设计思路的读者通读。

登录后查看全文
Hy3-singprobe