SingProbe评分输出完全解析:读懂label_0到label_9,构建你的内容风控策略

原创2026-10-16 18:58:151,751 阅读

SingProbe评分输出完全解析:读懂label_0到label_9,构建你的内容风控策略

Llama-3.2-1B-Instruct-singprobe(SingProbe)是一款轻量级流式安全护栏(streaming guardrail),它在 Llama-3.2-1B-Instruct 生成每个 token 时,复用模型内部隐藏状态,实时输出 label_0 到 label_9 共 10 项评分,覆盖查询意图、回复不安全度、幻觉风险三大维度,解码开销不到 0.5%。本文将带你逐项读懂这 10 个评分,并基于它们构建实用的内容风控策略。

SingProbe 是什么:不用额外安全模型的"内生护栏"

传统做法是再跑一个独立的安全分类模型,既慢又贵。SingProbe 的思路完全不同:

  • 零额外推理链路:它只是一个 4.2M 参数的探测头,挂在基座模型的第 4、9、14 层隐藏状态上(见 config.json 中的 base_model_layer_ids: [4, 9, 14]);
  • 逐 token 打分:生成过程中每个 token 都会返回一个 label_0–label_9 的评分字典,无需等待整段回复生成完毕;
  • 极低开销:官方给出的解码时间开销 < 0.5%,适合对延迟敏感的生产环境。

架构细节可在 modeling_sing_probe.py 中查看,它采用带滑动窗口注意力(sliding_window: 2048)的小型注意力结构,最终由一个分类层输出 10 个 logit(num_labels: 10,见 config.json)。

📌 重要提示:必须使用配对组合——基座模型 meta-llama/Llama-3.2-1B-Instruct + 本检查点 inclusionAI/Llama-3.2-1B-Instruct-singprobe,混用其他基座会导致评分失真。

label_0 到 label_9 逐项解读:10 个评分各代表什么

根据 README.md 中的说明,SingProbe 的输出为 8 intents + unsafe + hallucination,即 10 项评分分为三组:

评分 维度 含义
label_0 – label_7 查询意图(8 类) 对用户输入做意图分类,每类输出一个置信分数
label_8 回复不安全度 评估模型正在生成的回复是否触及不安全内容
label_9 幻觉风险 评估当前 token 存在事实性错误/编造的概率

第 1 组:8 类查询意图评分(label_0 – label_7)

这组评分作用在用户输入侧,帮助你在回复生成前就判断"用户到底想要什么"。8 个意图类别各自输出一个分数,官方在 6 个意图分类基准上测得 F1 = 0.8566,接近 8B 级专用安全模型的 0.8714。

具体类别名称与顺序请参考官方技术报告(README 中引用的 arXiv:2608.30703),本文不展开猜测,避免误导你的业务映射。

第 2 组:不安全度评分(label_8)

这是风控的核心信号。它在生成过程中逐 token 上升:回复越偏向不安全内容,该分值越高。官方在 8 个安全分类基准上取得 F1 = 0.8468,流式安全指标 R-AUC / T-AUC 分别达到 0.9817 / 0.9242,优于 8B 级流式护栏基线。

第 3 组:幻觉风险评分(label_9)

用于内容可信度场景:当 label_9 持续偏高时,说明模型可能正在"编造"。官方在 6 个幻觉检测基准上测得 AUC = 0.7546,可作为事实性内容的兜底信号。

用评分构建你的内容风控策略

有了逐 token 的 10 维评分,可以搭建一套分层的流式风控策略:

策略一:意图前置过滤(生成前)

利用 label_0–label_7 在用户输入阶段做意图识别:

  • 命中高敏感意图 → 走人工审核或拒答模板;
  • 普通意图 → 直接放行,减少误伤。

策略二:流式实时拦截(生成中)

利用 label_8 设置动态阈值:

  1. 单 token 告警:某 token 不安全分突破阈值 → 标记该回复;
  2. 滑动窗口确认:连续 N 个 token 高分 → 立即截断生成(stop);
  3. 低误报保障:官方 benign 回复平均误报率仅 0.08%(5 个数据集均值),阈值可设得比较激进。

策略三:幻觉兜底(生成后)

对高可信度要求的场景(客服、资讯类),监控 label_9:整段回复的幻觉分均值超阈值时,追加"请核实"提示或走二次校验流程。

风控层 使用评分 触发时机 典型动作
输入过滤 label_0–label_7 生成前 拦截 / 转人工
流式拦截 label_8 生成中 截断、重写
幻觉兜底 label_9 生成后 标记、复核

快速接入:一条启动命令

SingProbe 通过 SGLang 或 vLLM 的集成分支加载,在启动服务器时用 --probe-ckpt 参数指定检查点即可(完整说明见 README.md):

python -m sglang.launch_server \
  --model-path meta-llama/Llama-3.2-1B-Instruct \
  --probe-ckpt inclusionAI/Llama-3.2-1B-Instruct-singprobe \
  --port 30000

启动后,服务对每个生成的 token 返回一个包含 label_0–label_9 的评分字典,直接接入你的风控逻辑即可。

关键指标速览

任务 指标 SingProbe 参考基线(8B 级)
查询意图分类 F1 0.8566 0.8714
回复安全分类 F1 0.8468 0.8604
流式安全 R-AUC / T-AUC 0.9817 / 0.9242 0.9640 / 0.8893
幻觉检测 AUC 0.7546 0.8000
正常回复误报率 — 0.08% —

可以看到:一个 1B 基座 + 4.2M 探测头的组合,在流式安全维度上已反超 8B 级专用护栏,这正是"内生护栏"的性价比所在。

相关文件与延伸阅读

小结:label_0–label_7 管"用户想干什么",label_8 管"模型说得安全吗",label_9 管"模型说得可信吗"。理解这 10 个评分后,你就能用不到 0.5% 的开销,为 Llama-3.2-1B-Instruct 搭起一套覆盖生成全链路的流式内容风控体系。

登录后查看全文
Llama-3.2-1B-Instruct-singprobe