SingProbe评分输出完全解析:读懂label_0到label_9,构建你的内容风控策略
SingProbe评分输出完全解析:读懂label_0到label_9,构建你的内容风控策略
Llama-3.2-1B-Instruct-singprobe(SingProbe)是一款轻量级流式安全护栏(streaming guardrail),它在 Llama-3.2-1B-Instruct 生成每个 token 时,复用模型内部隐藏状态,实时输出 label_0 到 label_9 共 10 项评分,覆盖查询意图、回复不安全度、幻觉风险三大维度,解码开销不到 0.5%。本文将带你逐项读懂这 10 个评分,并基于它们构建实用的内容风控策略。
SingProbe 是什么:不用额外安全模型的"内生护栏"
传统做法是再跑一个独立的安全分类模型,既慢又贵。SingProbe 的思路完全不同:
- 零额外推理链路:它只是一个 4.2M 参数的探测头,挂在基座模型的第 4、9、14 层隐藏状态上(见 config.json 中的
base_model_layer_ids: [4, 9, 14]); - 逐 token 打分:生成过程中每个 token 都会返回一个
label_0–label_9的评分字典,无需等待整段回复生成完毕; - 极低开销:官方给出的解码时间开销 < 0.5%,适合对延迟敏感的生产环境。
架构细节可在 modeling_sing_probe.py 中查看,它采用带滑动窗口注意力(sliding_window: 2048)的小型注意力结构,最终由一个分类层输出 10 个 logit(num_labels: 10,见 config.json)。
📌 重要提示:必须使用配对组合——基座模型
meta-llama/Llama-3.2-1B-Instruct+ 本检查点inclusionAI/Llama-3.2-1B-Instruct-singprobe,混用其他基座会导致评分失真。
label_0 到 label_9 逐项解读:10 个评分各代表什么
根据 README.md 中的说明,SingProbe 的输出为 8 intents + unsafe + hallucination,即 10 项评分分为三组:
| 评分 | 维度 | 含义 |
|---|---|---|
label_0 – label_7 |
查询意图(8 类) | 对用户输入做意图分类,每类输出一个置信分数 |
label_8 |
回复不安全度 | 评估模型正在生成的回复是否触及不安全内容 |
label_9 |
幻觉风险 | 评估当前 token 存在事实性错误/编造的概率 |
第 1 组:8 类查询意图评分(label_0 – label_7)
这组评分作用在用户输入侧,帮助你在回复生成前就判断"用户到底想要什么"。8 个意图类别各自输出一个分数,官方在 6 个意图分类基准上测得 F1 = 0.8566,接近 8B 级专用安全模型的 0.8714。
具体类别名称与顺序请参考官方技术报告(README 中引用的 arXiv:2608.30703),本文不展开猜测,避免误导你的业务映射。
第 2 组:不安全度评分(label_8)
这是风控的核心信号。它在生成过程中逐 token 上升:回复越偏向不安全内容,该分值越高。官方在 8 个安全分类基准上取得 F1 = 0.8468,流式安全指标 R-AUC / T-AUC 分别达到 0.9817 / 0.9242,优于 8B 级流式护栏基线。
第 3 组:幻觉风险评分(label_9)
用于内容可信度场景:当 label_9 持续偏高时,说明模型可能正在"编造"。官方在 6 个幻觉检测基准上测得 AUC = 0.7546,可作为事实性内容的兜底信号。
用评分构建你的内容风控策略
有了逐 token 的 10 维评分,可以搭建一套分层的流式风控策略:
策略一:意图前置过滤(生成前)
利用 label_0–label_7 在用户输入阶段做意图识别:
- 命中高敏感意图 → 走人工审核或拒答模板;
- 普通意图 → 直接放行,减少误伤。
策略二:流式实时拦截(生成中)
利用 label_8 设置动态阈值:
- 单 token 告警:某 token 不安全分突破阈值 → 标记该回复;
- 滑动窗口确认:连续 N 个 token 高分 → 立即截断生成(stop);
- 低误报保障:官方 benign 回复平均误报率仅 0.08%(5 个数据集均值),阈值可设得比较激进。
策略三:幻觉兜底(生成后)
对高可信度要求的场景(客服、资讯类),监控 label_9:整段回复的幻觉分均值超阈值时,追加"请核实"提示或走二次校验流程。
| 风控层 | 使用评分 | 触发时机 | 典型动作 |
|---|---|---|---|
| 输入过滤 | label_0–label_7 |
生成前 | 拦截 / 转人工 |
| 流式拦截 | label_8 |
生成中 | 截断、重写 |
| 幻觉兜底 | label_9 |
生成后 | 标记、复核 |
快速接入:一条启动命令
SingProbe 通过 SGLang 或 vLLM 的集成分支加载,在启动服务器时用 --probe-ckpt 参数指定检查点即可(完整说明见 README.md):
python -m sglang.launch_server \
--model-path meta-llama/Llama-3.2-1B-Instruct \
--probe-ckpt inclusionAI/Llama-3.2-1B-Instruct-singprobe \
--port 30000
启动后,服务对每个生成的 token 返回一个包含 label_0–label_9 的评分字典,直接接入你的风控逻辑即可。
关键指标速览
| 任务 | 指标 | SingProbe | 参考基线(8B 级) |
|---|---|---|---|
| 查询意图分类 | F1 | 0.8566 | 0.8714 |
| 回复安全分类 | F1 | 0.8468 | 0.8604 |
| 流式安全 | R-AUC / T-AUC | 0.9817 / 0.9242 | 0.9640 / 0.8893 |
| 幻觉检测 | AUC | 0.7546 | 0.8000 |
| 正常回复误报率 | — | 0.08% | — |
可以看到:一个 1B 基座 + 4.2M 探测头的组合,在流式安全维度上已反超 8B 级专用护栏,这正是"内生护栏"的性价比所在。
相关文件与延伸阅读
- 模型卡与评估结果:README.md
- 检查点配置(10 标签、层号、滑动窗口):config.json
- 配置类定义:configuration_sing_probe.py
- 探测头前向逻辑(滑动窗口注意力 + 分类层):modeling_sing_probe.py
小结:label_0–label_7 管"用户想干什么",label_8 管"模型说得安全吗",label_9 管"模型说得可信吗"。理解这 10 个评分后,你就能用不到 0.5% 的开销,为 Llama-3.2-1B-Instruct 搭起一套覆盖生成全链路的流式内容风控体系。