从路由分流到安全护栏:Bosun v3.1 0.6B 可落地的 8 个 Agent 决策场景清单
从路由分流到安全护栏:Bosun v3.1 0.6B 可落地的 8 个 Agent 决策场景清单
Bosun v3.1 0.6B 是一个面向 Agent 的结构化决策小模型:它不生成冗长的散文,而是把"路由分流、评分打分、安全护栏"这类判断直接变成一组候选项上的概率分布。0.6B 参数量、单次前向即可输出决策,非常适合嵌在 Agent 流水线中做高频、低延迟的判断节点。
🧭 为什么"决策"值得交给一个小模型
传统做法是让大模型输出 JSON 再解析,容易格式漂移、解析失败。Bosun v3.1 换了一条路:
- 256 个可学习决策 token,最多支持 255 个运行时候选项,外加 1 个"弃权(null)"槽位
- 候选项被分配到稳定的 presented slot,经 logits 读出后归一化为概率分布,无需自回归生成 JSON
- 基于 Qwen3-0.6B 基座 + LoRA 适配器(见 adapter/adapter_config.json),加载逻辑封装在 modeling_bosun.py
一句话:把"这道题选哪个"交给模型原生能力,而不让它"写作文再填空"。
🔍 三种提问方式,覆盖大部分判断节点
| 决策类型 | 用途 | 例子 |
|---|---|---|
choice |
多候选中选一 | 工单该分给账单组还是账号组? |
score |
有序打分 | 工单紧急度:低 / 中 / 高 |
noul |
二值判断 | 这笔重复扣款是否已确认? |
还有一个隐藏能力:当所有候选都不合适时,模型可以把概率压到 null 槽位上——这就是"弃权",工程上通常映射为转人工。这是很多 Agent 系统缺失的"我不知道"出口。
choice = model.predict(
state={"request": "Customer cannot access their account."},
instructions="Choose the best support route.",
decision_type="choice",
row_id="example-1",
candidates=[
{"id": "billing", "label": "Billing"},
{"id": "access", "label": "Account access"},
],
)
print(choice["probabilities"])
📋 8 个可落地的 Agent 决策场景清单
下表准确率来自冻结训练留出集的家族级评测(manifest.json),供横向参考。
| # | 场景 | 决策类型 | 留出集准确率 |
|---|---|---|---|
| 1 | 客服/工单路由分流 | choice | 87.49% |
| 2 | Agent 技能与工具调用路由 | choice | 98.02% |
| 3 | 安全护栏与内容审核 | choice / noul | 91.45% |
| 4 | RAG 检索验证 | noul | 91.27% |
| 5 | 有界实体/字段抽取 | choice | 96.58% |
| 6 | 文档与记录分类 | choice | 66.85% |
| 7 | 文档工作流分流 | choice | 93.25% |
| 8 | 紧急度评分与任务优先级 | score | 70.66% |
1️⃣ 客服与工单路由分流(routing / triage)
Agent 收到用户消息后,先让 Bosun 判断该请求属于哪条处理通道(账单、账号、技术支持……),再交给对应处理模块。多分类一步完成,替代"关键词规则 + 大模型兜底"的两段式架构。
2️⃣ Agent 技能与工具调用路由(function / skill routing)
这是 Bosun 表现最强的家族(98.02%)。在多技能 Agent 中,让它判断"这一步该调用哪个工具/技能",比让主模型每次都重新读一遍工具列表更省 token,也更快。
3️⃣ 安全护栏与内容审核(guardrails / moderation)
把"这条输出能否放行"做成二值或多分类决策(通过 / 拒绝 / 需人工复核),作为 LLM 输出前的最后闸门。小模型常驻、判断快,正是护栏节点的理想形态。
4️⃣ RAG 检索验证(retrieval verification)
回答生成前,用 noul 类型问一句"检索到的证据是否足以支撑该结论"。若返回弃权或"否",可触发重新检索,而非硬着头皮作答。
5️⃣ 有界实体与字段抽取(bounded extraction)
候选集受约束的抽取(如"这句话里的意图是这 5 种中的哪一种")本质上是受限分类,Bosun 原生适配,留出集准确率 96.58%。
6️⃣ 文档与记录分类(document / record classification)
发票、收据、合同等记录的类型判定。这是 8 个场景里准确率偏低的一个(66.85%),建议配合弃权槽位 + 人工抽检上线。
7️⃣ 文档工作流分流(document workflows)
文档进入系统后走哪条处理流(归档、报销、法务审查),用 choice 类型一次路由,替代脆弱的规则引擎。
8️⃣ 紧急度评分与任务优先级(rubric scoring / prioritization)
用 score 类型把"低/中/高"紧急度映射为有序分数,驱动任务队列排序、SLA 分级和告警升级策略。
✅ 怎么验证它"靠谱"
- DecisionBench(23,900 行全量冻结评测,0 行错误):总体准确率 81.18%,ECE 0.0659、NLL 0.6491——ECE 越低说明概率越"校准",可直接用于阈值决策
- 训练留出集:整体 88.39%(第 2 个 epoch 选出,指标为 macro-family accuracy)
- 诚实的短板:纯推理切片(reasoning slice)准确率仅 43%,所以别拿它做复杂推理,让它专注"从给定选项中判断"
📁 仓库结构速览
| 文件 | 作用 |
|---|---|
| config.json | 模型注册与不可变加载配置(基座版本、256 决策 token、255 候选上限) |
| configuration_bosun.py | BosunConfig,供 AutoConfig 识别 |
| modeling_bosun.py | 加载器、prompt 编译器与决策读出(predict / decision_logits) |
| decision_embeddings.safetensors | 256 行可学习决策 token 嵌入 |
| serving.json | prompt schema、stable-slot 映射与运行契约的权威来源 |
| adapter/ | LoRA 权重与 PEFT 配置 |
| tokenizer/ | 训练所用的精确分词器快照 |
| manifest.json | 内容寻址清单与评测指标 |
依赖 transformers、peft、safetensors、accelerate,通过 AutoModelForCausalLM.from_pretrained(..., trust_remote_code=True) 一次加载完整运行时。注意:不要靠 token 顺序猜决策含义,以 serving.json 中的 presented_slot 映射为准。
🎯 一句话总结
如果你的 Agent 里有很多"该走哪条路、这个答案能不能信、这条消息放不放行"的高频判断,Bosun v3.1 0.6B 用一个 0.6B 的小模型就能把这些决策点原生化:概率分布即输出,弃权槽位即兜底,校准良好的分数可以直接拿来设阈值。