从路由分流到安全护栏:Bosun v3.1 0.6B 可落地的 8 个 Agent 决策场景清单

原创2026-11-14 22:28:182,277 阅读

从路由分流到安全护栏:Bosun v3.1 0.6B 可落地的 8 个 Agent 决策场景清单

Bosun v3.1 0.6B 是一个面向 Agent 的结构化决策小模型:它不生成冗长的散文,而是把"路由分流、评分打分、安全护栏"这类判断直接变成一组候选项上的概率分布。0.6B 参数量、单次前向即可输出决策,非常适合嵌在 Agent 流水线中做高频、低延迟的判断节点。

🧭 为什么"决策"值得交给一个小模型

传统做法是让大模型输出 JSON 再解析,容易格式漂移、解析失败。Bosun v3.1 换了一条路:

  • 256 个可学习决策 token,最多支持 255 个运行时候选项,外加 1 个"弃权(null)"槽位
  • 候选项被分配到稳定的 presented slot,经 logits 读出后归一化为概率分布,无需自回归生成 JSON
  • 基于 Qwen3-0.6B 基座 + LoRA 适配器(见 adapter/adapter_config.json),加载逻辑封装在 modeling_bosun.py

一句话:把"这道题选哪个"交给模型原生能力,而不让它"写作文再填空"。

🔍 三种提问方式,覆盖大部分判断节点

决策类型 用途 例子
choice 多候选中选一 工单该分给账单组还是账号组?
score 有序打分 工单紧急度:低 / 中 / 高
noul 二值判断 这笔重复扣款是否已确认?

还有一个隐藏能力:当所有候选都不合适时,模型可以把概率压到 null 槽位上——这就是"弃权",工程上通常映射为转人工。这是很多 Agent 系统缺失的"我不知道"出口。

choice = model.predict(
    state={"request": "Customer cannot access their account."},
    instructions="Choose the best support route.",
    decision_type="choice",
    row_id="example-1",
    candidates=[
        {"id": "billing", "label": "Billing"},
        {"id": "access", "label": "Account access"},
    ],
)
print(choice["probabilities"])

📋 8 个可落地的 Agent 决策场景清单

下表准确率来自冻结训练留出集的家族级评测(manifest.json),供横向参考。

# 场景 决策类型 留出集准确率
1 客服/工单路由分流 choice 87.49%
2 Agent 技能与工具调用路由 choice 98.02%
3 安全护栏与内容审核 choice / noul 91.45%
4 RAG 检索验证 noul 91.27%
5 有界实体/字段抽取 choice 96.58%
6 文档与记录分类 choice 66.85%
7 文档工作流分流 choice 93.25%
8 紧急度评分与任务优先级 score 70.66%

1️⃣ 客服与工单路由分流(routing / triage)

Agent 收到用户消息后,先让 Bosun 判断该请求属于哪条处理通道(账单、账号、技术支持……),再交给对应处理模块。多分类一步完成,替代"关键词规则 + 大模型兜底"的两段式架构。

2️⃣ Agent 技能与工具调用路由(function / skill routing)

这是 Bosun 表现最强的家族(98.02%)。在多技能 Agent 中,让它判断"这一步该调用哪个工具/技能",比让主模型每次都重新读一遍工具列表更省 token,也更快。

3️⃣ 安全护栏与内容审核(guardrails / moderation)

把"这条输出能否放行"做成二值或多分类决策(通过 / 拒绝 / 需人工复核),作为 LLM 输出前的最后闸门。小模型常驻、判断快,正是护栏节点的理想形态。

4️⃣ RAG 检索验证(retrieval verification)

回答生成前,用 noul 类型问一句"检索到的证据是否足以支撑该结论"。若返回弃权或"否",可触发重新检索,而非硬着头皮作答。

5️⃣ 有界实体与字段抽取(bounded extraction)

候选集受约束的抽取(如"这句话里的意图是这 5 种中的哪一种")本质上是受限分类,Bosun 原生适配,留出集准确率 96.58%。

6️⃣ 文档与记录分类(document / record classification)

发票、收据、合同等记录的类型判定。这是 8 个场景里准确率偏低的一个(66.85%),建议配合弃权槽位 + 人工抽检上线。

7️⃣ 文档工作流分流(document workflows)

文档进入系统后走哪条处理流(归档、报销、法务审查),用 choice 类型一次路由,替代脆弱的规则引擎。

8️⃣ 紧急度评分与任务优先级(rubric scoring / prioritization)

用 score 类型把"低/中/高"紧急度映射为有序分数,驱动任务队列排序、SLA 分级和告警升级策略。

✅ 怎么验证它"靠谱"

  • DecisionBench(23,900 行全量冻结评测,0 行错误):总体准确率 81.18%,ECE 0.0659、NLL 0.6491——ECE 越低说明概率越"校准",可直接用于阈值决策
  • 训练留出集:整体 88.39%(第 2 个 epoch 选出,指标为 macro-family accuracy)
  • 诚实的短板:纯推理切片(reasoning slice)准确率仅 43%,所以别拿它做复杂推理,让它专注"从给定选项中判断"

📁 仓库结构速览

文件 作用
config.json 模型注册与不可变加载配置(基座版本、256 决策 token、255 候选上限)
configuration_bosun.py BosunConfig,供 AutoConfig 识别
modeling_bosun.py 加载器、prompt 编译器与决策读出(predict / decision_logits)
decision_embeddings.safetensors 256 行可学习决策 token 嵌入
serving.json prompt schema、stable-slot 映射与运行契约的权威来源
adapter/ LoRA 权重与 PEFT 配置
tokenizer/ 训练所用的精确分词器快照
manifest.json 内容寻址清单与评测指标

依赖 transformers、peft、safetensors、accelerate,通过 AutoModelForCausalLM.from_pretrained(..., trust_remote_code=True) 一次加载完整运行时。注意:不要靠 token 顺序猜决策含义,以 serving.json 中的 presented_slot 映射为准。

🎯 一句话总结

如果你的 Agent 里有很多"该走哪条路、这个答案能不能信、这条消息放不放行"的高频判断,Bosun v3.1 0.6B 用一个 0.6B 的小模型就能把这些决策点原生化:概率分布即输出,弃权槽位即兜底,校准良好的分数可以直接拿来设阈值。

登录后查看全文
bosun-v3.1-0.6b