Bosun v3.1 0.6B 评测拆解:DecisionBench 81.18% 准确率背后,如何读懂 ECE 与 NLL 校准指标

原创2026-11-14 22:10:261,448 阅读

Bosun v3.1 0.6B 评测拆解:DecisionBench 81.18% 准确率背后,如何读懂 ECE 与 NLL 校准指标

Bosun v3.1 0.6B 是基于 Qwen3-0.6B 打造的结构化决策小模型:它不生成自然语言回答,而是直接输出每个候选项的概率分布。在 DecisionBench 基准上,它取得 81.18% 准确率、ECE 0.0659、NLL 0.6491。这篇文章带你用 10 分钟读懂这三个数字:准确率说明它"答得对",ECE 和 NLL 则说明它"信得多少"——这正是校准(calibration)指标要回答的问题。

一、Bosun 是什么:从"生成文本"到"给出决策"

传统小模型的典型用法是让 LLM 输出文字再解析,容易遇到格式错误、解析失败。Bosun v3.1 换了一条路:

  • 256 个学习到的决策 token(<|decision_000|> 到 <|decision_255|>),其中前 255 个映射运行时候选项,第 255 号是 null 槽位
  • 单次前向推理直接在决策 token 的 logits 上做 softmax,得到原生归一化概率分布,无需自回归生成 JSON
  • 支持三种决策类型:choice(多选一分类/路由)、score(打分/优先级)、noul(是/否判断)

💡 核心区别:你要的如果是一段"解释",该用对话模型;如果你要的是一个可校准的决策(路由、评分、风控、弃权判断),Bosun 这类决策模型才是对的工具。

模型通过 modeling_bosun.py 中的 BosunForDecision 统一加载基座、LoRA 适配器与决策 token 嵌入,model.predict(...) 会渲染提示、掩码未使用的槽位,并把概率映射回调用方传入的候选顺序。

二、DecisionBench 81.18% 准确率是怎么测出来的

官方在完整冻结的 23,900 行 DecisionBench 上完成评测,零行级错误,概率直接读取模型全量候选 logits:

评测项 行数 准确率 ECE NLL
DecisionBench 总体 23,900 81.1841% 0.0659 0.6491
Reasoning 切片 1,200 43.0833% 0.2019 1.1805

三个要点值得新手注意:

  1. 81.18% 是"总体"成绩,不同任务族之间差距很大。例如 manifest.json 记录了训练保留集上各任务族的成绩:实体对齐 99.95%、技能路由 98.02%,而文档记录分类只有 66.85%
  2. Reasoning 切片只有 43.08%,明显拖低总分——说明它的强项是路由、分类、打分这类"结构化判断",而不是深度推理
  3. 模型选择标准也很讲究:训练跑满 3 个 epoch,按 macro-family accuracy(宏任务族准确率)= 88.39% 选中 epoch 2,避免"大类目刷分、小类目翻车"

三、如何读懂 ECE:模型说"90% 把握"时,真有九成把握吗

ECE(Expected Calibration Error,期望校准误差) 衡量的是:模型输出的置信度和真实正确率之间的偏差。

通俗拆解:

  1. 把预测按置信度分箱(官方用的是 15 箱)
  2. 每个箱内算两件事:平均置信度 vs 实际准确率
  3. 两者之差加权求和,就是 ECE

举个直觉例子:模型在 100 道题上都回答"我有 90% 把握",如果它真的答对了约 90 道,就是校准良好的;如果只答对 60 道,它的"自信"就是虚高的。

对照 Bosun 的数据:

  • 总体 ECE 0.0659:平均而言,置信度与真实正确率只差约 6.6 个百分点,对一个 0.6B 级小模型来说相当不错——它的概率可以直接用于下游决策(比如"置信度低于 0.7 就转人工")
  • Reasoning 切片 ECE 0.2019:偏差接近 20 个百分点,且准确率仅 43%——在这类任务上,它的置信度明显过度自信,直接拿概率做阈值要格外小心

四、如何读懂 NLL:一个数字看"概率质量"

NLL(Negative Log-Likelihood,负对数似然) 衡量模型给正确答案分配了多高的概率:

  • NLL 越接近 0,模型给正确答案的概率越接近 1
  • 换算成直觉:总体 NLL 0.6491 大致相当于模型给正确答案平均分配了 e^-0.6491 ≈ 52% 的概率

NLL 和准确率是互补视角:准确率只看"最高分是不是正确答案",NLL 还惩罚"答对了但只比错误项高一点点"的勉强答案。Reasoning 切片 NLL 高达 1.1805(平均概率仅约 31%),和它的低准确率互相印证——这一类任务上,模型既不太对,也不太确定。

✅ 新手速记:准确率看"对不对",ECE 看"自信得对不对",NLL 看"对得有多坚决"。三者一起看,才能完整评价一个输出概率的模型。

五、Bosun v3.1 0.6B 快速上手:三步加载与调用

克隆仓库(模型通过远程代码加载,需 trust_remote_code=True):

git clone https://gitcode.com/hf_mirrors/Hanno-Labs/bosun-v3.1-0.6b

安装依赖 transformers、peft、safetensors、accelerate 后,一个最小调用长这样:

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "Hanno-Labs/bosun-v3.1-0.6b",
    trust_remote_code=True,
    dtype="auto",
    device_map="auto",
)

result = model.predict(
    state={"request": "Customer cannot access their account."},
    instructions="Choose the best support route.",
    decision_type="choice",
    row_id="example-1",
    candidates=[
        {"id": "billing", "label": "Billing"},
        {"id": "access", "label": "Account access"},
    ],
)

print(result["probabilities"])  # 每个候选项的概率

⚠️ 两个常见坑:

  • 候选项数量必须在 2 到 255 之间,否则直接报错
  • 不要按 token 顺序猜候选项含义——候选项会被随机打乱后分配到"稳定槽位"(presented slot),槽位映射以 serving.json 中的契约为唯一权威来源

六、仓库文件导航:推理时每个文件干什么

文件 作用
config.json 模型注册与加载契约:基座版本、256 个决策 token、255 个运行时候选上限
configuration_bosun.py AutoConfig 对应的 BosunConfig 类
modeling_bosun.py 加载器、提示编译器与决策读出(predict / decision_logits)
decision_embeddings.safetensors 学习到的决策 token 嵌入行
adapter/ LoRA 适配器权重与 PEFT 配置
tokenizer/ 训练所用的精确 tokenizer 与决策 token 词表快照
serving.json 提示 schema、候选掩码、稳定槽位映射等运行时契约
manifest.json 内容寻址清单与各文件哈希、选中的 epoch 与指标

这套"契约化"设计的好处是:基座被固定到特定 revision,token 词表、槽位映射、提示 schema 全部可核验,同一份模型在不同环境下行为一致——做生产级决策时,这种可复现性比多 1% 准确率更重要。

七、小结:谁适合用 Bosun v3.1 0.6B

  • ✅ 适合:Agent 流程中的路由、工单分诊、风控判断、打分等需要概率 + 置信度的决策点
  • ✅ 适合:资源受限、要求低延迟的端侧部署(0.6B 参数量级)
  • ⚠️ 注意:Reasoning 类任务准确率与校准都明显偏弱,涉及多步推理的环节建议交给更大的推理模型

一句话总结:81.18% 的准确率证明 Bosun 在结构化决策上足够能打,而 ECE 0.0659 与 NLL 0.6491 进一步证明它的概率"值得信"——读懂这两个校准指标,你才算真正读懂这份评测表。

登录后查看全文
bosun-v3.1-0.6b