Bosun v3.1 0.6B 评测拆解:DecisionBench 81.18% 准确率背后,如何读懂 ECE 与 NLL 校准指标
Bosun v3.1 0.6B 评测拆解:DecisionBench 81.18% 准确率背后,如何读懂 ECE 与 NLL 校准指标
Bosun v3.1 0.6B 是基于 Qwen3-0.6B 打造的结构化决策小模型:它不生成自然语言回答,而是直接输出每个候选项的概率分布。在 DecisionBench 基准上,它取得 81.18% 准确率、ECE 0.0659、NLL 0.6491。这篇文章带你用 10 分钟读懂这三个数字:准确率说明它"答得对",ECE 和 NLL 则说明它"信得多少"——这正是校准(calibration)指标要回答的问题。
一、Bosun 是什么:从"生成文本"到"给出决策"
传统小模型的典型用法是让 LLM 输出文字再解析,容易遇到格式错误、解析失败。Bosun v3.1 换了一条路:
- 256 个学习到的决策 token(
<|decision_000|>到<|decision_255|>),其中前 255 个映射运行时候选项,第 255 号是 null 槽位 - 单次前向推理直接在决策 token 的 logits 上做 softmax,得到原生归一化概率分布,无需自回归生成 JSON
- 支持三种决策类型:
choice(多选一分类/路由)、score(打分/优先级)、noul(是/否判断)
💡 核心区别:你要的如果是一段"解释",该用对话模型;如果你要的是一个可校准的决策(路由、评分、风控、弃权判断),Bosun 这类决策模型才是对的工具。
模型通过 modeling_bosun.py 中的 BosunForDecision 统一加载基座、LoRA 适配器与决策 token 嵌入,model.predict(...) 会渲染提示、掩码未使用的槽位,并把概率映射回调用方传入的候选顺序。
二、DecisionBench 81.18% 准确率是怎么测出来的
官方在完整冻结的 23,900 行 DecisionBench 上完成评测,零行级错误,概率直接读取模型全量候选 logits:
| 评测项 | 行数 | 准确率 | ECE | NLL |
|---|---|---|---|---|
| DecisionBench 总体 | 23,900 | 81.1841% | 0.0659 | 0.6491 |
| Reasoning 切片 | 1,200 | 43.0833% | 0.2019 | 1.1805 |
三个要点值得新手注意:
- 81.18% 是"总体"成绩,不同任务族之间差距很大。例如 manifest.json 记录了训练保留集上各任务族的成绩:实体对齐 99.95%、技能路由 98.02%,而文档记录分类只有 66.85%
- Reasoning 切片只有 43.08%,明显拖低总分——说明它的强项是路由、分类、打分这类"结构化判断",而不是深度推理
- 模型选择标准也很讲究:训练跑满 3 个 epoch,按 macro-family accuracy(宏任务族准确率)= 88.39% 选中 epoch 2,避免"大类目刷分、小类目翻车"
三、如何读懂 ECE:模型说"90% 把握"时,真有九成把握吗
ECE(Expected Calibration Error,期望校准误差) 衡量的是:模型输出的置信度和真实正确率之间的偏差。
通俗拆解:
- 把预测按置信度分箱(官方用的是 15 箱)
- 每个箱内算两件事:平均置信度 vs 实际准确率
- 两者之差加权求和,就是 ECE
举个直觉例子:模型在 100 道题上都回答"我有 90% 把握",如果它真的答对了约 90 道,就是校准良好的;如果只答对 60 道,它的"自信"就是虚高的。
对照 Bosun 的数据:
- 总体 ECE 0.0659:平均而言,置信度与真实正确率只差约 6.6 个百分点,对一个 0.6B 级小模型来说相当不错——它的概率可以直接用于下游决策(比如"置信度低于 0.7 就转人工")
- Reasoning 切片 ECE 0.2019:偏差接近 20 个百分点,且准确率仅 43%——在这类任务上,它的置信度明显过度自信,直接拿概率做阈值要格外小心
四、如何读懂 NLL:一个数字看"概率质量"
NLL(Negative Log-Likelihood,负对数似然) 衡量模型给正确答案分配了多高的概率:
- NLL 越接近 0,模型给正确答案的概率越接近 1
- 换算成直觉:总体 NLL 0.6491 大致相当于模型给正确答案平均分配了
e^-0.6491 ≈ 52%的概率
NLL 和准确率是互补视角:准确率只看"最高分是不是正确答案",NLL 还惩罚"答对了但只比错误项高一点点"的勉强答案。Reasoning 切片 NLL 高达 1.1805(平均概率仅约 31%),和它的低准确率互相印证——这一类任务上,模型既不太对,也不太确定。
✅ 新手速记:准确率看"对不对",ECE 看"自信得对不对",NLL 看"对得有多坚决"。三者一起看,才能完整评价一个输出概率的模型。
五、Bosun v3.1 0.6B 快速上手:三步加载与调用
克隆仓库(模型通过远程代码加载,需 trust_remote_code=True):
git clone https://gitcode.com/hf_mirrors/Hanno-Labs/bosun-v3.1-0.6b
安装依赖 transformers、peft、safetensors、accelerate 后,一个最小调用长这样:
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"Hanno-Labs/bosun-v3.1-0.6b",
trust_remote_code=True,
dtype="auto",
device_map="auto",
)
result = model.predict(
state={"request": "Customer cannot access their account."},
instructions="Choose the best support route.",
decision_type="choice",
row_id="example-1",
candidates=[
{"id": "billing", "label": "Billing"},
{"id": "access", "label": "Account access"},
],
)
print(result["probabilities"]) # 每个候选项的概率
⚠️ 两个常见坑:
- 候选项数量必须在 2 到 255 之间,否则直接报错
- 不要按 token 顺序猜候选项含义——候选项会被随机打乱后分配到"稳定槽位"(presented slot),槽位映射以 serving.json 中的契约为唯一权威来源
六、仓库文件导航:推理时每个文件干什么
| 文件 | 作用 |
|---|---|
| config.json | 模型注册与加载契约:基座版本、256 个决策 token、255 个运行时候选上限 |
| configuration_bosun.py | AutoConfig 对应的 BosunConfig 类 |
| modeling_bosun.py | 加载器、提示编译器与决策读出(predict / decision_logits) |
| decision_embeddings.safetensors | 学习到的决策 token 嵌入行 |
| adapter/ | LoRA 适配器权重与 PEFT 配置 |
| tokenizer/ | 训练所用的精确 tokenizer 与决策 token 词表快照 |
| serving.json | 提示 schema、候选掩码、稳定槽位映射等运行时契约 |
| manifest.json | 内容寻址清单与各文件哈希、选中的 epoch 与指标 |
这套"契约化"设计的好处是:基座被固定到特定 revision,token 词表、槽位映射、提示 schema 全部可核验,同一份模型在不同环境下行为一致——做生产级决策时,这种可复现性比多 1% 准确率更重要。
七、小结:谁适合用 Bosun v3.1 0.6B
- ✅ 适合:Agent 流程中的路由、工单分诊、风控判断、打分等需要概率 + 置信度的决策点
- ✅ 适合:资源受限、要求低延迟的端侧部署(0.6B 参数量级)
- ⚠️ 注意:Reasoning 类任务准确率与校准都明显偏弱,涉及多步推理的环节建议交给更大的推理模型
一句话总结:81.18% 的准确率证明 Bosun 在结构化决策上足够能打,而 ECE 0.0659 与 NLL 0.6491 进一步证明它的概率"值得信"——读懂这两个校准指标,你才算真正读懂这份评测表。