Intern-Decision 的 96 条校准基准全解析:Brier 与 ECE 指标及已知分布评测原理指南
Intern-Decision 的 96 条校准基准全解析:Brier 与 ECE 指标及已知分布评测原理指南
Intern-Decision 是一个快速的多模态决策模型,它把状态、可选图片和多个结构化问题转换为「决策 + 概率」。为了让模型输出的概率「说真话」,官方仓库内置了 96 条概率分布校准基准(known-distribution pilot),用 Brier 分数和 ECE(期望校准误差) 两个指标来衡量模型概率与真实分布的偏差。本文带你从零理解这套「已知分布评测」的原理、组成与使用方式。
96 条校准基准由什么组成?
先看目录结构,96 条 = 6 大类 × 24 个问题族 × 每个问题族 2 组参数 × 每组 2 种选项顺序变体:
| 层级 | 数量 | 说明 |
|---|---|---|
| 大类 | 6 | 每类 16 条 |
| 问题族(family) | 24 | 每族 4 条 |
| 独立参数设置 | 48 | 变体成对,不是 96 次独立试验 |
| 选项顺序变体 | ×2 | 原始顺序 + 反转顺序 |
📌 关键点:每个参数设置都有「原始选项顺序」和「反转选项顺序」两个成对变体,用于测量选项顺序敏感性(模型是否会因为选项排列不同而给出不同概率)。所以 96 行背后只有 48 组独立设置。
六类问题覆盖了从简单随机到组合推理的完整光谱:
| 类别 | 示例问题族 |
|---|---|
| 直接随机性与可能性支持集 | 公平骰子、糖果罐、确定结果、小概率中奖 |
| 复合事件与混合分布 | 骰子点数和、独立命中、备用可靠性、路线混合 |
| 历史信息、条件概率与隐藏状态 | 硬币连续正面、不放回抽袜子、受限观测、隐状态传感器 |
| 日常证据与观测偏差 | 缺陷筛查、相关/重复检测、随机时刻等车 |
| 选择性披露与概率谜题 | 知情/不知情蒙提霍尔、选择性提供换门、两孩问题 |
| 序列与组合过程 | 贴纸收集、生日碰撞、赌徒破产、保底奖励 |
基准数据在 benchmarks/known-distribution-pilot-v1/ 下分为四个文件:
- inputs.jsonl:只含
id、state、questions,是唯一应发送给模型的 96 条输入 - references.jsonl:精确的有理数概率参考分布(评测用,严禁发给模型)
- manifest.json:版本、计数与 SHA-256 哈希,且标记
training_ready: false - README.md:每个基础题及其推导过程
⚠️ 这套基准是评测专用:不可用其参考答案训练模型、拟合温度或挑选 checkpoint,完整评测要求 96/96 条有效输出。
评分指标深度解析:Brier 与 ECE 到底怎么算?
为什么不能用「准确率」?
基准中的问题问的是随机结果(例如「选出的袜子是什么颜色?」),而不是「计算概率」。随机过程的结果本身不可预测,没有采样标签,因此没有经验准确率可言——选中最可能的结果,并不等于预测对了未来的随机结果。所以评测对比的是:模型输出的完整概率分布 vs 题目机制下的精确参考分布。
期望多类别 Brier:衡量「整条分布」的偏差
对每条样本,设模型归一化概率为 p、精确参考分布为 q,期望多类别 Brier 为:
Brier = Σₖ (pₖ − qₖ)² + 1 − Σₖ qₖ²
后半项是结果本身不可消除的随机性(比如均匀骰子即使预测完美,期望 Brier 也有 5/6);前半项称为超额期望 Brier,最优值为 0。
🎲 举个例子:预测一枚公平骰子,若模型给出各面 1/6、不可能面 0 的完美分布,超额 Brier 为 0,而期望 Brier 为 5/6——这部分纯属骰子自身的随机性,谁都无法避免。
期望 ECE:衡量「自信程度」是否可靠
ECE 检查的是模型「说 60% 把握时,是否真有 60% 把握」。已知分布下的算法是:
- 取 p 的最大值对应结果 k*(即 argmax)
- 期望正确率 = qₖ*(参考分布中该结果的确切概率,而非 0/1 硬标签)
- 置信度优先使用模型返回的
confidence字段,否则回退为 max(p) - 按 10 个等宽区间 [0,0.1) … [0.9,1.0] 分桶,ECE = Σ (桶内样本占比 × |桶内平均置信度 − 桶内平均期望正确率|)
💡 两个容易混淆的口径:
- 总体 Brier 是 96 条样本的算术平均;总体 ECE 是合并全部样本后重新分桶计算的,不是各类别 ECE 的平均
- 一个模型即使完整分布与 q 完全吻合,只要它单独返回的
confidence与 max(p) 不一致,ECE 仍可非零——分布质量与标量置信度校准是两个独立的测量
辅助指标
- TVD(全变差距离)= ½·Σₖ|pₖ − qₖ|,直观度量两个分布的整体差距
- 不可能结果质量:对 qₖ = 0 的选项累加 pₖ,检查模型是否给「根本不可能」的结果分配了概率
- 选项顺序敏感性:配对比较原始/反转顺序预测的平均 TVD
如何运行评测并解读结果?
评分只需 Python 3.10+ 标准库,无需 pip 安装、无需模型、GPU 或网络:
python -m src.eval.score_known_distribution \
--dataset benchmarks/known-distribution-pilot-v1 \
--predictions predictions.jsonl \
--output outputs/known-distribution/my-model
输出包含三个文件:summary.md(分类及总体 Brier/ECE)、metrics.json(完整指标与分桶明细)、scored.jsonl(逐条评分)。完整的从 checkpoint 到表格的流程见 docs/EVALUATION.md 与 docs/CALIBRATION_BENCHMARK.md。
官方评测结果
三种设置均获得 96/96 条有效预测。Intern-Decision-4B 的温度 T=1.992418 在独立校准划分上拟合,本基准未参与拟合或选择:
| 指标(越低越好) | 未校准 | 已校准 | Jev(对比系统) |
|---|---|---|---|
| 总体期望 Brier | 0.628 | 0.550 | 0.595 |
| 总体期望 ECE | 0.213 | 0.089 | 0.130 |
校准使 Brier 下降约 12%、ECE 下降约 58%,并在多数类别上优于 Jev 基线(「选择性披露与概率谜题」类别上 Jev 略优)。分指标实现与结果分析分别位于 src/eval/ 与 benchmarks/。
理解这套基准的三个注意点
- 小规模诊断研究,不是排行榜:96 行包含成对变体,不能解释为 96 次独立实验;估计不确定性时应按 48 组成对参数组进行。
- 合成题措辞不等于现实比率:题目中的医疗、金融、游戏化表述仅为载体,不声明任何真实世界事件率。
- 隔离原则是硬约束:参考答案、推导、数据集 README 永远不能进入模型提示词;缺失或非法的回答会直接降低覆盖率并导致非零退出码,绝不会用猜测概率替代。
相关文件速查
| 文件 | 用途 |
|---|---|
| docs/CALIBRATION_BENCHMARK.md | 指标精确定义与评分规范 |
| docs/EVALUATION.md | 评测复现完整指南 |
| benchmarks/known-distribution-pilot-v1/ | 96 条基准数据 |
| src/eval/score_known_distribution.py | 离线评分脚本 |
| src/eval/known_distribution.py | 确定性数据生成器 |
| benchmarks/temperature-presets.json | 绑定 checkpoint 的温度预设 |
理解了「分布对比 + 期望指标」的思路后,你不仅能看懂 Intern-Decision 的校准基准,也能把它迁移到任何需要评估概率质量的决策模型上——毕竟,一个好的决策模型,不仅要「选得对」,更要「说得准」。

