Intern-Decision 的 96 条校准基准全解析:Brier 与 ECE 指标及已知分布评测原理指南

原创2026-10-27 21:11:511,380 阅读
文章标签:人工智能大模型微调模型推理服务模型评测AI 应用

Intern-Decision 的 96 条校准基准全解析:Brier 与 ECE 指标及已知分布评测原理指南

Intern-Decision 是一个快速的多模态决策模型,它把状态、可选图片和多个结构化问题转换为「决策 + 概率」。为了让模型输出的概率「说真话」,官方仓库内置了 96 条概率分布校准基准(known-distribution pilot),用 Brier 分数和 ECE(期望校准误差) 两个指标来衡量模型概率与真实分布的偏差。本文带你从零理解这套「已知分布评测」的原理、组成与使用方式。

Intern-Decision 结构化决策任务示例

96 条校准基准由什么组成?

先看目录结构,96 条 = 6 大类 × 24 个问题族 × 每个问题族 2 组参数 × 每组 2 种选项顺序变体:

层级 数量 说明
大类 6 每类 16 条
问题族(family) 24 每族 4 条
独立参数设置 48 变体成对,不是 96 次独立试验
选项顺序变体 ×2 原始顺序 + 反转顺序

📌 关键点:每个参数设置都有「原始选项顺序」和「反转选项顺序」两个成对变体,用于测量选项顺序敏感性(模型是否会因为选项排列不同而给出不同概率)。所以 96 行背后只有 48 组独立设置。

六类问题覆盖了从简单随机到组合推理的完整光谱:

类别 示例问题族
直接随机性与可能性支持集 公平骰子、糖果罐、确定结果、小概率中奖
复合事件与混合分布 骰子点数和、独立命中、备用可靠性、路线混合
历史信息、条件概率与隐藏状态 硬币连续正面、不放回抽袜子、受限观测、隐状态传感器
日常证据与观测偏差 缺陷筛查、相关/重复检测、随机时刻等车
选择性披露与概率谜题 知情/不知情蒙提霍尔、选择性提供换门、两孩问题
序列与组合过程 贴纸收集、生日碰撞、赌徒破产、保底奖励

基准数据在 benchmarks/known-distribution-pilot-v1/ 下分为四个文件:

  • inputs.jsonl:只含 id、state、questions,是唯一应发送给模型的 96 条输入
  • references.jsonl:精确的有理数概率参考分布(评测用,严禁发给模型)
  • manifest.json:版本、计数与 SHA-256 哈希,且标记 training_ready: false
  • README.md:每个基础题及其推导过程

⚠️ 这套基准是评测专用:不可用其参考答案训练模型、拟合温度或挑选 checkpoint,完整评测要求 96/96 条有效输出。

InternDecision 在真实网站上执行浏览器操作演示

评分指标深度解析:Brier 与 ECE 到底怎么算?

为什么不能用「准确率」?

基准中的问题问的是随机结果(例如「选出的袜子是什么颜色?」),而不是「计算概率」。随机过程的结果本身不可预测,没有采样标签,因此没有经验准确率可言——选中最可能的结果,并不等于预测对了未来的随机结果。所以评测对比的是:模型输出的完整概率分布 vs 题目机制下的精确参考分布。

期望多类别 Brier:衡量「整条分布」的偏差

对每条样本,设模型归一化概率为 p、精确参考分布为 q,期望多类别 Brier 为:

Brier = Σₖ (pₖ − qₖ)² + 1 − Σₖ qₖ²

后半项是结果本身不可消除的随机性(比如均匀骰子即使预测完美,期望 Brier 也有 5/6);前半项称为超额期望 Brier,最优值为 0。

🎲 举个例子:预测一枚公平骰子,若模型给出各面 1/6、不可能面 0 的完美分布,超额 Brier 为 0,而期望 Brier 为 5/6——这部分纯属骰子自身的随机性,谁都无法避免。

期望 ECE:衡量「自信程度」是否可靠

ECE 检查的是模型「说 60% 把握时,是否真有 60% 把握」。已知分布下的算法是:

  1. 取 p 的最大值对应结果 k*(即 argmax)
  2. 期望正确率 = qₖ*(参考分布中该结果的确切概率,而非 0/1 硬标签)
  3. 置信度优先使用模型返回的 confidence 字段,否则回退为 max(p)
  4. 按 10 个等宽区间 [0,0.1) … [0.9,1.0] 分桶,ECE = Σ (桶内样本占比 × |桶内平均置信度 − 桶内平均期望正确率|)

💡 两个容易混淆的口径:

  • 总体 Brier 是 96 条样本的算术平均;总体 ECE 是合并全部样本后重新分桶计算的,不是各类别 ECE 的平均
  • 一个模型即使完整分布与 q 完全吻合,只要它单独返回的 confidence 与 max(p) 不一致,ECE 仍可非零——分布质量与标量置信度校准是两个独立的测量

辅助指标

  • TVD(全变差距离)= ½·Σₖ|pₖ − qₖ|,直观度量两个分布的整体差距
  • 不可能结果质量:对 qₖ = 0 的选项累加 pₖ,检查模型是否给「根本不可能」的结果分配了概率
  • 选项顺序敏感性:配对比较原始/反转顺序预测的平均 TVD

如何运行评测并解读结果?

评分只需 Python 3.10+ 标准库,无需 pip 安装、无需模型、GPU 或网络:

python -m src.eval.score_known_distribution \
  --dataset benchmarks/known-distribution-pilot-v1 \
  --predictions predictions.jsonl \
  --output outputs/known-distribution/my-model

输出包含三个文件:summary.md(分类及总体 Brier/ECE)、metrics.json(完整指标与分桶明细)、scored.jsonl(逐条评分)。完整的从 checkpoint 到表格的流程见 docs/EVALUATION.md 与 docs/CALIBRATION_BENCHMARK.md。

官方评测结果

三种设置均获得 96/96 条有效预测。Intern-Decision-4B 的温度 T=1.992418 在独立校准划分上拟合,本基准未参与拟合或选择:

指标(越低越好) 未校准 已校准 Jev(对比系统)
总体期望 Brier 0.628 0.550 0.595
总体期望 ECE 0.213 0.089 0.130

校准使 Brier 下降约 12%、ECE 下降约 58%,并在多数类别上优于 Jev 基线(「选择性披露与概率谜题」类别上 Jev 略优)。分指标实现与结果分析分别位于 src/eval/ 与 benchmarks/。

理解这套基准的三个注意点

  1. 小规模诊断研究,不是排行榜:96 行包含成对变体,不能解释为 96 次独立实验;估计不确定性时应按 48 组成对参数组进行。
  2. 合成题措辞不等于现实比率:题目中的医疗、金融、游戏化表述仅为载体,不声明任何真实世界事件率。
  3. 隔离原则是硬约束:参考答案、推导、数据集 README 永远不能进入模型提示词;缺失或非法的回答会直接降低覆盖率并导致非零退出码,绝不会用猜测概率替代。

相关文件速查

文件 用途
docs/CALIBRATION_BENCHMARK.md 指标精确定义与评分规范
docs/EVALUATION.md 评测复现完整指南
benchmarks/known-distribution-pilot-v1/ 96 条基准数据
src/eval/score_known_distribution.py 离线评分脚本
src/eval/known_distribution.py 确定性数据生成器
benchmarks/temperature-presets.json 绑定 checkpoint 的温度预设

理解了「分布对比 + 期望指标」的思路后,你不仅能看懂 Intern-Decision 的校准基准,也能把它迁移到任何需要评估概率质量的决策模型上——毕竟,一个好的决策模型,不仅要「选得对」,更要「说得准」。

登录后查看全文
Intern-Decision