如何训练你自己的 decider:基于 95 个公开数据集与 147 万样本的微调完整教程

原创2026-10-15 10:27:241,684 阅读

如何训练你自己的 decider:基于 95 个公开数据集与 147 万样本的微调完整教程

decider 是一组基于 Qwen3.5 微调的 System One 风格模型:它不生成文本,而是读取一段状态和一组类型化问题,从一次前向传播输出每个问题的概率分布(Choice / Score / Noul 三类答案,概率经过校准)。本教程带你使用仓库内置的 95 个公开数据集与 147 万样本训练配方,从零完成 decider 微调,产出一个可评估、可部署的决策模型。全程只需一块 GH200 / H100 级别的 GPU 和一条命令。

decider 微调模型概览:一次前向传播输出类型化决策与校准概率

🧭 先认识 decider:为什么它"只跑一遍"

普通语言模型靠逐 token 解码得到答案;decider 的训练目标完全不同:

  • 每个问题在提示词里占一个答案槽位,槽位处的 logits 只投射到该问题的选项字母上(A–J,再往后到双字母 token,最多 255 个选项);
  • 所有问题共享一次前向传播,没有解码、没有解析,输出永远在你的选项集合内;
  • 训练损失是交叉熵(一种 proper scoring rule),所以概率本身被直接优化——这就是"校准概率"的来源。

核心实现在 decider/model.py(backbone → 槽位隐藏态 → 选项 logits)和 decider/prompt.py(两种提示布局与答案槽)。

🛠️ 环境准备:一条命令装好 decider 微调依赖

  1. 克隆仓库:
git clone https://gitcode.com/gh_mirrors/decide/decider
  1. 创建 Python 3.12 虚拟环境并安装训练依赖(train 额外包含数据集下载所需的组件):
uv venv --python 3.12 .venv312
uv pip install -p .venv312/bin/python -e ".[serve,train]"

依赖声明见 pyproject.toml。参考配方在一块 GH200 上运行;teacher_data/ 目录内的教师标注数据已随仓库提供,无需额外下载。

📊 数据管道:95 个公开数据集如何合成 147 万样本

decider 微调的数据由三步自动生成,你不需要手工拼数据:

步骤 命令 / 模块 产物
下载并转换约 95 个公开决策数据集 decider/data/core.py data/tasks.pkl(约 100 万基础样本)
组装训练混合(mixture) decider/data/mixture.py data/mixture_full.pkl
交叉熵微调 decider/train.py runs/decider_full/model

mixture 在基础数据之上叠加了十余种输入形态,让模型学会"读选项"而不是死记标签:

  • wide / padded:保留完整原生标签集(CLINC 151 类、Banking 77 类等),小标签集用无关标签填充到最多 255 个选项;
  • described:选项带描述 / JSON 评分细则,常用于晦涩命名;
  • json / single:多记录 JSON 状态、按路径提问,以及逐题拆解的示例;
  • isolated:每个 Score 等级单独一行 yes/no 判读;
  • rules / contrastive:程序生成的规则条件决策与"改一个事实、答案翻转"的对照对;
  • custom / routing / commands:由本地 Qwen3.5-27B 教师标注的自由问答题、短消息路由(含 support 这类泛化桶)与 shell 命令风险分级,原始文件在 teacher_data/。

完整混合共 147 万样本、4.55 亿 token,每个样本在训练时随机 50/50 渲染为 state-first 或 schema-first 两种布局(后者为可缓存的"问题在前"前缀)。

⚡ 一键完整训练:full 模式从零微调

一切都在 scripts/train.sh 里:

scripts/train.sh full

它的执行链是:datasets → data/tasks.pkl → data/mixture_full.pkl → 从 Qwen3.5-2B-Base 训练一个 epoch → scripts/evaluate.sh。关键训练参数如下:

参数 取值 含义
基座模型 Qwen/Qwen3.5-2B-Base 可通过环境变量 INIT 覆盖(如换 4B / 35B 基座)
学习率 1e-5(delta 模式 8e-6) 单 epoch 微调
--max_tokens 16384 每个 micro-batch 的 B×T 预算,形状分桶减少编译次数
--accum 2 梯度累积
--max_options / --max_ctx 255 / 16384 最多 255 个选项、16k 上下文
--none_prob 0.1 10% 样本注入"以上都不对"选项增强
--schema_first_prob 0.5 两种提示布局各占一半

参考耗时:GH200 上单 epoch 约 5.3 小时,外加 45 分钟评估;该配方可复现公开发布的监督权重(94 任务集 in-task 0.809、held-out 0.739,与 v9 持平,拟合温度 1.03)。逐版本的过程记录见 docs/HISTORY.md。

🔁 增量微调:delta 模式从已有检查点继续

官方发布的权重正是分阶段用 delta 模式迭代出来的。想在新格式上继续训练一个已有检查点时:

scripts/train.sh delta runs/some/model

delta 混合只保留一个 20 万样本的 general 回放采样(防止遗忘),叠加全部新格式数据,学习率降到 8e-6。下图是不同版本在同一评估面上的对比,直观展示了迭代式微调的增益轨迹:

decider 微调版本迭代对比:v8 与 v10 在多项指标上的表现

📈 训练后评估:温度校准与 ECE 指标怎么看

训练结束后 scripts/evaluate.sh runs/decider_full/model 会自动完成一整套体检:

  1. 在回归集(eval 半,28 个 held-out 任务)上同时跑 state-first 与 schema-first 两种布局;
  2. 跑输入形态探针、手写测试电池、问题独立性、isolated levels 与文本游戏;
  3. 用 decider/report.py 在 in-task 数据上拟合每个答案类型的温度(temperature_by_type)并写入 decider_config.json;
  4. 对完整标签集(CLINC 151、Banking 77 等)补测,报告 accuracy、NLL、Brier、ECE、AURC 五项指标。

其中 ECE(期望校准误差)最关键:它衡量"模型说 80% 置信"时是否真的对了 80%。decider 系列在第三方 Decision Index 上的可靠性曲线与校准阶梯如下(绿色为本项目模型,35B 的 ECE 仅 3.1,优于同榜单多数系统):

decider 校准概率可靠性曲线与 Decision Index 校准误差对比

如果已有带标签的推理记录,也可以单独用 decider/calibrate.py 重新拟合温度:

python -m decider.calibrate records.jsonl

🕹️ 微调成果展示:一次前向传播的决策能力

微调后的 decider 不仅会分类。下面是它直接以"一步一个决策"驱动 Tetris、Breakout、Pong、Snake 与 Connect Four 的实录——每个落子只是一次前向传播,色条即服务端输出的概率:

decider 微调模型单步决策演示:Tetris、Breakout、Pong、Snake 与 Connect Four

2B 版本在 JevBench 公开 hard 层级达到 0.577(v11),4B v2 达到 0.649,35B 达到 0.676;完整数字见 docs/RESULTS.md。

⚠️ 训练前必看的注意事项

  • 单卡要求:参考配方面向一块 GH200 / H100 级 GPU;2B 模型 bf16 推理仅约 4 GB,显存紧张时可先跑 delta 小数据验证流程。
  • 语言:当前训练与校准均基于英文数据集与教师标注,非英文流量需自行扩展数据。
  • 复现非逐字节一致:官方权重来自分阶段续训,full 模式一次性复现会有少量波动(手写探针 ±几个 case 属正常)。
  • RL 阶段不在此包内:把 v8 升级到 v10 的强化学习需要实时 Chrome + MiniWoB++ 及独立研究仓库,详见 docs/RL.md;其校准收益可见下图(v10 相比 v8 显著降低"超信念"):

decider 校准概率 RL 阶段前后对比:v8 与 v10 的信念超出与点击结果预测

  • 限制:单次前向传播无法做多步算术与多跳推理,此类判断请拆成多个问题。

📁 关键文件路径速查

按以上流程走完,你就拥有了一个与官方监督权重水平相当的自训练 decider——接下来只需 pip install decider-ai 级别的加载方式,把它接入你的业务决策链路。

登录后查看全文
decider