如何训练你自己的 decider:基于 95 个公开数据集与 147 万样本的微调完整教程
如何训练你自己的 decider:基于 95 个公开数据集与 147 万样本的微调完整教程
decider 是一组基于 Qwen3.5 微调的 System One 风格模型:它不生成文本,而是读取一段状态和一组类型化问题,从一次前向传播输出每个问题的概率分布(Choice / Score / Noul 三类答案,概率经过校准)。本教程带你使用仓库内置的 95 个公开数据集与 147 万样本训练配方,从零完成 decider 微调,产出一个可评估、可部署的决策模型。全程只需一块 GH200 / H100 级别的 GPU 和一条命令。
🧭 先认识 decider:为什么它"只跑一遍"
普通语言模型靠逐 token 解码得到答案;decider 的训练目标完全不同:
- 每个问题在提示词里占一个答案槽位,槽位处的 logits 只投射到该问题的选项字母上(A–J,再往后到双字母 token,最多 255 个选项);
- 所有问题共享一次前向传播,没有解码、没有解析,输出永远在你的选项集合内;
- 训练损失是交叉熵(一种 proper scoring rule),所以概率本身被直接优化——这就是"校准概率"的来源。
核心实现在 decider/model.py(backbone → 槽位隐藏态 → 选项 logits)和 decider/prompt.py(两种提示布局与答案槽)。
🛠️ 环境准备:一条命令装好 decider 微调依赖
- 克隆仓库:
git clone https://gitcode.com/gh_mirrors/decide/decider
- 创建 Python 3.12 虚拟环境并安装训练依赖(
train额外包含数据集下载所需的组件):
uv venv --python 3.12 .venv312
uv pip install -p .venv312/bin/python -e ".[serve,train]"
依赖声明见 pyproject.toml。参考配方在一块 GH200 上运行;teacher_data/ 目录内的教师标注数据已随仓库提供,无需额外下载。
📊 数据管道:95 个公开数据集如何合成 147 万样本
decider 微调的数据由三步自动生成,你不需要手工拼数据:
| 步骤 | 命令 / 模块 | 产物 |
|---|---|---|
| 下载并转换约 95 个公开决策数据集 | decider/data/core.py | data/tasks.pkl(约 100 万基础样本) |
| 组装训练混合(mixture) | decider/data/mixture.py | data/mixture_full.pkl |
| 交叉熵微调 | decider/train.py | runs/decider_full/model |
mixture 在基础数据之上叠加了十余种输入形态,让模型学会"读选项"而不是死记标签:
- wide / padded:保留完整原生标签集(CLINC 151 类、Banking 77 类等),小标签集用无关标签填充到最多 255 个选项;
- described:选项带描述 / JSON 评分细则,常用于晦涩命名;
- json / single:多记录 JSON 状态、按路径提问,以及逐题拆解的示例;
- isolated:每个 Score 等级单独一行 yes/no 判读;
- rules / contrastive:程序生成的规则条件决策与"改一个事实、答案翻转"的对照对;
- custom / routing / commands:由本地 Qwen3.5-27B 教师标注的自由问答题、短消息路由(含
support这类泛化桶)与 shell 命令风险分级,原始文件在 teacher_data/。
完整混合共 147 万样本、4.55 亿 token,每个样本在训练时随机 50/50 渲染为 state-first 或 schema-first 两种布局(后者为可缓存的"问题在前"前缀)。
⚡ 一键完整训练:full 模式从零微调
一切都在 scripts/train.sh 里:
scripts/train.sh full
它的执行链是:datasets → data/tasks.pkl → data/mixture_full.pkl → 从 Qwen3.5-2B-Base 训练一个 epoch → scripts/evaluate.sh。关键训练参数如下:
| 参数 | 取值 | 含义 |
|---|---|---|
| 基座模型 | Qwen/Qwen3.5-2B-Base |
可通过环境变量 INIT 覆盖(如换 4B / 35B 基座) |
| 学习率 | 1e-5(delta 模式 8e-6) |
单 epoch 微调 |
--max_tokens |
16384 |
每个 micro-batch 的 B×T 预算,形状分桶减少编译次数 |
--accum |
2 |
梯度累积 |
--max_options / --max_ctx |
255 / 16384 |
最多 255 个选项、16k 上下文 |
--none_prob |
0.1 |
10% 样本注入"以上都不对"选项增强 |
--schema_first_prob |
0.5 |
两种提示布局各占一半 |
参考耗时:GH200 上单 epoch 约 5.3 小时,外加 45 分钟评估;该配方可复现公开发布的监督权重(94 任务集 in-task 0.809、held-out 0.739,与 v9 持平,拟合温度 1.03)。逐版本的过程记录见 docs/HISTORY.md。
🔁 增量微调:delta 模式从已有检查点继续
官方发布的权重正是分阶段用 delta 模式迭代出来的。想在新格式上继续训练一个已有检查点时:
scripts/train.sh delta runs/some/model
delta 混合只保留一个 20 万样本的 general 回放采样(防止遗忘),叠加全部新格式数据,学习率降到 8e-6。下图是不同版本在同一评估面上的对比,直观展示了迭代式微调的增益轨迹:
📈 训练后评估:温度校准与 ECE 指标怎么看
训练结束后 scripts/evaluate.sh runs/decider_full/model 会自动完成一整套体检:
- 在回归集(eval 半,28 个 held-out 任务)上同时跑 state-first 与 schema-first 两种布局;
- 跑输入形态探针、手写测试电池、问题独立性、isolated levels 与文本游戏;
- 用 decider/report.py 在 in-task 数据上拟合每个答案类型的温度(
temperature_by_type)并写入decider_config.json; - 对完整标签集(CLINC 151、Banking 77 等)补测,报告 accuracy、NLL、Brier、ECE、AURC 五项指标。
其中 ECE(期望校准误差)最关键:它衡量"模型说 80% 置信"时是否真的对了 80%。decider 系列在第三方 Decision Index 上的可靠性曲线与校准阶梯如下(绿色为本项目模型,35B 的 ECE 仅 3.1,优于同榜单多数系统):
如果已有带标签的推理记录,也可以单独用 decider/calibrate.py 重新拟合温度:
python -m decider.calibrate records.jsonl
🕹️ 微调成果展示:一次前向传播的决策能力
微调后的 decider 不仅会分类。下面是它直接以"一步一个决策"驱动 Tetris、Breakout、Pong、Snake 与 Connect Four 的实录——每个落子只是一次前向传播,色条即服务端输出的概率:
2B 版本在 JevBench 公开 hard 层级达到 0.577(v11),4B v2 达到 0.649,35B 达到 0.676;完整数字见 docs/RESULTS.md。
⚠️ 训练前必看的注意事项
- 单卡要求:参考配方面向一块 GH200 / H100 级 GPU;2B 模型 bf16 推理仅约 4 GB,显存紧张时可先跑 delta 小数据验证流程。
- 语言:当前训练与校准均基于英文数据集与教师标注,非英文流量需自行扩展数据。
- 复现非逐字节一致:官方权重来自分阶段续训,
full模式一次性复现会有少量波动(手写探针 ±几个 case 属正常)。 - RL 阶段不在此包内:把 v8 升级到 v10 的强化学习需要实时 Chrome + MiniWoB++ 及独立研究仓库,详见 docs/RL.md;其校准收益可见下图(v10 相比 v8 显著降低"超信念"):
- 限制:单次前向传播无法做多步算术与多跳推理,此类判断请拆成多个问题。
📁 关键文件路径速查
- 训练脚本:scripts/train.sh、scripts/evaluate.sh
- 数据管道:decider/data/core.py(任务注册表)、decider/data/mixture.py(混合配方与每种成分的规模)、decider/data/augment.py
- 训练与评估:decider/train.py、decider/evaluate.py、decider/calibrate.py
- 教师标注数据:teacher_data/
- 全部测量记录:docs/RESULTS.md、docs/HISTORY.md
按以上流程走完,你就拥有了一个与官方监督权重水平相当的自训练 decider——接下来只需 pip install decider-ai 级别的加载方式,把它接入你的业务决策链路。




