公开跑分解析:Darwin-27B-RSI-Decision 在 Decision Index 上为何拿到 85.59 的 Tools 分
公开跑分解析:Darwin-27B-RSI-Decision 在 Decision Index 上为何拿到 85.59 的 Tools 分
Darwin-27B-RSI-Decision 是一个单次前向传播即可完成决策的决策引擎(decision engine):它读取一段状态和一组带类型的选择题,直接返回每个选项的概率分布,全程不生成任何 token。本文基于 README.md 中公布的跑分数据,逐层拆解它为什么能在 Decision Index 公开测试集中拿到全榜最高的 Tools 85.59 分,并给出复现这次跑分的最快路径。
Decision Index 公开跑分总览:先看完整成绩单
项目方使用公开的 decision-index 复现套件、http 引擎自跑了 Decision Index 公开测试集,并且每一题都有回答(无拒答、无截断)。完整成绩如下(来源:README.md 中的结果表):
| 指标 | 得分 |
|---|---|
| Balanced skill(平衡技能) ↑ | 68.77 |
| Knowledge & Reasoning(知识与推理) | 54.00 |
| Language(语言) | 71.74 |
| Retrieval(检索) | 73.06 |
| Tools(工具) | 85.59 🚀 |
| Arts(艺术) | 59.99 |
注意一个细节:榜单上的"官方分"来自运营方执行的私有评测,上表是项目方自己跑的公开套件成绩,两者口径不同。
Tools 子项以 85.59 大幅领先其他子项,比最低的 Knowledge & Reasoning 高出 31 分。这个差距不是靠运气,而是架构和训练数据共同作用的结果。下面拆开看。
它到底是个什么模型:一次前向传播的决策引擎
理解 85.59 的关键,是先理解这个模型和"普通大模型答题"的根本区别。
普通聊天模型的答题流程是:生成一段思考文字 → 生成选项 → 再从文本里把选项解析出来。每一步都可能出格式错误,尤其当题目要求"输出 JSON""判断函数返回值"这类 Tools 场景题时,解析失败就是直接丢分。
而 Darwin-27B-RSI-Decision 的流程是(详见 README.md 的 How it works 部分):
- 输入:一段
state(状态,如工单、代码、API 输出)+ 一道question(choice / noul / score 三种类型之一); - 读取:整个提示词(状态 + 问题 + 选项列表)用双向注意力一次性读入,选项在提示词中用 A、B、C……这样的短代码标出,最多支持 255 个选项;
- 读出:一个专门的 readout head 把最后一个位置的隐状态映射为"每个选项一个分数",经 softmax 得到概率分布,再用拟合好的校准温度修正——本次发布的温度值为 1.5194(见 decision_config.json);
- 输出:每个选项一个概率,直接给出,没有中间文字。
核心推理代码在 autojev/model.py,一次 forward 就完成全部计算。
Tools 分为什么最高?4 个关键原因
原因一:不生成 token,天然消灭"格式解析错误"
/v1/systemone 服务(decision_server.py)以默认参数 TAU=0 运行:一个问题、一次前向传播、无接力。这意味着:
- 没有"模型先说一段话再说选项"的过程,没有任何文本解析环节可以出错;
- Tools 类题目恰恰最吃格式稳定性(判断脚本输出、匹配 API 响应、代码输出选择题),而"概率向量直接返回"对这类题是最友好的输出形式。
服务端的批处理参数也经过调优:批量 8、最大长度 32768、输入零截断(README.md 明确注明这次跑分就是按这套默认值完成的)。
原因二:双向注意力,让"长状态"不被忽略
config.json 显示骨干模型是 64 层、最长 262144 token 的混合注意力结构(每 4 层一个 full_attention)。模型在 autojev/bidir.py 中对 full_attention 层启用了双向提示注意力——因为决策模型的输入全是"提示词",没有任何生成部分,让全注意力层双向看整个输入,可以让选项 A 的得分同时参考状态开头和结尾的信息。
对 Tools 题来说,"状态"往往就是一大段日志、代码或接口返回,双向读取保证长上下文的细节都能参与打分。
原因三:训练数据里就"埋"着代码输出类问题
训练数据构成(来源:README.md)包括:
- 公开决策基准的训练集与开发集;
- 为这个模型专门合成的合成决策数据,其中明确包含 code-output questions(代码输出问题)、多步推理故事、金融实体情感、评论方面/情感对;
- 基于 SGD 和 SGD-X 训练/开发集构建的 schema 变体对话(CC-BY-SA-4.0)。
官方声明任何基准的测试集都没有用于训练,合成数据还针对公开 Decision Index 套件做过 13-gram 重叠检查。也就是说,模型在训练阶段就大量见过"给一段代码/输出,选结果"的题型——这正是 Decision Index 的 Tools 子项的核心场景。
原因四:校准温度 + 255 个选项代码,概率输出更"稳"
两个工程细节值得新手注意:
- 校准温度:raw softmax 的概率往往是"过度自信"的。项目在验证集上拟合了一个温度参数(本发布为 1.5194),把概率分布拉回可信区间。选择题的 confidence 由 autojev/model.py 统一计算,分数型问题还会输出期望分数的图例。
- 255 个单 token 选项代码:decision_config.json 中列出了从 A 到 JT 的 255 个代码及其 token id,每个代码都是 tokenizer 里的单个 token,并且经过"chat 前缀后仍是单 token"的严格校验。这保证了无论选项多长、多少,读出层都能稳定对齐——多选项的 Tools 题(比如从一堆 API 字段里选一个)不会因选项数量翻车。
最快复现路径:一条命令起服务
想自己验证这组分数,仓库已经把完整链路打包好了。安装依赖并启动 decision_server.py 即可对外提供 /v1/systemone 接口(默认端口 8090):
pip install torch transformers fastapi uvicorn httpx pillow
huggingface-cli download FINAL-Bench/Darwin-27B-RSI-Decision --local-dir Darwin-27B-RSI-Decision
cd Darwin-27B-RSI-Decision && PORT=8090 python decision_server.py
服务启动后可访问 /health 查看模型就绪状态和统计信息(decision_server.py)。
也可以不经过 HTTP,直接用推理代码本地预测(README.md 给出示例):
from autojev.model import DecisionModel
model = DecisionModel(checkpoint="Darwin-27B-RSI-Decision")
probabilities = model.predict([row])[0] # 每个选项一个概率
仓库文件清单:跑分涉及哪些文件
| 文件 | 作用 |
|---|---|
| model-*.safetensors + config.json | 骨干模型权重(BF16) |
| readout.safetensors | 决策读出头(255 维线性层) |
| decision_config.json | 选项代码、校准温度、双向注意力开关与来源指纹 |
| autojev/model.py | 推理核心:prompt 构建、前向、predict |
| autojev/bidir.py | 双向提示注意力补丁 |
| decision_server.py | 本次跑分使用的 /v1/systemone 服务 |
| evidence/s1mb_japanese_training_exposure.md | 训练数据暴露审计声明(仅英语 MMLU 行,无测试集、无日语测试数据) |
写在最后
85.59 的 Tools 分并不是某个单项技巧的产物,而是四个设计选择的合力:不生成 token 的输出方式消灭了解析错误,双向注意力让长状态全量参与决策,合成训练数据精准覆盖了代码输出类题型,校准温度与单 token 选项代码保住了概率输出的稳定性。
对新手来说,这个仓库也是一个很好的学习样本:它展示了如何把一个 27B 级大模型改造成"专用决策器"——砍掉生成、保留读出、配一套严格的 schema 校验,比继续追求"会聊天"更工程化,也更容易在特定评测维度上拉开差距。