公开跑分解析:Darwin-27B-RSI-Decision 在 Decision Index 上为何拿到 85.59 的 Tools 分

原创2026-11-14 09:29:262,229 阅读

公开跑分解析:Darwin-27B-RSI-Decision 在 Decision Index 上为何拿到 85.59 的 Tools 分

Darwin-27B-RSI-Decision 是一个单次前向传播即可完成决策的决策引擎(decision engine):它读取一段状态和一组带类型的选择题,直接返回每个选项的概率分布,全程不生成任何 token。本文基于 README.md 中公布的跑分数据,逐层拆解它为什么能在 Decision Index 公开测试集中拿到全榜最高的 Tools 85.59 分,并给出复现这次跑分的最快路径。

Decision Index 公开跑分总览:先看完整成绩单

项目方使用公开的 decision-index 复现套件、http 引擎自跑了 Decision Index 公开测试集,并且每一题都有回答(无拒答、无截断)。完整成绩如下(来源:README.md 中的结果表):

指标 得分
Balanced skill(平衡技能) ↑ 68.77
Knowledge & Reasoning(知识与推理) 54.00
Language(语言) 71.74
Retrieval(检索) 73.06
Tools(工具) 85.59 🚀
Arts(艺术) 59.99

注意一个细节:榜单上的"官方分"来自运营方执行的私有评测,上表是项目方自己跑的公开套件成绩,两者口径不同。

Tools 子项以 85.59 大幅领先其他子项,比最低的 Knowledge & Reasoning 高出 31 分。这个差距不是靠运气,而是架构和训练数据共同作用的结果。下面拆开看。

它到底是个什么模型:一次前向传播的决策引擎

理解 85.59 的关键,是先理解这个模型和"普通大模型答题"的根本区别。

普通聊天模型的答题流程是:生成一段思考文字 → 生成选项 → 再从文本里把选项解析出来。每一步都可能出格式错误,尤其当题目要求"输出 JSON""判断函数返回值"这类 Tools 场景题时,解析失败就是直接丢分。

而 Darwin-27B-RSI-Decision 的流程是(详见 README.md 的 How it works 部分):

  1. 输入:一段 state(状态,如工单、代码、API 输出)+ 一道 question(choice / noul / score 三种类型之一);
  2. 读取:整个提示词(状态 + 问题 + 选项列表)用双向注意力一次性读入,选项在提示词中用 A、B、C……这样的短代码标出,最多支持 255 个选项;
  3. 读出:一个专门的 readout head 把最后一个位置的隐状态映射为"每个选项一个分数",经 softmax 得到概率分布,再用拟合好的校准温度修正——本次发布的温度值为 1.5194(见 decision_config.json);
  4. 输出:每个选项一个概率,直接给出,没有中间文字。

核心推理代码在 autojev/model.py,一次 forward 就完成全部计算。

Tools 分为什么最高?4 个关键原因

原因一:不生成 token,天然消灭"格式解析错误"

/v1/systemone 服务(decision_server.py)以默认参数 TAU=0 运行:一个问题、一次前向传播、无接力。这意味着:

  • 没有"模型先说一段话再说选项"的过程,没有任何文本解析环节可以出错;
  • Tools 类题目恰恰最吃格式稳定性(判断脚本输出、匹配 API 响应、代码输出选择题),而"概率向量直接返回"对这类题是最友好的输出形式。

服务端的批处理参数也经过调优:批量 8、最大长度 32768、输入零截断(README.md 明确注明这次跑分就是按这套默认值完成的)。

原因二:双向注意力,让"长状态"不被忽略

config.json 显示骨干模型是 64 层、最长 262144 token 的混合注意力结构(每 4 层一个 full_attention)。模型在 autojev/bidir.py 中对 full_attention 层启用了双向提示注意力——因为决策模型的输入全是"提示词",没有任何生成部分,让全注意力层双向看整个输入,可以让选项 A 的得分同时参考状态开头和结尾的信息。

对 Tools 题来说,"状态"往往就是一大段日志、代码或接口返回,双向读取保证长上下文的细节都能参与打分。

原因三:训练数据里就"埋"着代码输出类问题

训练数据构成(来源:README.md)包括:

  • 公开决策基准的训练集与开发集;
  • 为这个模型专门合成的合成决策数据,其中明确包含 code-output questions(代码输出问题)、多步推理故事、金融实体情感、评论方面/情感对;
  • 基于 SGD 和 SGD-X 训练/开发集构建的 schema 变体对话(CC-BY-SA-4.0)。

官方声明任何基准的测试集都没有用于训练,合成数据还针对公开 Decision Index 套件做过 13-gram 重叠检查。也就是说,模型在训练阶段就大量见过"给一段代码/输出,选结果"的题型——这正是 Decision Index 的 Tools 子项的核心场景。

原因四:校准温度 + 255 个选项代码,概率输出更"稳"

两个工程细节值得新手注意:

  • 校准温度:raw softmax 的概率往往是"过度自信"的。项目在验证集上拟合了一个温度参数(本发布为 1.5194),把概率分布拉回可信区间。选择题的 confidence 由 autojev/model.py 统一计算,分数型问题还会输出期望分数的图例。
  • 255 个单 token 选项代码:decision_config.json 中列出了从 A 到 JT 的 255 个代码及其 token id,每个代码都是 tokenizer 里的单个 token,并且经过"chat 前缀后仍是单 token"的严格校验。这保证了无论选项多长、多少,读出层都能稳定对齐——多选项的 Tools 题(比如从一堆 API 字段里选一个)不会因选项数量翻车。

最快复现路径:一条命令起服务

想自己验证这组分数,仓库已经把完整链路打包好了。安装依赖并启动 decision_server.py 即可对外提供 /v1/systemone 接口(默认端口 8090):

pip install torch transformers fastapi uvicorn httpx pillow
huggingface-cli download FINAL-Bench/Darwin-27B-RSI-Decision --local-dir Darwin-27B-RSI-Decision
cd Darwin-27B-RSI-Decision && PORT=8090 python decision_server.py

服务启动后可访问 /health 查看模型就绪状态和统计信息(decision_server.py)。

也可以不经过 HTTP,直接用推理代码本地预测(README.md 给出示例):

from autojev.model import DecisionModel

model = DecisionModel(checkpoint="Darwin-27B-RSI-Decision")
probabilities = model.predict([row])[0]  # 每个选项一个概率

仓库文件清单:跑分涉及哪些文件

文件 作用
model-*.safetensors + config.json 骨干模型权重(BF16)
readout.safetensors 决策读出头(255 维线性层)
decision_config.json 选项代码、校准温度、双向注意力开关与来源指纹
autojev/model.py 推理核心:prompt 构建、前向、predict
autojev/bidir.py 双向提示注意力补丁
decision_server.py 本次跑分使用的 /v1/systemone 服务
evidence/s1mb_japanese_training_exposure.md 训练数据暴露审计声明(仅英语 MMLU 行,无测试集、无日语测试数据)

写在最后

85.59 的 Tools 分并不是某个单项技巧的产物,而是四个设计选择的合力:不生成 token 的输出方式消灭了解析错误,双向注意力让长状态全量参与决策,合成训练数据精准覆盖了代码输出类题型,校准温度与单 token 选项代码保住了概率输出的稳定性。

对新手来说,这个仓库也是一个很好的学习样本:它展示了如何把一个 27B 级大模型改造成"专用决策器"——砍掉生成、保留读出、配一套严格的 schema 校验,比继续追求"会聊天"更工程化,也更容易在特定评测维度上拉开差距。

登录后查看全文
Darwin-27B-RSI-Decision