Darwin-27B-RSI-Decision /v1/systemone API完整参考:请求、响应与参数详解

原创2026-11-14 15:37:371,908 阅读

Darwin-27B-RSI-Decision /v1/systemone API完整参考:请求、响应与参数详解

Darwin-27B-RSI-Decision 是一款「一次前向传播」的决策引擎模型,它的 HTTP 服务只暴露一个核心端点 POST /v1/systemone:你提交一段状态(state)和若干类型化问题,它直接返回每个问题各选项的概率分布,全程不生成任何 token。本文按 API 参考的方式,完整讲解它的请求体字段、三种问题类型、响应结构与服务器参数,帮你快速接入。

🧭 一分钟看懂:它和聊天补全 API 有什么不同

对比项 传统 chat 补全 /v1/systemone
输出形式 逐 token 生成文本 一次性给出选项概率分布
是否可复现 受采样影响 确定性结果(softmax,无采样)
问题类型 自由文本 noul / choice / score 三种强类型
延迟来源 生成长度 固定一次前向传播

模型的推理代码位于 autojev/,对外服务的实现是 decision_server.py。它支持一次请求同时携带多个问题(一个 state + N 个 question),每个问题独立得到概率分布。

🚀 快速开始:三步跑通 /v1/systemone 服务

第 1 步:安装依赖

pip install torch transformers fastapi uvicorn httpx pillow

第 2 步:获取模型文件

仓库包含 11 个主干权重分片(model-00001-of-00011.safetensors 等)、决策读出头 readout.safetensors、分词器与 decision_config.json 等,全部下载到一个目录即可:

git clone https://gitcode.com/hf_mirrors/FINAL-Bench/Darwin-27B-RSI-Decision

第 3 步:启动服务

cd Darwin-27B-RSI-Decision && PORT=8090 python decision_server.py

默认监听 127.0.0.1:8090。发一个最简请求试试:

curl http://127.0.0.1:8090/v1/systemone -H "Content-Type: application/json" -d '{
  "model": "darwin-27b-rsi-decision",
  "state": {"ticket": "Customer was charged twice for the same order."},
  "questions": {
    "q1": {"type": "choice",
           "instructions": "What should support do?",
           "criteria": {"refund": "Refund the duplicate charge.",
                        "escalate": "Send to billing.",
                        "close": "No action."}}
  }
}'

📥 请求体详解:/v1/systemone 参数说明

请求体是一个 JSON 对象,字段规则定义在 autojev/server.py,并启用了 extra="forbid" —— 任何未定义的字段都会被直接拒绝(422)。

顶层字段一览

字段 类型 必填 说明
model string ✅ 模型名,如 darwin-27b-rsi-decision(由环境变量 SERVED_NAME 决定)
state string / object / array ✅ 决策上下文(工单、对话、代码、表格等任意 JSON 内容)
questions object ✅ 问题集合,至少 1 个;key 是你自定义的问题 id,value 是问题对象
images array[string] ❌ 最多 4 张 base64 data URL 图片(PNG/JPEG/WebP,单张 ≤ 8 MB、≤ 1600 万像素)。⚠️ 本模型为纯文本主干,传图片会返回 422

三种问题类型

questions 中的每个问题通过 type 字段区分(字段定义见 autojev/types.py):

① choice — N 选 1

{"type": "choice",
 "instructions": "What should support do?",
 "criteria": {"refund": "退款", "escalate": "转账单组", "close": "不处理"}}
  • instructions:问题指令(可选,缺省时按「选最佳匹配选项」处理)
  • criteria:选项表,1~255 个选项;value 可为 null,此时选项名即描述

② score — 有序量表评分

{"type": "score",
 "instructions": "Rate the review sentiment",
 "criteria": ["很差", "差", "中性", "好", "很好"]}
  • criteria 是有序数组,要求 2~10 个层级,顺序即打分顺序

③ noul — 是/否判断

{"type": "noul",
 "instructions": "Is this charge a duplicate?",
 "criteria": {"true": "是重复扣款", "false": "不是"}}
  • criteria 可选,仅用于给 true/false 两个选项补充说明

💡 幕后机制:所有选项在 prompt 里都被映射为短代码(A、B……直到 JT,共 255 个单 token 代码,清单保存在 decision_config.json 的 codes/token_ids 字段),由读出头一次性给出分数,softmax 后归一化为概率。

📤 响应结构详解:answers 每个字段怎么读

顶层响应格式

{
  "model": "darwin-27b-rsi-decision",
  "answers": { "q1": { ... } },
  "usage": { "input_tokens": 0, "output_tokens": 0 }
}
  • answers:与请求 questions 的 key 一一对应
  • usage:本仓库的 decision_server.py 固定返回 0(模型不生成 token,output_tokens 天然为 0)

三种答案结构(定义见 autojev/types.py)

问题类型 返回字段 含义
choice choice 概率最高的选项 key
probabilities 各选项概率(和为 1)
confidence 校准置信度 0~1;单选项恒为 1.0
score score 期望得分 = Σ(层级序号 × 概率),连续浮点值
legend 层级序号 → 描述文本的对照表
probabilities / confidence 同上,confidence 表示分布集中程度
noul noul true 选项的概率(0~1,越接近 1 越肯定)

choice 的置信度公式直观理解:(最高概率 - 均匀分布概率) / (1 - 均匀分布概率)。3 个选项均匀猜时 confidence 为 0,完全确定时为 1。

🩺 健康检查 /health 与常见错误码

启动后先探活:

curl http://127.0.0.1:8090/health

返回 status、model、tau、max_options 及 stats(累计请求数、问题数、转推理次数等统计)。

状态码 场景 排查建议
422 请求体缺字段 / 出现未知字段 / 选项数超限 / prompt 超过 MAX_LEN / 纯文本模型收到图片 对照上文请求体表格逐项检查
500 概率向量非法(服务端拒绝猜测性兜底) 属模型内部异常,可复现则反馈
OOM 报错 显存不足(服务端会自动重试一次并清缓存) 降低 BATCH 或 MAX_LEN

⚙️ 服务器环境变量速查表

所有可调参数均为环境变量,默认值即 Decision Index 官方跑分所用配置(decision_server.py):

环境变量 默认值 作用
PORT / HOST 8090 / 127.0.0.1 监听端口与地址
ZTC_CHECKPOINT 脚本所在目录 模型检查点路径
MAX_LEN 32768 单请求 prompt 上限(token),超长直接 422、不做截断
BATCH 8 内部批大小,影响吞吐
TOKEN_BUDGET 24000 单个 batch 的 token 预算
SERVED_NAME darwin-27b-rsi-decision 响应中的 model 字段值
TAU 0 置信度阈值;0 表示关闭「低置信转推理模型」通道
MAX_OPTIONS 10 转推理通道的选项数上限(TAU>0 时生效)
REASONER_URLS / REASONER_MODEL / REASON_TIMEOUT 空 / darwin-27b-rsi / 600 可选的后备推理端点配置(默认不启用)

🔧 decision_config.json 里的关键模型设置

配置项 值 对使用者的影响
temperature 1.5195 训练时拟合的校准温度,推理时自动应用,无需手动设置
prompt_attention bidirectional prompt 段使用双向注意力(autojev/bidir.py),整段输入互相关联,读取得分更准
text_only true 纯文本主干,图片输入会 422
codes / token_ids 255 项 选项短代码表,选项数量上限即由此决定

❓ 常见问题 FAQ

Q:一次请求能问多个问题吗? A:可以。questions 是一个字典,想问多少个就放多少个 key,服务端会打包成批一次前向传播算完。

Q:为什么响应里没有生成文本? A:这是设计使然。该模型把「状态 + 问题 + 选项列表」作为整体 prompt,用一个读出头直接输出分数,因此永远只返回结构化概率,没有需要解析的自由文本。

Q:概率是「可信」的吗? A:训练阶段专门用开发集拟合了温度参数做校准(README.md 中的 calibration 说明),confidence 字段可作为你业务里「要不要人工复核」的开关依据。

Q:想本地调用而不走 HTTP? A:autojev/ 包提供了 DecisionModel.predict(rows),输入 state + question 行即可得到概率列表,用法示例见 README.md 的 Usage 一节。

登录后查看全文
Darwin-27B-RSI-Decision