Darwin-27B-RSI-Decision /v1/systemone API完整参考:请求、响应与参数详解
Darwin-27B-RSI-Decision /v1/systemone API完整参考:请求、响应与参数详解
Darwin-27B-RSI-Decision 是一款「一次前向传播」的决策引擎模型,它的 HTTP 服务只暴露一个核心端点 POST /v1/systemone:你提交一段状态(state)和若干类型化问题,它直接返回每个问题各选项的概率分布,全程不生成任何 token。本文按 API 参考的方式,完整讲解它的请求体字段、三种问题类型、响应结构与服务器参数,帮你快速接入。
🧭 一分钟看懂:它和聊天补全 API 有什么不同
| 对比项 | 传统 chat 补全 | /v1/systemone |
|---|---|---|
| 输出形式 | 逐 token 生成文本 | 一次性给出选项概率分布 |
| 是否可复现 | 受采样影响 | 确定性结果(softmax,无采样) |
| 问题类型 | 自由文本 | noul / choice / score 三种强类型 |
| 延迟来源 | 生成长度 | 固定一次前向传播 |
模型的推理代码位于 autojev/,对外服务的实现是 decision_server.py。它支持一次请求同时携带多个问题(一个 state + N 个 question),每个问题独立得到概率分布。
🚀 快速开始:三步跑通 /v1/systemone 服务
第 1 步:安装依赖
pip install torch transformers fastapi uvicorn httpx pillow
第 2 步:获取模型文件
仓库包含 11 个主干权重分片(model-00001-of-00011.safetensors 等)、决策读出头 readout.safetensors、分词器与 decision_config.json 等,全部下载到一个目录即可:
git clone https://gitcode.com/hf_mirrors/FINAL-Bench/Darwin-27B-RSI-Decision
第 3 步:启动服务
cd Darwin-27B-RSI-Decision && PORT=8090 python decision_server.py
默认监听 127.0.0.1:8090。发一个最简请求试试:
curl http://127.0.0.1:8090/v1/systemone -H "Content-Type: application/json" -d '{
"model": "darwin-27b-rsi-decision",
"state": {"ticket": "Customer was charged twice for the same order."},
"questions": {
"q1": {"type": "choice",
"instructions": "What should support do?",
"criteria": {"refund": "Refund the duplicate charge.",
"escalate": "Send to billing.",
"close": "No action."}}
}
}'
📥 请求体详解:/v1/systemone 参数说明
请求体是一个 JSON 对象,字段规则定义在 autojev/server.py,并启用了 extra="forbid" —— 任何未定义的字段都会被直接拒绝(422)。
顶层字段一览
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
model |
string | ✅ | 模型名,如 darwin-27b-rsi-decision(由环境变量 SERVED_NAME 决定) |
state |
string / object / array | ✅ | 决策上下文(工单、对话、代码、表格等任意 JSON 内容) |
questions |
object | ✅ | 问题集合,至少 1 个;key 是你自定义的问题 id,value 是问题对象 |
images |
array[string] | ❌ | 最多 4 张 base64 data URL 图片(PNG/JPEG/WebP,单张 ≤ 8 MB、≤ 1600 万像素)。⚠️ 本模型为纯文本主干,传图片会返回 422 |
三种问题类型
questions 中的每个问题通过 type 字段区分(字段定义见 autojev/types.py):
① choice — N 选 1
{"type": "choice",
"instructions": "What should support do?",
"criteria": {"refund": "退款", "escalate": "转账单组", "close": "不处理"}}
instructions:问题指令(可选,缺省时按「选最佳匹配选项」处理)criteria:选项表,1~255 个选项;value 可为null,此时选项名即描述
② score — 有序量表评分
{"type": "score",
"instructions": "Rate the review sentiment",
"criteria": ["很差", "差", "中性", "好", "很好"]}
criteria是有序数组,要求 2~10 个层级,顺序即打分顺序
③ noul — 是/否判断
{"type": "noul",
"instructions": "Is this charge a duplicate?",
"criteria": {"true": "是重复扣款", "false": "不是"}}
criteria可选,仅用于给 true/false 两个选项补充说明
💡 幕后机制:所有选项在 prompt 里都被映射为短代码(A、B……直到 JT,共 255 个单 token 代码,清单保存在 decision_config.json 的 codes/token_ids 字段),由读出头一次性给出分数,softmax 后归一化为概率。
📤 响应结构详解:answers 每个字段怎么读
顶层响应格式
{
"model": "darwin-27b-rsi-decision",
"answers": { "q1": { ... } },
"usage": { "input_tokens": 0, "output_tokens": 0 }
}
answers:与请求questions的 key 一一对应usage:本仓库的 decision_server.py 固定返回 0(模型不生成 token,output_tokens天然为 0)
三种答案结构(定义见 autojev/types.py)
| 问题类型 | 返回字段 | 含义 |
|---|---|---|
choice |
choice |
概率最高的选项 key |
probabilities |
各选项概率(和为 1) | |
confidence |
校准置信度 0~1;单选项恒为 1.0 | |
score |
score |
期望得分 = Σ(层级序号 × 概率),连续浮点值 |
legend |
层级序号 → 描述文本的对照表 | |
probabilities / confidence |
同上,confidence 表示分布集中程度 | |
noul |
noul |
true 选项的概率(0~1,越接近 1 越肯定) |
choice 的置信度公式直观理解:(最高概率 - 均匀分布概率) / (1 - 均匀分布概率)。3 个选项均匀猜时 confidence 为 0,完全确定时为 1。
🩺 健康检查 /health 与常见错误码
启动后先探活:
curl http://127.0.0.1:8090/health
返回 status、model、tau、max_options 及 stats(累计请求数、问题数、转推理次数等统计)。
| 状态码 | 场景 | 排查建议 |
|---|---|---|
| 422 | 请求体缺字段 / 出现未知字段 / 选项数超限 / prompt 超过 MAX_LEN / 纯文本模型收到图片 |
对照上文请求体表格逐项检查 |
| 500 | 概率向量非法(服务端拒绝猜测性兜底) | 属模型内部异常,可复现则反馈 |
| OOM 报错 | 显存不足(服务端会自动重试一次并清缓存) | 降低 BATCH 或 MAX_LEN |
⚙️ 服务器环境变量速查表
所有可调参数均为环境变量,默认值即 Decision Index 官方跑分所用配置(decision_server.py):
| 环境变量 | 默认值 | 作用 |
|---|---|---|
PORT / HOST |
8090 / 127.0.0.1 |
监听端口与地址 |
ZTC_CHECKPOINT |
脚本所在目录 | 模型检查点路径 |
MAX_LEN |
32768 |
单请求 prompt 上限(token),超长直接 422、不做截断 |
BATCH |
8 |
内部批大小,影响吞吐 |
TOKEN_BUDGET |
24000 |
单个 batch 的 token 预算 |
SERVED_NAME |
darwin-27b-rsi-decision |
响应中的 model 字段值 |
TAU |
0 |
置信度阈值;0 表示关闭「低置信转推理模型」通道 |
MAX_OPTIONS |
10 |
转推理通道的选项数上限(TAU>0 时生效) |
REASONER_URLS / REASONER_MODEL / REASON_TIMEOUT |
空 / darwin-27b-rsi / 600 |
可选的后备推理端点配置(默认不启用) |
🔧 decision_config.json 里的关键模型设置
| 配置项 | 值 | 对使用者的影响 |
|---|---|---|
temperature |
1.5195 |
训练时拟合的校准温度,推理时自动应用,无需手动设置 |
prompt_attention |
bidirectional |
prompt 段使用双向注意力(autojev/bidir.py),整段输入互相关联,读取得分更准 |
text_only |
true |
纯文本主干,图片输入会 422 |
codes / token_ids |
255 项 | 选项短代码表,选项数量上限即由此决定 |
❓ 常见问题 FAQ
Q:一次请求能问多个问题吗?
A:可以。questions 是一个字典,想问多少个就放多少个 key,服务端会打包成批一次前向传播算完。
Q:为什么响应里没有生成文本? A:这是设计使然。该模型把「状态 + 问题 + 选项列表」作为整体 prompt,用一个读出头直接输出分数,因此永远只返回结构化概率,没有需要解析的自由文本。
Q:概率是「可信」的吗?
A:训练阶段专门用开发集拟合了温度参数做校准(README.md 中的 calibration 说明),confidence 字段可作为你业务里「要不要人工复核」的开关依据。
Q:想本地调用而不走 HTTP?
A:autojev/ 包提供了 DecisionModel.predict(rows),输入 state + question 行即可得到概率列表,用法示例见 README.md 的 Usage 一节。