Darwin-27B-RSI-Decision部署指南:动态分组、批处理与OOM重试的完整调优清单
Darwin-27B-RSI-Decision部署指南:动态分组、批处理与OOM重试的完整调优清单
Darwin-27B-RSI-Decision 是一款只需一次前向传播的决策引擎(decision engine):输入一段状态(state)和若干带类型的问题,它为每个问题的所有选项返回概率分布,全程不生成任何 token。本文是一份面向新手的部署指南,带你三步启动 /v1/systemone 服务,并逐条拆解动态分组、批处理与 OOM 重试三大机制,附 12 个环境变量的完整调优清单。
🧭 30 秒认识:一次前向传播的决策引擎
和"逐 token 生成答案"的 Chat 模型不同,Darwin-27B-RSI-Decision 的读取方式更接近"分类器":
- 骨干网络:27B 参数 Qwen3.5 文本模型(BF16),64 层混合注意力(线性注意力 + 全注意力),见 config.json
- 双向 prompt attention:提示词用双向注意力读取,读出仍是一次前向传播,补丁逻辑在 autojev/bidir.py
- 255 选项读出头:选项以短代码(A、B…JT)写入提示词,读出头把末位隐状态映射为每个选项的分数,softmax 后由拟合温度(约 1.173,见 decision_config.json)校准概率
- 支持的问题类型:
noul(是/否)、choice(N 选 1)、score(有序量级),数据结构定义在 autojev/types.py
作者在公开的 Decision Index 基准上自跑得到 Balanced skill 68.77(Tools 单项 85.59),具体见 README.md。
🚀 一键部署:三步启动 /v1/systemone 决策服务
第 1 步:安装依赖
pip install torch transformers fastapi uvicorn httpx pillow
第 2 步:下载模型文件(本仓库快照即可作为检查点,含 11 个 model-*.safetensors 分片、readout.safetensors 读出头与分词器文件)
huggingface-cli download FINAL-Bench/Darwin-27B-RSI-Decision --local-dir Darwin-27B-RSI-Decision
第 3 步:启动服务
cd Darwin-27B-RSI-Decision && PORT=8090 python decision_server.py
服务入口就是本仓库的 decision_server.py,默认监听 127.0.0.1:8090。27B 参数 BF16 权重约 55GB,建议 80GB 级显存(如 A100-80G / H100);若显存紧张,先看下文调优清单再启动。
发一个测试请求验证:
curl -s http://127.0.0.1:8090/v1/systemone -H 'Content-Type: application/json' -d '{
"model": "autojev",
"state": {"ticket": "Customer was charged twice for the same order."},
"questions": {
"action": {
"type": "choice",
"instructions": "What should support do?",
"criteria": {
"refund": "Refund the duplicate charge.",
"escalate": "Send to billing.",
"close": "No action."
}
}
}
}'
返回示例(概率数值为示意):
{
"model": "darwin-27b-rsi-decision",
"answers": {
"action": {
"type": "choice",
"choice": "refund",
"probabilities": {"refund": 0.93, "escalate": 0.05, "close": 0.02},
"confidence": 0.91
}
},
"usage": {"input_tokens": 0, "output_tokens": 0}
}
⚠️ 注意:
model字段是必填的别名,可取autojev、jev-latest、jev-preview、jev-1.13.0或autojev-qwen3.8-27b之一(校验逻辑见 autojev/server.py),写错会返回 422。
⚙️ 调优清单:12 个环境变量与默认值速查
所有参数都以环境变量形式配置(decision_server.py),不改一行代码即可完成调优:
| 环境变量 | 默认值 | 作用与调优建议 |
|---|---|---|
PORT |
8090 |
服务端口 |
HOST |
127.0.0.1 |
监听地址,跨机器访问改为 0.0.0.0 |
ZTC_CHECKPOINT |
脚本所在目录 | 模型检查点路径,指向本地快照目录 |
SERVED_NAME |
darwin-27b-rsi-decision |
响应 JSON 中返回的模型名 |
BATCH |
8 |
动态分组的单组请求数上限,显存吃紧时降到 4 |
TOKEN_BUDGET |
24000 |
单组估算 token 预算,OOM 时优先调低(如 12000) |
MAX_LEN |
32768 |
单条请求 token 硬上限,超限不截断直接报错 |
TAU |
0 |
低置信度移交阈值,0 表示关闭移交(官方跑分配置) |
MAX_OPTIONS |
10 |
移交路径允许的最大选项数 |
REASONER_URLS |
空 | OpenAI 兼容推理器地址,逗号分隔多个 |
REASONER_MODEL |
darwin-27b-rsi |
调用推理器时使用的模型名 |
REASON_TIMEOUT |
600 |
单次推理器调用超时(秒) |
另有模型层高级开关:AUTOJEV_PROMPT_ATTENTION 可覆盖注意力模式(causal / bidirectional),本检查点默认 bidirectional(读取逻辑见 autojev/model.py),一般无需改动。
📦 动态分组原理:请求如何排队与拼批
服务的吞吐秘密在后台工作线程 worker() 中(decision_server.py),整个流程分四步:
- 窗口攒批:取出 1 条请求后,在 20 毫秒窗口内继续收集,最多攒
4 × BATCH(默认 32)条,把并发请求聚成大组 - 按长度排序:用估算长度(内容 JSON 字节数 ÷ 3 + 192,估算函数见 decision_server.py)对请求排序,长请求在后、短请求在前
- 贪心分组:从队首开始,每组不超过
BATCH条、且组内估算 token 总和不超过TOKEN_BUDGET,即切出一组 - 逐组前向:每组只做一次
prepare+forward(decision_server.py),概率结果回填到对应请求的 Future
这样设计有两个好处:短请求不会被长请求拖累,且每组显存占用被 TOKEN_BUDGET 上限约束,行为可预测。调优时记住"显存占用 ≈ 组数上限(BATCH)× token 预算(TOKEN_BUDGET)"这条经验公式即可。
🛟 OOM 重试机制:显存不足时的兜底策略
即使做了分组,显存仍可能不足(比如恰好同时进来多条长请求)。服务内置了两层兜底:
第一层:整组失败 → 降级单条重试。 分组前向抛异常时,先执行 gc.collect() + torch.cuda.empty_cache() 清理显存,再让组内每条请求单独走 run_single 重试,避免"一条带崩全组"。
第二层:单条两次尝试。 run_single(decision_server.py)最多尝试 2 次;捕获 torch.OutOfMemoryError 时清缓存后重试,两次都失败才返回 CUDA out of memory。其他异常(如超长输入)直接透传为 422/500,不会静默吞掉。
OOM 排障优先级:
- 先降
TOKEN_BUDGET(24000→12000) - 再降
BATCH(8→4) - 仍失败则检查输入:超过
MAX_LEN的超长 state 会直接 422(Question branch exceeds the 32768-token limit; no input was truncated),需精简输入而非调参
🔀 低置信度移交:TAU 阈值与推理器配置
官方跑分采用 TAU=0(纯快路径、无移交)。若设置 TAU>0 并配置 REASONER_URLS,服务会把"拿不准"的问题移交给一个 OpenAI 兼容的推理器(如 Darwin-27B-RSI 对话模型)。
触发移交需同时满足 5 个条件(判断逻辑见 decision_server.py):
TAU > 0- 问题类型为
choice - 选项数 ≤
MAX_OPTIONS - 请求未携带图片
- state 是自包含的(只含题目本体,如
question/code键,判定函数见 decision_server.py) - 且最高概率 <
TAU
命中后,服务以 temperature=0.6、开启思考模式调用推理器,最多 2 次尝试、多个 URL 轮询;推理器答对后,答案概率被重写为获胜项 0.9、其余 0.1 均摊(decision_server.py)。失败则保留快路径的原始答案,并在健康统计中计入 reasoner_failed。
✅ 健康检查与常见报错对照表
GET /health 返回服务状态与累计统计:
{"status": "ready", "model": "darwin-27b-rsi-decision", "tau": 0.0, "max_options": 10,
"stats": {"requests": 0, "questions": 0, "handed_off": 0, "reasoner_used": 0, "reasoner_failed": 0}}
stats 五项可用来观察移交是否频繁触发、推理器成功率如何。常见报错速查:
| 报错 | 常见原因 | 处理方式 |
|---|---|---|
422 Question branch exceeds the 32768-token limit |
输入超过 MAX_LEN,服务从不截断 |
精简 state / 问题,或显存允许时调大 MAX_LEN |
422 text-only backbone; images are not supported |
当前检查点为纯文本骨干,却传了 images |
去掉 images 字段 |
422 Unknown model |
model 字段不是合法别名 |
改用 autojev 等别名 |
500 Invalid probability vector |
概率向量校验失败(拒绝凭空补预测) | 记录日志,检查输入结构 |
CUDA out of memory |
两次 OOM 重试均失败 | 按上文优先级降 TOKEN_BUDGET、BATCH |
📁 关键文件索引
| 文件 | 说明 |
|---|---|
| decision_server.py | /v1/systemone 服务:动态分组、OOM 重试、低置信度移交 |
| autojev/model.py | DecisionModel:prompt 构建、前向推理、概率→答案转换(answer 函数) |
| autojev/bidir.py | 双向 prompt attention 补丁 |
| autojev/server.py | 另一套通用 FastAPI 服务(含 API key 鉴权) |
| autojev/types.py | 请求/响应数据结构定义 |
| decision_config.json | 255 个选项代码表、校准温度、注意力模式与出处 |
| config.json | 骨干网络结构(Qwen3.5 27B 文本模型) |
| readout.safetensors | 决策读出头权重 |
| README.md | 项目说明、成绩与引用格式 |
部署完成后,把 TOKEN_BUDGET、BATCH、TAU 三个参数结合你的显存与业务对延迟/准确率的取舍微调一遍,就拿到了一个稳定、低延迟的决策引擎服务。祝部署顺利 🎉