官方生产清单里没写的坑:JEV-27B-VL 上线第一晚,我改了这 4 个参数
官方生产清单里没写的坑:JEV-27B-VL 上线第一晚,我改了这 4 个参数
JEV-27B-VL 最近在社区里热度不低:一个带视觉的 27B 决策模型,一次前向传播输出每个选项的校准概率(System 1),必要时还能用 Qwen3.8-27B 底座逐步推理(System 2),在 Jev Decision Index Vision board 上排第一(Full score 69.82,ECE 0.019),评测排第二的是 67.66 分的 Solomon v1.1。因为仓库自带 serve.sh,网上流传的教程普遍宣称"一行命令、5 分钟跑通、80GB 显存起服务"——这也正是坑的开始。
照着官方清单部署本身没毛病,但官方清单是"能跑"的清单,不是"扛住流量"的清单。第一晚把 serve.sh 原样拉起来接真实请求,我先后改了 4 个参数:top_k、--max-num-seqs、MAX_MODEL_LEN 和 --limit-mm-per-prompt。下面逐个说清楚发生了什么。
坑一:top_k=0 不是可选项,是校准概率的生命线
这是最隐蔽、也最容易把"看起来能跑"误判成"跑对了"的一个。
serve.sh 自己写死了 --logprobs-mode processed_logprobs(见 serve.sh),看起来概率输出已经有了保障。但如果你绕过 serve_decide.py、直接用普通 vllm serve 起服务、再在客户端做概率读回——这是社区教程里很流行的"轻量部署"路线——问题就来了。
看仓库根目录的 generation_config.json:
{
"temperature": 1.0,
"top_k": 20,
"top_p": 0.95
}
模型自带的生成配置里写死了 top_k=20、top_p=0.95。而 vLLM 会把 generation_config.json 里的值当作请求默认值套用。后果在 README 的 Serving notes 里写得很直白:在 --logprobs-mode processed_logprobs 下,这两个默认值会截断返回的概率分布、把不太可能的选项直接清零。
也就是说:你以为读到的是全分布,实际读到的只是 top-20 截断后的残片。对 2~16 选项的常规决策,影响可能只是尾部概率被抹平;一旦你做的是 128、150、256 个选项的 choice(README 明确支持 2–256 个选项),截断会把大量本应有非零概率的选项变成 0,softmax 之后的整个分布都会失真,下游任何基于概率阈值的自动决策都会跟着错。
所以如果你走客户端读回的路线,必须像 README.md 里那段客户端代码一样显式传:
"max_tokens": 1, "temperature": 1.0, "top_k": 0, "top_p": 1.0
top_k=0 表示不截断,配合 top_p=1.0、temperature=1.0,才能拿回完整的 processed logprobs。这也解释了为什么 serve_decide.py 在 serve_decide.py 第 71 行把 READ 字典写死成 top_k=0, top_p=1.0——这不是玄学,是这条模型的硬约束。
我上线第一晚踩的坑是:按教程用普通 /v1/completions 自算概率,返回的 logprobs 里只有 top-20,导致一个 8 选项的审核任务把正确选项概率算成了 0.2 以下,全部走了人工兜底。改回 top_k=0 之后,分布立刻恢复正常。
坑二:--max-num-seqs 8 是正确性参数,不是性能参数
serve.sh 里有一行 --max-num-seqs 8(见 serve.sh),社区部署清单也把它列为"8 个关键参数"之一。但很少有人解释它为什么必须是 8。
答案在 README 的 Serving notes:
--max-num-seqs 8is required. With more than 8 sequences in one batch, vLLM's LoRA path for this multimodal model class returns wrong System 1 probabilities (the text-only JEV-27B is not affected).
这是一条"正确性"约束,不是吞吐调优:当一批里超过 8 个序列时,vLLM 对这个多模态模型类别的 LoRA 路径会返回错误的 System 1 概率。换句话说,你把并发开大、batch 撑上去,服务不会报错,而是静默给出错答案——这是生产环境里最危险的一种失败方式,因为监控看不到异常。
实际表现如何?我第一晚把并发从 8 提到 32,拿一个标准 choice 问题反复压测,同一输入的概率输出开始在不同 batch 间漂移,偶尔还出现最高概率选项翻转。把 --max-num-seqs 锁回 8 后,serve_decide.py 用 --max-lora-rank 32 挂载的 jev-decision LoRA 读出的分布和 README 里贴的 JEV-27B 参考结果完全对齐。
这里的工程含义是:不要把 --max-num-seqs 当作吞吐旋钮来拧。超过 8 的请求会排队,但排队不会出错;撑大 batch 则会出错且不报错。README 给出的吞吐参考(单张 B200、24 条短文本决策约 1.4 秒;4000 条 6 图决策约 316 秒)都是在这个上限内测出来的。如果你量上去了,正确做法是横向加实例,而不是纵向加 batch。
坑三:MAX_MODEL_LEN 开到 256K 前,先算清楚 17GB KV 缓存
第三个坑是关于显存的。模型的底座原生上下文是 262,144 token(256K,见 config.json 的 max_position_embeddings: 262144),README 的 Context length 章节还专门做了"25 万 token 里埋一句答案、20/20 全对"的测试(4K 到 250K 六档全过,250K 档中位延迟 28.7 秒,几乎全是 prefill 时间)。
但"支持 256K"和"你的 80GB 卡跑得动 256K"是两回事。README 算了一笔账:KV cache 大约每 token 65 KB,一个满 256K prompt 需要约 17GB KV 缓存,加上约 52GB 权重,总共约 69GB 起步——这是在 183GB 的 B200 上实测的。对一张 80GB 的卡,README 明确建议:--max-model-len 131072(128K)。
我第一晚的失误是把 MAX_MODEL_LEN=262144 直接设上去了,然后发现:serve.sh 默认 MAX_MODEL_LEN=32768,改到 262144 后不仅 KV cache 预分配吃满显存,prefill 的临时张量还会把余量挤爆,卡在 OOM 边缘反复重启。最后我按 README 的指引降到 131072,同时把服务里默认的 32768 作为兜底,让长上下文请求走独立实例。这个参数的正确姿势是:按你的最大 prompt 长度 × 65KB/token 预估算显存,而不是按模型宣称的最大长度开。另外 README 的 Serving notes 还提醒,图片会先被 Qwen3.8 processor 缩放,把大图先压到 448px 以内可以显著压低 vision token 数和延迟,长文+多图混用的场景尤其要注意。
坑四:--limit-mm-per-prompt 的 8 张图上限,撞上多图决策就超限
最后一个坑来自 serve.sh 里的 --limit-mm-per-prompt '{"image": 8}'。这个参数限制的是单 prompt 内最多 8 张图,是 vLLM 层对多模态输入的硬限制。
问题出在真实流量上:JEV-27B-VL 的 System 1 把 state 做成列表后,图像可以穿插在文本中间(README 的 Quick start 给了 ["Listing photo: ", image("item.jpg"), ...] 的用法),而仓库自己的推荐 demo 一次决策就要看 6 张封面;一旦业务侧把"用户最近看过的视频封面 + 候选封面"堆到一起,超过 8 张图是迟早的事。请求会直接 400,而且错误信息藏在 vLLM 的多模态校验里,线上报错时第一眼根本看不出是图片数量超限。
我的处理是两件事:第一,把多图场景拆成多次单图/少图决策,或者在应用层对图片数量做前置校验(用 /v1/decide/info 的返回做能力协商也行);第二,明确区分"上限是 8 张"和"建议是 4~6 张"——README 的推荐 demo 用 6 张图是有意的,因为单次前向传播的时延与 token 数强相关,图越多 prefill 越慢,System 1 的"快"就保不住了。把 --limit-mm-per-prompt 理解成"并发限制的镜像"会少踩很多坑:batch 大了会错,图多了会拒,这两个参数都是模型正确性/可用性的边界,不是可以随意放宽的。
从教程清单到可上线配置,差的不是参数,是理解
回头看这 4 个参数,有一个共同点:它们都不是"调得越大越好"的性能参数,而是模型的正确性边界。
| 参数 | 官方清单的说法 | 实际性质 |
|---|---|---|
top_k=0 |
部署清单里的一行 | processed logprobs 的全分布读取约束,截断会让概率失真 |
--max-num-seqs 8 |
"8 个关键参数"之一 | 多模态 LoRA 路径的正确性上限,超了静默给错概率 |
MAX_MODEL_LEN |
默认 32768,可开到 262144 | 显存预算问题,256K 需要约 17GB KV + 52GB 权重 |
--limit-mm-per-prompt |
图上限 8 张 | 多图决策的可用性边界,超限直接 400 |
这也是这篇仓库里最有价值的部分:serve_decide.py 把大部分坑都替你堵死了——READ 字典写死 top_k=0/top_p=1.0、/v1/decide 路由自动套 temperature 和 bias(见 serve_decide.py 的 s1_pass,决策 logits = lm_head-LoRA logprobs + bias,再除以 per-kind temperature)、图片用 raw decision template 渲染(需要 --trust-request-chat-template)。所以我的建议是:能用 serve_decide.py 就不要自己拼客户端读回,否则 README 里那段"Without serve_decide.py"的客户端代码里的每个参数,都是你要亲自维护的正确性责任。
上线第一晚改完这 4 个参数,服务稳定跑了一整夜,概率分布和单机基准完全一致。如果你也在部署这个模型,建议先对着 README.md 的 Serving notes 逐条核对,再谈吞吐优化——因为对这个模型来说,"正确"永远是先于"快"的前提。