如何榨干Step-5-Preview的1M上下文?KV缓存与并发数调优完全指南
如何榨干Step-5-Preview的1M上下文?KV缓存与并发数调优完全指南
Step-5-Preview 是阶跃星辰面向智能体(Agentic)场景打造的旗舰 MoE 模型:600B 总参数、27B 激活参数,最高支持 1M token 上下文。但"支持 1M"不等于"随便开 1M"——KV 缓存显存、并发数(max-num-seqs)和批处理预算这三个参数直接决定了你的长上下文请求能否跑起来、跑多快。本文带你摸清 Step-5-Preview 的 KV 缓存结构,并给出一套可落地的并发调优清单。
先看懂架构:1M 上下文的显存都花在哪?
很多人以为 1M 上下文意味着"每个 token 都要缓存 92 层注意力",Step-5-Preview 并非如此。查看 config.json 可以发现它的注意力是混合式的:
| 组件 | 配置 | 对 KV 缓存的影响 |
|---|---|---|
| full_attention 层 | 每 4 层出现 1 层,共 23 层 | 需要缓存全量 K/V,是 1M 显存的大头 |
| sliding_attention 层 | 共 69 层,滑窗 512 token | 只保留最近 512 个 token 的环形缓冲,长度无关 |
| GQA 分组 | 64 个 Query 头 / 4 组 KV 头,head_dim 192 | KV 头数仅为 Q 头的 1/16,大幅压缩缓存 |
| DSA 稀疏注意力 | 仅作用于 full_attention 层,topk=512 | 解码时只检索最相关的 512 个历史区域,算得快 |
💡 关键结论:上下文从 8K 拉长到 1M 时,真正线性膨胀的只是 23 层 full_attention 的 KV,其余 69 层滑窗层的缓存恒定在 512 token。这就是长上下文在显存上比"朴素实现"便宜得多、但仍然紧张的原因。
粗略估算(BF16 KV):单个 full_attention 层每个 token 约需 4 组 × 192 维 × 2(K+V)× 2 字节 ≈ 3 KB,23 层合计约 69 KB/token。1M token 的理论 KV 上限在 70 GB 量级——这就是为什么官方强调"1M 是输入加输出的总和,不是纯输入"。
独立推理路径的缓存实现可以参见 inference/model.py:滑窗层用环形缓冲(DenseLayerCache),full 层用带已完成区域摘要的 DSA 缓存(Step5Cache)。
vLLM 部署:KV 缓存与并发数核心参数逐个讲
官方在 README.md 中给出的 vLLM 启动命令(FP8,TP4)里,与"榨干 1M 上下文"最相关的是下面 5 个参数:
| 参数 | 官方示例值 | 作用与调优思路 |
|---|---|---|
--max-model-len |
1048576 |
上下文硬上限(输入+输出)。显存不够时优先降它,例如日常 128K 场景可设为 131072,KV 预算立刻释放一大截 |
--max-num-seqs |
64 |
并发请求数上限(注意:在 DEP 模式下按每个 DP rank 单独计算)。它是吞吐与单请求时延的总闸门 |
--max-num-batched-tokens |
16384 |
每步最多处理的 token 预算,决定长 prompt 的 prefill 是否被分块(chunked prefill) |
--gpu-memory-utilization |
0.85 |
显存水位线。KV 池 = 显存 × 该比例 − 权重 − 激活。OOM 时可从 0.85 降到 0.8 观察 |
--enable-prefix-caching |
开启 | 多轮对话 / 系统提示词复用前缀 KV,长上下文场景下首 token 延迟可显著下降 |
另外两个"隐藏加速件"也值得保留:
--spec-method mtp+--spec-tokens 3:启用模型自带的 3 层 MTP(多 token 预测)做投机解码,解码提速的同时并不额外增加 KV 缓存负担。--reasoning-parser step5/--tool-call-parser step5:正确解析推理与工具调用内容,智能体长任务必备。
⚠️ 官方在 README 中明确提示:若 KV 缓存显存不足,降低 --max-model-len 或并发数——这两者就是 1M 上下文调优的两个主旋钮。
SGLang 部署:另一组等价旋钮
如果你用 SGLang(见 README.md 的 SGLang 小节),对应关系如下:
| SGLang 参数 | 官方示例值 | 对应关系 |
|---|---|---|
--max-running-requests |
64 |
并发数上限,对应 vLLM 的 --max-num-seqs |
--mem-fraction-static |
0.9 |
显存水位线,对应 --gpu-memory-utilization |
--kv-cache-dtype |
bfloat16 |
KV 精度;改为 fp8 可再省一半 KV 显存,但需权衡质量 |
--chunked-prefill-size |
16384 |
长 prompt 分块 prefill 的块大小 |
--page-size |
64 |
Paged KV 的分页粒度,影响显存碎片与命中率 |
SGLang 同样启用了基于 EAGLE 的多层投机解码(--speculative-num-steps 3),与 vLLM 的 MTP 方案效果同源。
并发数调优实战清单
结合 inference/README.zh.md 中的实测数据(BF16 下 TP=16 时仅参数就占 74.93 GiB/卡,KV 缓存、RoPE、激活和通信还要额外显存),给出一套排查顺序:
- 先固定上下文,再谈并发:把
--max-model-len设到业务真实上限(例如 256K),而不是盲目拉满 1M。 - 从低并发压测起:
--max-num-seqs从 8 → 16 → 32 → 64 逐级翻倍,记录 TTFT(首 token 延迟)与 TPOT(每 token 时间),找到延迟拐点。 - 长上下文 + 高并发不要兼得:1M 级别请求建议并发压到个位数;高并发(32+)场景把上下文降到 32K~128K,吞吐反而更高。
- 开启前缀缓存后复查:多轮 Agent 会话中前缀命中率上来后,同样的 KV 预算能支撑更多并发。
- OOM 报错时的降级顺序:降
--max-num-seqs→ 降--max-model-len→ 降--gpu-memory-utilization→ 切换 FP8 权重(比 BF16 权重省一半显存,KV 池自然变大)。 - DEP 模式注意:
--max-num-seqs是"每 DP rank"的配额,总并发 = 配额 × DP 数,别重复放大。
场景推荐配置速查
| 场景 | 建议起点 |
|---|---|
| 单请求超长文档(500K~1M) | max-model-len 1048576、max-num-seqs 1~4、开 prefix caching + MTP |
| 仓库级代码分析(64K~256K) | max-model-len 262144、max-num-seqs 8~16 |
| 多用户智能体服务(8K~32K) | max-model-len 32768、max-num-seqs 32~64、依赖 prefix caching 提命中 |
📌 采样参数别忘了官方推荐:
temperature=1.0、top_p=0.95、top_k=0(High 推理档),调完并发后建议用这组参数回归一遍质量。
写在最后
Step-5-Preview 的 1M 上下文之所以"能榨干",靠的是滑窗注意力 + DSA 稀疏检索把 KV 膨胀压在了 23 层 full attention 上;而把这块预算用好,核心就两件事——用 --max-model-len 划定上下文上限,用 --max-num-seqs 控制并发规模,其余参数围绕它们做微调。理解 config.json 里的注意力结构,比背参数更能帮你应对不同硬件(B300 / H200、FP8 / BF16)下的调优需求。