如何本地服务50万token长文档:vLLM-2080Ti-Definitive 262K~524K长上下文实战(附FP8 KV与YaRN压缩技巧)
如何本地服务50万token长文档:vLLM-2080Ti-Definitive 262K~524K长上下文实战(附FP8 KV与YaRN压缩技巧)
vLLM-2080Ti-Definitive 是面向双卡 RTX 2080 Ti 22GB + NVLink 的 vLLM 推理运行时,让 44GB 显存的“游戏显卡组合”也能本地服务 Qwen 27B 级别模型,并把单次请求上下文从 262K 一路拉到 524K(约 50 万 token)长文档,同时保持 90~220+ tok/s 的解码速度。本文手把手带你完成长上下文路线选型、FP8 KV 压缩、YaRN RoPE 扩展的完整配置。
🧮 长文档推理为什么难:一张显存账本
50 万 token 长文档推理的核心瓶颈不是权重,而是 KV Cache。粗略估算:
- 双卡 2080 Ti 22GB 通过 NVLink 共 44GB 显存;
- 27B 模型 FP8/NVFP4 权重占用约一半显存,剩下给 KV;
- FP16 KV 下每 token 开销大,2080 Ti 上最多撑 176K~262K;
- 换成 FP8 KV 或 TurboQuant 4bit KV 后,容量直接翻倍到 524K 甚至多路并发。
这就是本项目所有长上下文路线的设计逻辑:权重量化解决“装得下模型”,KV 压缩解决“装得下上下文”。
🎯 三大关键技巧:把上下文推到 262K~524K
技巧 1:FP8 KV Cache——长上下文的默认选择
所有高容量路线都使用 KV_CACHE_DTYPE=fp8。FP8 KV 相比 FP16 显存占用减半,是 262K/338K/524K 路线的共同底座。以 yarn-fp8kv-1x524K-text-only.env 为例,单请求可用 588,863 个 GPU KV token,足够吞下整本长书。
技巧 2:YaRN RoPE 扩展——突破模型原生长上下文上限
Qwen 27B 的原生上下文小于 524K,直接调大 MAX_MODEL_LEN 会导致位置编码越界、质量劣化。本项目在 launcher 里内置了 YaRN 处理:
- Profile 中只需声明
ENABLE_YARN=1; - 启动时 launcher.sh 自动读取本地权重目录的
config.json,计算factor = 目标长度 / 原生长度,并注入rope_type: yarn的 RoPE 覆盖参数; - 目标长度若小于原生上下文会自动报错拒绝,避免无效配置。
338K 的 FP8 权重路线(yarn-fp8kv-1x338K-text-only.env)就是靠 ENABLE_YARN=1 把 27B 模型的上下文从原生上限扩展出来的。
技巧 3:并发换吞吐——多路 262K 长文档同时服务
长文档场景常常不止一份。NVFP4 权重的 TQ4NC(TurboQuant 4bit)路线可以开 3 路 262K 并发:mtp4-tq4nc-3x262K-text-only.env 的 GPU KV 容量高达 837,832 token,相当于同时“读”三份 26 万字级文档。
📋 长上下文 Profile 选型对照表
以下数据来自 profiles/2x2080Ti/README.zh-CN.md 的可复测参考口径(32K/512 表示 32,768 输入 / 512 输出的 prefill / decode 速度):
| 路线(相对路径) | 上下文 | KV 精度 | 解码 | 32K/512 decode |
|---|---|---|---|---|
| w4a16/dflash2-fp8kv-1x262K-text-image.env | 262K | FP8 | DFlash2/7 | 209.35 tok/s |
| w8a16/mtp4-fp8kv-1x262K-text-only.env | 262K | FP8 | MTP/4 | 92.47 tok/s |
| w8a16/yarn-fp8kv-1x338K-text-only.env | 338K | FP8 + YaRN | 无 | 17.91 tok/s |
| w4a16/mtp4-fp8kv-2x229K-text-only.env | 2×229K | FP8 | MTP/4 | 109.72 tok/s |
| w4a16/yarn-fp8kv-1x524K-text-only.env | 524K | FP8 + YaRN | 无 | 37.22 tok/s |
| w4a16/mtp4-tq4nc-3x262K-text-only.env | 3×262K | TQ4NC | MTP/4 | 68.64 tok/s |
选型建议:
- 🏃 追求单请求速度 → 262K + DFlash2/MTP 投机解码路线(100~220 tok/s);
- 📚 单份超长文档(40万 token 以上)→ 524K YaRN 路线,速度换容量;
- 👥 多份长文档并发 → 2×229K 或 3×262K 并发路线;
- 🖼️ 图文混合长文档 → 186K/262K 的 text-image 路线(mtp4-fp8kv-1x186K-text-image.env)。
🚀 一键启动 524K 长上下文服务
先构建运行时:
git clone https://gitcode.com/gh_mirrors/vl/vLLM-2080Ti-Definitive
cd vLLM-2080Ti-Definitive
./build.sh
然后用非交互模式指定 524K Profile 启动(--print-config 可先预览最终参数):
MODEL_DIR=/mnt/models/Qwen3.8-27B-NVFP4 \
PROFILE=2x2080Ti/qwen27b/w4a16/yarn-fp8kv-1x524K-text-only.env \
MODE=fast GPU_DEVICES=1,5 TP_SIZE=2 \
NON_INTERACTIVE=1 ./launcher.sh
交互式启动则直接运行 ./launcher.sh,在主菜单选择权重目录与 Profile 即可:
完整参数说明见 docs/non-interactive-launch.zh-CN.md 与 profiles/README.zh-CN.md。
💡 长文档场景的进阶技巧
- Prefix Cache 复用长文档前缀:同一份长文档多次提问时,命中的前缀 KV 无需重算。服务重启后前缀缓存会丢失,可开启实验性的 SSD Prefix Cache(
--set KV_DISK_CACHE_DIR=...),官方验证过 2080 Ti 上重启后恢复了 5,356 token 提示词中的 3,232 个。 - 长文档 QA 吞吐压测:仓库自带 benchmarks/benchmark_long_document_qa_throughput.py,可指定文档数、文档长度(默认 20,000 token)与重复次数,模拟真实“多份长文档轮询提问”场景。
- 质量权衡要心里有数:YaRN 扩展路线(338K/524K)关闭了投机解码,解码速度回落到 18~41 tok/s;如果文档其实不到 20 万 token,优先选带 MTP/DFlash2 的 262K 路线,速度可高 2~10 倍。
- 手写 Profile 先校验:自定义
MAX_MODEL_LEN、KV_CACHE_DTYPE等字段后,文件名必须与字段一致,先运行bash tools/validate_profiles.sh再启动。
⚠️ 常见坑位速查
| 现象 | 原因与处理 |
|---|---|
| 启动报 “YaRN requires MAX_MODEL_LEN to exceed native context” | 目标长度未超过模型原生上下文,YaRN 无意义,请移除 ENABLE_YARN=1 |
| 524K 路线起不来、显存不足 | 检查 GPU_UTIL(路线值为 0.96)、MAX_NUM_SEQS=1 是否被误改,长上下文路线不适合多并发 |
| NVFP4 权重 + FP16 KV 输出质量差 | 已知质量塌陷组合,KV 请固定使用 FP8 |
| 解码速度远低于表格数据 | 参考数据基于高命中率合成文本,真实任务受投机接受率影响会低于标称值 |
小结
用双 2080 Ti 本地服务 50 万 token 长文档并不玄学:FP8 KV 打底 + YaRN 扩上下文 + NVLink 44GB 显存,再配合仓库里验证过的 Profile 一键启动,262K 高速路线与 524K 极限容量路线都可以稳定落地。从选型对照表里挑一个 Profile,跑一条 launcher.sh 命令,你的长文档本地推理服务就完成了。

