d3-edge 性能调优实战:6.6ms 到 861 req/s 的延迟优化清单与参数配置指南
d3-edge 性能调优实战:6.6ms 到 861 req/s 的延迟优化清单与参数配置指南
d3-edge 是 vLLM Semantic Router(Decision 3.0)的 0.6B 多模态决策模型:给它一段文本(可附带图片、视频)加一组问题,一次前向推理就返回每个选项的概率,不生成任何文字。官方实测:文本请求中位延迟 6.6 ms,Engine 模式批量服务可达 861 req/s。本文整理一份完整的 d3-edge 性能调优清单——从 GPU 内核依赖、ROCm 快路径,到关键参数配置与预热,帮你同时压住单请求延迟和高并发吞吐。
TL;DR 三个关键数字
- ⚡ 单请求延迟:文本中位 6.6 ms,16 道问题也只花 22.4 ms
- 🚀 高并发吞吐:单卡 MI325X 上 Engine 批量模式 861 req/s(p99 < 1 s,6.1× AutoModel)
- 📌 三大杠杆:装对 GPU 内核 → 开启 ROCm 快路径(HIP Graph + 融合算子)→ 预热 + 批量服务
1. 理解 d3-edge 低延迟原理:6.6ms 从哪来
决策模型和生成式 LLM 的本质区别在于没有自回归解码:生成模型要逐词吐字,而 d3-edge 用 255 个"答案码"的读出头(见 decision_config.json),在一次前向中给所有选项打分,直接输出概率分布——整个请求基本就是一次编码。
它的底座是 Qwen3.5-0.8B(总参数 0.59B,含 0.10B 视觉编码器),12 层解码器以 Gated DeltaNet 线性注意力为主、按间隔 4 插入全注意力层(config.json 中的 full_attention_interval)。线性注意力用固定大小的状态代替随序列增长的 KV 缓存,长输入不会明显变慢。
单卡 AMD Instinct MI325X、一次一个请求的官方基线:
| 输入类型 | 中位延迟 |
|---|---|
| 文本(1 个问题) | 6.6 ms |
| 图片(1.6 MP,1 个问题) | 58.6 ms |
| 视频(10 s 1080p,1 个问题) | 274 ms |
延迟主要由"输入 token 数 + 问题数"决定:每道问题各走一次前向,但问题会按 batch_size(默认 8,见 d3_runtime.py#L105)分批合并成同一个 forward,所以同一请求问 16 道题也只需 22.4 ms 量级。
2. 性能地基:关键依赖与 GPU 内核清单
requirements.txt 里每一项都有性能含义,最容易踩坑的是第一个 ✅:
| 依赖 | 性能作用 |
|---|---|
| flash-linear-attention==0.5.2 | Gated DeltaNet 层的快速 GPU 内核;不装它会退回慢得多的 PyTorch 参考实现 |
| transformers==5.17.0 + torch>=2.8 | 底座推理,SDPA 注意力 |
| torchvision | 与评估一致的 GPU 图像缩放(缺了会退回 PIL 缩放) |
| opencv-python-headless | 视频解码(FFmpeg) |
| pillow | 图像解码 |
运行时加载时会自动检测绑定了哪套内核(kernel_report(),见 d3_runtime.py#L981-L1010),部署后值得检查一眼。
在 ROCm(MI325X / gfx942)上,仓库还自带一组手写 Triton 融合内核 d3_kernels.py,把解码器每层的逐元素小操作合并成单次内核启动(见 d3_kernels.py#L11-L17):
add_rmsnorm:残差加 + RMSNorm 合一silu_mul:SiLU(gate) × up 合一gdn_prep:因果卷积 + 拆分 + Gated DeltaNet 的 beta / g 计算gated_rmsnorm、attn_prep(含部分 RoPE)、sigmoid_gate
这些内核与 PyTorch eager 前向逐位对齐(连舍入顺序都一致),所以开启后不改变任何决策,只赚速度。
3. ROCm 快路径:HIP Graph 重放与融合算子配置
d3_fast.py 是运行时的"快路径",在 AMD GPU(torch.version.hip)+ Qwen3.5 底座 + noncausal_full_attention 注意力模式下默认启用(d3_fast.py#L28-L45),核心是两件事:
- HIP Graph 重放:文本前向在预热时按"(问题行数 × 长度桶)"的形状录制成 GPU 图,之后同形状请求只拷入数据、直接
replay,省掉 CPU 逐算子派发;长度按 64 token 桶右填充,填充位被 mask 掉,不参与计算。 - 融合解码层:整个 12 层解码器改走
d3_kernels融合算子,显著减少内核启动次数与主机侧开销。
还有三个容易忽略的隐藏优化,对吞吐影响不小:
- CPU 线程上限:容器里 torch 线程池默认按宿主机核数开,图像预处理会抢占给 GPU 喂数据的线程;运行时自动按 cgroup CPU 配额收敛(d3_fast.py#L483-L510)
- 同图去重:一个请求 N 道题时,同一张图只缩放一次、结果复用(d3_fast.py#L449-L480)
- 视觉 patch 嵌入改矩阵乘:ROCm 上 MIOpen 每遇到新图片尺寸都要为 Conv3d 搜内核(可能卡住几分钟),矩阵乘形式没有这次搜索(d3_runtime.py#L513-L535)
4. d3-edge 性能调优参数配置清单(环境变量与服务参数)
调优就靠下面这张表,先收藏 ⬇️
| 参数 | 位置 | 默认 | 作用 |
|---|---|---|---|
batch_size |
from_pretrained / d3_server.py --batch-size |
8 | 每次 forward 合并多少道问题;并发问题多时调大 |
D3_FAST |
环境变量 | 开 | 0 整体关闭 ROCm 快路径(排障/对比用) |
D3_FUSED |
环境变量 | 开 | 0 只关融合内核(d3_fast.py#L524-L526) |
D3_GRAPH_TOKENS |
环境变量 | 0(关) | HIP Graph 的 token 预算(行数 × 长度);设值后命中预算的形状走图重放,超限自动回落 eager(d3_fast.py#L519-L520) |
D3_GRAPH_BUCKET |
环境变量 | 64 | 图重放的长度桶宽(token 数) |
D3_CUDNN_SDPA |
环境变量 | 关 | CUDA 上设 1 保留默认 cuDNN SDPA 后端(d3_runtime.py#L958-L978) |
OMP_NUM_THREADS |
环境变量 | 自动 | 容器部署时手动钉住 torch CPU 线程数 |
readout_dtype |
decision_config.json | float32 | 打分精度;改 bfloat16 更省算力 |
--max-num-batched-tokens / --max-num-seqs / --batch-window-ms / --dtype |
vLLM Semantic Router Engine | 平台默认 | vLLM 风格引擎参数,控制并发请求的批量窗口 |
--no-warmup |
d3_server.py |
预热开 | 跳过预热(生产环境不建议) |
DECISION_API_KEY |
环境变量 | 无 | Bearer 鉴权,/health 保持开放 |
注意:D3_GRAPH_TOKENS 默认 0 即"不做图重放"(d3_fast.py#L23-L25),任何形状超出预算都会安全回落到普通前向——行为永远正确,只是快慢不同。
5. 预热配置:用 warmup 消灭首请求卡顿
内核第一次碰到特定形状要现场编译/自动调优:Gated DeltaNet 内核把 batch 大小当编译期常量,Triton 还会对"长度为 1 或 16 的倍数"做特化。因此官方 warmup()(d3_runtime.py#L2071-L2109)会把所有 batch 大小 × 6 个长度(37 / 64 / 320 / 333 / 1000 / 1024)全部跑一遍,再用小图、1.6 MP 图、4 张 1.6 MP 图三种请求把视觉塔也热起来。
冷启动后首个答案的时间实测对比(内核缓存为空):
| 模式 | 首答时间 |
|---|---|
| vLLM Semantic Router Engine | 11.6 s |
| AutoModel(进程内) | 24.9 s |
d3_server.py 包内服务器 |
36.5 s |
结论:生产部署 = 预热 + 进程常驻,用户侧就基本看不到秒级卡顿。
6. 控制输入规模:图片与视频 token 预算设置
延迟由 token 数决定,所以运行时把媒体输入"硬封顶",让延迟可预测:
- 🖼️ 图片:每张缩放到最多 1.6 MP(最少 65,536 像素),每 32×32 像素合为 1 个输入 token(d3_runtime.py#L118-L119)
- 🎬 视频:2 fps 采样、全片共 4–32 帧、每帧 ≤ 0.2 MP、单请求全部视频 ≤ 16,384 token(d3_runtime.py#L138-L145)
官方 Quickstart 的经典用例就是拿一张小票问"该路由给哪个团队、有没有收据、怎么付款",仓库自带的示例收据长这样:
批量在这里开始产生回报:同一张 1.6 MP 图问 8 道题,视觉特征整个请求只算一次、所有问题共享——AutoModel 要 267 ms,Engine 批量模式只要 111 ms(少 58%)。
7. 服务化调优:从单请求到 861 req/s 吞吐
单请求归进程内模式,高并发请上 vLLM Semantic Router 的 Engine 模式(vllm-sr serve -e vllm-sr/d3-edge,默认批量)。完整数据见 README.md#L226-L246,挑重点:
单请求延迟(p50,ms,热态)
| 请求 | AutoModel | 包内服务器 | Engine 单请求/前向 | Engine 批量(默认) |
|---|---|---|---|---|
| 文本 1 题 | 6.6 | 7.0 | 7.9 | 9.9 |
| 文本 16 题 | 22.4 | 22.1 | 21.4 | 20.6 |
| 图片 1.6 MP 8 题 | 267 | 261 | 215 | 111 |
| 视频 10 s 1 题 | 274 | 256 | 294 | 309 |
| 32k token 文本 | 281 | 285 | 268 | 274 |
吞吐量(单卡 MI325X,req/s,p99 < 1 s)
| 场景 | AutoModel | 包内服务器 | Engine 单请求/前向 | Engine 批量 |
|---|---|---|---|---|
| 文本 1 题 | 142 | 137 | 127 | 861 |
| 图片 1.6 MP 8 题 | 3.7 | 3.9 | 6.2 | 18.8 |
| 视频 10 s 1 题 | 3.7 | 7.2 | 7.7 | 8.7 |
Engine 模式每个 worker 最多容纳 32 个在途请求,超出立即返回 503——天然过载保护。上手前要知道两个取舍:
- 显存:AutoModel 峰值 5.2 GiB;包内服务器 12.1 GiB;Engine 模式 15.9–19.9 GiB(批量)。861 req/s 是用更高显存换来的。
- 精度:批量模式在完整公开测试集上只翻转了 0.151% 的"近乎并列"决策(487/323,259),gold 准确率 61.702 → 61.694%,工程上可忽略。
- 单条短请求:进程内仍然最快(单题文本快 1.3 ms、新图快 26 ms)——只做离线小批量时,AutoModel 就够。
8. 按场景选型:30 秒调优决策清单
| 场景 | 推荐配置 |
|---|---|
| 离线 / 小批量,追求最低单延迟 | 进程内 AutoModel + warmup() |
| 生产高并发(百级 req/s 起) | vLLM Semantic Router Engine 模式 + 默认批量 |
| 单机低并发、自建服务 | python d3_server.py --batch-size 8(保留默认预热) |
| AMD MI325X | 确认 fast_path 为 active;kernel_report() 显示 fla 内核 |
| 容器部署 | OMP_NUM_THREADS 钉到 CPU 配额 |
| CUDA 卡 | ROCm 快路径自动关闭;按需调 D3_CUDNN_SDPA |
收尾验证一步到位:模型加载后调用 runtime_info()(d3_runtime.py#L2219-L2240),看 fast_path.active、图捕获数量和内核绑定是否符合预期——都对了,调优就完成了。
9. 关键文件导航
- README.md — 官方性能数据与完整测试环境说明
- d3_runtime.py — 推理运行时:分批、媒体预算、
warmup()、runtime_info() - d3_fast.py — ROCm 快路径:HIP Graph、线程上限、同图去重
- d3_kernels.py — Triton 融合内核(gfx942)
- d3_server.py — 包内 HTTP 服务器(纯标准库,
--batch-size/--no-warmup/DECISION_API_KEY) - requirements.txt — 依赖清单(flash-linear-attention 是关键)
- decision_config.json — 255 个答案码、注意力模式、精度配置

