vLLM-Ascend 部署 Qwen3.8-27B:面向昇腾 NPU 的混合注意力多模态大模型上线全指南
vLLM-Ascend 部署 Qwen3.8-27B:面向昇腾 NPU 的混合注意力多模态大模型上线全指南
本文以 docs/source/tutorials/models/Qwen3.8-27B.md 为核心,系统讲解 Qwen3.8-27B 在 vLLM-Ascend(v0.23.0 及以上)上的完整落地流程:从模型权重选择、Docker/源码安装、单机在线服务部署,到功能验证、精度与性能评估、性能调优及 FAQ。读完本文,你可以在 950DT/950PR、Atlas 800 A3/A2、Atlas 300I DUO 等不同硬件上完成 Qwen3.8-27B 文本服务的部署与调参,并能结合仓库源码理解 qwen3_5_mtp 投机解码、FULL_DECODE_ONLY 图模式与 CPU 绑定等关键优化项的底层实现依据。
1. 模型背景与适用版本
Qwen3.8-27B 是 Qwen3.8 家族中的 270 亿参数稠密(dense)成员,构建于 Qwen3.5 的架构基础之上,与 2.4T MoE 旗舰版共享同一套混合注意力(hybrid attention)主干:64 层中仅 16 层运行全量(门控)注意力(full_attention_interval: 4),其余 48 层采用线性注意力(Gated DeltaNet)并保持恒定的循环状态(recurrent state)。它是一个原生视觉语言模型——架构为 Qwen3_5ForConditionalGeneration,config.json 中带有 vision_config——可以理解图像与视频,并内置 MTP(Multi-Token Prediction)草稿头以及原生 262,144 token 上下文窗口,最长可扩展至 1,000,000 token。
在能力层面,Qwen3.8-27B 在编程、专业工作、研究与长程智能体任务上相比 Qwen3.5/Qwen3.6 有显著提升:自主规划能力更强、端到端任务完成更可靠、与主流 harness 和开发工具的下游兼容性更广。思考(Thinking)模式默认开启,可按请求关闭;推理深度可通过 reasoning_effort(xhigh/medium/low)调节,历史消息中的推理上下文可通过 preserve_thinking 保留。
适用前提:本文档基于 vLLM-Ascend 0.23.0 验证编写,Qwen3.8-27B 自该版本起首次被支持。
从源码结构看,该模型在 vLLM-Ascend 中的支持由若干关键模块承接:
- 混合注意力的 Gated DeltaNet 线性注意力层在 vllm_ascend/patch/worker/patch_qwen3_5.py 中被 patch,该文件同时从 vLLM 导入
Qwen3_5MultiTokenPredictor(位于vllm.model_executor.models.qwen3_5_mtp),这正是部署命令中--speculative-config '{"method": "qwen3_5_mtp", ...}'的落地入口; - 单元测试 tests/ut/patch/worker/test_patch_qwen3_5_mtp.py 对 MTP 相关 patch 行为进行了覆盖,可作为行为验证依据;
- 端到端 CI 中已包含该模型的回归配置,见 tests/e2e/cases/models/configs/Qwen/Qwen3.8-27B-w8a8-A2.yaml 与 tests/e2e/cases/models/configs/Qwen/Qwen3.8-27B-w8a8-A3.yaml。
本文聚焦文本服务(text serving)在昇腾 NPU 上的部署,涵盖支持特性、前置条件、安装、单机/多节点部署、功能验证、精度与性能评估、性能调优和常见问题。
2. 支持特性
- 模型特性支持矩阵:参见 supported features;
- 各特性的配置细节:参见 Feature Guide,其中与本文直接相关的功能文档包括 图模式 graph_mode、投机解码 speculative_decoding、CPU 绑定 cpu_binding 与 量化 quantization。
3. 前置条件:模型权重
可选的权重版本及硬件要求如下:
| 权重版本 | 硬件要求 | 下载来源 |
|---|---|---|
Qwen3.8-27B(BF16 版本) |
1 台 950DT 产品(96GB × 8)节点,或 1 台 950PR 产品(128GB × 8)节点,或 1 台 Atlas 800 A3(64GB × 16)节点,或 1 台 Atlas 800 A2(64GB × 8)节点 | ModelScope 上的 Qwen/Qwen3.8-27B |
Qwen3.8-27B-w8a8(量化版本) |
1 台 950PR 产品(128GB × 8)节点,或 1 台 Atlas 800 A3(64GB × 16)节点,或 1 台 Atlas 800 A2(64GB × 8)节点 | ModelScope 上的 Eco-Tech/Qwen3.8-27B-w8a8 |
Qwen3.8-27B-w8a8-mxfp8(量化版本) |
1 台 950DT 产品(96GB × 8)或 1 台 950PR 产品(128GB × 8)节点 | ModelScope 上的 Eco-Tech/Qwen3.8-27B-w8a8-mxfp8 |
Qwen3.8-27B-w8a8-310p(量化版本) |
1 台 Atlas 300I DUO | ModelScope 上的 Eco-Tech/Qwen3.8-27B-w8a8-310p |
路径建议:推荐将模型权重下载到多节点共享目录,例如 /root/.cache/。
路径说明:将模型权重下载到你选择的目录并记录下来,确保后续部署命令中的模型路径与该目录一致。
4. 环境安装
4.1 Docker 镜像安装
根据机器类型选择镜像。各节点上的镜像启动命令如下(通用安装背景可参考 using docker 中的 prebuilt image 安装章节):
950PR & 950DT 产品
export IMAGE=quay.io/ascend/vllm-ascend:qwen3.8-a5
export NAME=vllm-ascend
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/hisi_hdc \
--device /dev/ummu \
--device /dev/uburma \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/hccl_rootinfo.json:/etc/hccl_rootinfo.json \
-v /etc/hixlep/:/etc/hixlep/ \
-v /root/.cache:/root/.cache \
-v /usr/local/sbin:/usr/local/sbin \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v /usr/lib64:/usr/lib64 \
-it $IMAGE bash
Atlas 800 A3 系列(16 卡)
export IMAGE=quay.io/ascend/vllm-ascend:qwen3.8-a3
export NAME=vllm-ascend
docker run --rm \
--name $NAME \
--net=host \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci8 \
--device /dev/davinci9 \
--device /dev/davinci10 \
--device /dev/davinci11 \
--device /dev/davinci12 \
--device /dev/davinci13 \
--device /dev/davinci14 \
--device /dev/davinci15 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash
Atlas 800 A2 系列(8 卡)
export IMAGE=quay.io/ascend/vllm-ascend:qwen3.8-a2
export NAME=vllm-ascend
docker run --rm \
--name $NAME \
--shm-size=1g \
--net=host \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash
Atlas 300I DUO
export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-310p
export NAME=vllm-ascend
docker run --rm \
--name $NAME \
--shm-size=1g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash
进入容器后,验证 vLLM 与 vLLM-Ascend 可被正常导入:
python -c "import vllm, vllm_ascend; print('vllm and vllm_ascend are ready')"
预期输出:
vllm and vllm_ascend are ready
4.2 源码安装
你也可以从源码构建并安装 vllm-ascend,步骤参见 set up using Python(existing CANN install 章节)。
如果需要部署多节点服务,请在每个节点上安装相同版本的 vLLM 与 vLLM-Ascend。
注意:在 Atlas 300I DUO 上,为避免依赖冲突,你可能需要先卸载
triton-ascend和triton:pip uninstall -y triton-ascend triton
5. 在线服务部署
5.1 单机在线部署
单机部署在同一节点内同时完成 Prefill 与 Decode,适合开发、测试和中等规模推理场景。在 Atlas 300I DUO 上至少需要 2 个设备。
启动服务前,请将模型路径、并行度与服务端口替换为目标环境中的实际值。以下按硬件给出示例。
950DT 产品
#!/bin/sh
# Load model from ModelScope to speed up download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8-mxfp8
export VLLM_USE_MODELSCOPE=True
export HCCL_BUFFSIZE=512
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# Size of the shared buffer (in MB) used by HCCL for NPU-to-NPU collective communication
# To reduce memory fragmentation and avoid out of memory
# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8-mxfp8) or a local directory path
# Ensure the model path matches the directory recorded during download
vllm serve $MODEL_PATH \
--host 0.0.0.0 \
--port 8000 \
--data-parallel-size 1 \
--tensor-parallel-size 1 \
--quantization ascend \
--served-model-name qwen3.8 \
--max-num-seqs 32 \
--max-model-len 131072 \
--max-num-batched-tokens 16384 \
--trust-remote-code \
--enable-prefix-caching \
--gpu-memory-utilization 0.85 \
--speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--additional-config '{"enable_cpu_binding":true}'
950PR 产品
量化版本需要 --quantization ascend。在 950PR 产品上,当前推荐权重为 Qwen3.8-27B-w8a8,待后续优化完成后可切换至 Qwen3.8-27B-w8a8-mxfp8。
#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True
# Size of the shared buffer (in MB) used by HCCL for NPU-to-NPU collective communication
export HCCL_BUFFSIZE=512
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8) or a local directory path
# Ensure the model path matches the directory recorded during download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8
vllm serve $MODEL_PATH \
--host 0.0.0.0 \
--port 8000 \
--data-parallel-size 1 \
--tensor-parallel-size 1 \
--quantization ascend \
--served-model-name qwen3.8 \
--max-num-seqs 32 \
--max-model-len 256000 \
--max-num-batched-tokens 16384 \
--trust-remote-code \
--enable-prefix-caching \
--gpu-memory-utilization 0.9 \
--speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--additional-config '{"enable_cpu_binding":true}'
Atlas 800 A3 / Atlas 800 A2
#!/bin/sh
# Load model from ModelScope to speed up download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8
export VLLM_USE_MODELSCOPE=True
export HCCL_BUFFSIZE=512
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# Size of the shared buffer (in MB) used by HCCL for NPU-to-NPU collective communication
# To reduce memory fragmentation and avoid out of memory
# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8) or a local directory path
# Ensure the model path matches the directory recorded during download
vllm serve $MODEL_PATH \
--host 0.0.0.0 \
--port 8000 \
--data-parallel-size 1 \
--tensor-parallel-size 2 \
--quantization ascend \
--served-model-name qwen3.8 \
--max-num-seqs 32 \
--max-model-len 131072 \
--max-num-batched-tokens 16384 \
--trust-remote-code \
--enable-prefix-caching \
--gpu-memory-utilization 0.85 \
--speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--additional-config '{"enable_cpu_binding":true}'
Atlas 800 A3/A2 与 950 系列的差异主要在并行度:A3/A2 示例使用
--tensor-parallel-size 2。仓库中的 CI 配置 tests/e2e/cases/models/configs/Qwen/Qwen3.8-27B-w8a8-A2.yaml 与 Qwen3.8-27B-w8a8-A3.yaml 同样采用 TP=2、--max-model-len 133120、--enable-prefix-caching、MTPnum_speculative_tokens=3与enable_cpu_binding的组合,并在性能测试基线上追加了--cudagraph_capture_sizes的显式档位(4 到 128 步长 4)、--async-scheduling、--api-server-count 4与多模态处理缓存相关参数,可作为进一步调优时对照的真实配置样本。
Atlas 300I DUO
目前仅支持 TP 场景,根据可用设备选择 TP=2 或 TP=4。将 MODEL_PATH 替换为 ModelScope 模型 id 或本地目录路径;量化版本需要以 --quantization ascend 参数启动。
#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True
# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8) or a local directory path
# Ensure the model path matches the directory recorded during download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8-310p
vllm serve $MODEL_PATH \
--host 127.0.0.1 \
--port 8000 \
--tensor-parallel-size 4 \
--served-model-name qwen3.8 \
--max-num-seqs 128 \
--max-model-len 16384 \
--trust-remote-code \
--gpu-memory-utilization 0.90 \
--mamba-ssm-cache-dtype float16 \
--dtype float16 \
--speculative-config '{"method": "qwen3_5_mtp","num_speculative_tokens":1}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [2,16]}' \
--additional-config '{"ascend_compilation_config": {"enable_npugraph_ex": false}}'
5.2 关键参数说明
各硬件示例共用的核心参数含义如下(原文档在每个硬件小节中均给出相同说明,此处合并整理):
--data-parallel-size与--tensor-parallel-size:数据并行(DP)与张量并行(TP)规模的常用设置。950 系列示例为 DP=1/TP=1,A3/A2 示例为 DP=1/TP=2,310p 示例仅使用 TP。--max-model-len:上下文长度,即单个请求“输入 + 输出”的最大值。950PR 示例配置到 256000 以发挥该平台的大显存优势;Qwen3.8-27B最长支持 262144。--max-num-seqs:每个 DP 组允许处理的最大请求数。超过该上限的请求将处于等待状态且不会被调度;注意等待时间同样计入 TTFT、TPOT 等指标。因此性能测试时一般建议--max-num-seqs×--data-parallel-size≥ 实际总并发。--max-num-batched-tokens:模型单步可处理的最大 token 数。当前 vLLM v1 调度默认启用 ChunkPrefill/SplitFuse,即:- (1)若请求输入长度大于
--max-num-batched-tokens,将按该值切分为多轮计算; - (2)Decode 请求优先调度,Prefill 请求仅在有剩余容量时被调度。
- 一般地,该值设置越大,整体时延越低,但对 HBM 内存(激活值占用)压力越大。
- (1)若请求输入长度大于
--gpu-memory-utilization:vLLM 用于实际推理的 HBM 占比。其本质作用在于计算可用的 kv_cache 大小:在预热阶段(vLLM 中称为 profile run),vLLM 记录以--max-num-batched-tokens为输入规模的一次推理过程中的峰值 HBM 占用,可用 kv_cache 大小 =--gpu-memory-utilization× HBM 总大小 − 峰值 HBM 占用。因此该值越大可用 kv_cache 越多;但预热阶段的 HBM 占用可能与实际推理时不同(例如 EP 负载不均衡),设置过高可能导致实际推理阶段 OOM。默认值为0.9。--quantization ascend:表示启用量化(对应仓库中vllm_ascend/quantization/下的 ascend 量化方法实现);如需关闭量化,删除该参数即可。--enable-prefix-caching:启用自动前缀缓存。--speculative-config '{"method": "qwen3_5_mtp", ...}':对Qwen3.8-27B使用qwen3_5_mtp方法,因为它与Qwen3.5-27B共享同一套 MTP 头设计。从源码结构看,该方法的实现入口在 vLLM 的Qwen3_5MultiTokenPredictor,并由 vllm_ascend/patch/worker/patch_qwen3_5.py 中的 patch 逻辑在昇腾侧完成适配(该文件头部即从vllm.model_executor.models.qwen3_5_mtp导入Qwen3_5MultiTokenPredictor)。在 Atlas 300I DUO 上建议将num_speculative_tokens设为1。--compilation-config:与 aclgraph 图模式相关,最重要的配置为"cudagraph_mode"与"cudagraph_capture_sizes":"cudagraph_mode":图模式。当前支持"PIECEWISE"与"FULL_DECODE_ONLY",图模式主要用于降低算子派发开销,当前推荐"FULL_DECODE_ONLY";"cudagraph_capture_sizes":不同档位图模式。默认值为[1, 2, 4, 8, 16, 24, 32, 40, ..., --max-num-seqs]。图模式下各档位的输入固定,档位之间的输入会自动 padding 到下一档位。当前推荐保持默认,仅个别场景需要单独设置以获得最佳性能。
--additional-config '{"enable_cpu_binding":true}':将 OMP 线程绑定到固定 CPU 核(实现位于 vllm_ascend/cpu_binding.py,功能文档见 cpu_binding.md)。在单台 950PR 产品上的实测中,这是收益最大的单一优化项:单流 decode 从关闭时的 32 tok/s 提升到开启后的 63 tok/s。- Atlas 300I DUO 专属参数:
--mamba-ssm-cache-dtype:Mamba SSM 缓存的数据类型。在 Atlas 300I DUO 上仅支持float16;--dtype float16:Atlas 300I DUO 上必须设置,该类设备仅支持 FP16 数据类型;- 在启用 TP 时,受硬件 event-id 约束,
"cudagraph_capture_sizes"最多只能有两个档位(例如[1, 8])。启用 MTP 时,每个捕获档位按n * (num_speculative_tokens + 1)计算,其中n为无 MTP 部署时的档位。例如num_speculative_tokens为1时,非 MTP 档位[1,2,4,8]变为[2,4,8,16]; --additional-config中"ascend_compilation_config": {"enable_npugraph_ex": false}在 Atlas 300I DUO 上必须设置,因为该平台不支持enable_npugraph_ex。
5.3 启动成功的判断标准
等待引擎完成权重加载与图捕获。启动成功的日志包含类似以下输出:
INFO: Started server process
INFO: Waiting for application startup.
INFO: Application startup complete.
6. 功能验证
服务启动后,可通过发送 prompt 调用模型,支持 completions 与 chat/completions 两个 API 接口。模型名使用 --served-model-name 配置的值(Qwen3.8-27B 为 qwen3.8)。
Completions API:
curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3.8",
"prompt": "The future of AI is",
"max_tokens": 50,
"temperature": 0.7
}'
Chat Completions API:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3.8",
"messages": [
{"role": "user", "content": "The future of AI is"}
],
"max_completion_tokens": 1024,
"temperature": 1.0,
"top_p": 0.95
}'
预期结果:服务返回 HTTP 200 OK,JSON 响应中包含带生成文本的 choices 字段。completions API 的输出示例(内容截断以缩短篇幅):
{
"id": "cmpl-xxxxxxxxxxxxx",
"object": "text_completion",
"created": 1780971952,
"model": "qwen3.8",
"choices": [
{
"index": 0,
"text": "The future of AI is a rapidly evolving landscape with breakthroughs in natural language understanding, multimodal reasoning, and autonomous agents. As models grow more capable and efficient...",
"logprobs": null,
"finish_reason": "length"
}
],
"usage": {
"prompt_tokens": 4,
"total_tokens": 54,
"completion_tokens": 50
}
}
7. 精度评估
7.1 使用 AISBench
- 详细操作步骤参见 Using AISBench。
- 执行完成后可得到评估结果。以下为
Qwen3.8-27B、Qwen3.8-27B-w8a8与Qwen3.8-27B-w8a8-mxfp8在vllm-ascend:v0.23.0rc1上的结果,仅供参考:
| dataset | model | metric | mode | vllm-api-general-chat |
|---|---|---|---|---|
| GPQA Diamond | Qwen3.8-27B | accuracy | gen | 90.40 |
| GPQA Diamond | Qwen3.8-27B-w8a8 | accuracy | gen | 89.90 |
| GPQA Diamond | Qwen3.8-27B-w8a8-mxfp8 | accuracy | gen | 89.39 |
从该结果看,w8a8 与 w8a8-mxfp8 量化相对 BF16 基线的 GPQA Diamond 精度回落在约 1 个百分点以内,可作为量化上线的精度参考。此外,仓库 CI 中的精度回归用例(如 Qwen3.8-27B-w8a8-A3.yaml 的 acc_GPQA 用例)设置了 GPQA baseline 85.1、阈值 5 的持续监控,可在日常回归中自动捕捉精度漂移。
8. 性能评估
8.1 使用 AISBench
参见 Using AISBench for performance evaluation。
8.2 使用 vLLM Benchmark
以 Qwen3.8-27B-w8a8 为例运行性能评估。参数取值参照 vLLM 官方 benchmark 文档的用法说明。
标准部署与性能测试的参数差异如下:
| 参数 | 标准部署 | 性能测试 |
|---|---|---|
--max-model-len |
256000 | 250000 |
--max-num-batched-tokens |
16384 | 8192 |
--gpu-memory-utilization |
0.9 | 0.95 |
vllm bench 有三个子命令:
latency:测量单批次请求的时延;serve:测量在线服务吞吐量;throughput:测量离线推理吞吐量。
以 serve 为例,执行如下:
export VLLM_USE_MODELSCOPE=True
# For Qwen3.8-27B-w8a8:
vllm bench serve --model Eco-Tech/Qwen3.8-27B-w8a8 --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result --result-dir ./
大约数分钟后即可获得性能评估结果。
9. 性能调优
9.1 推荐配置
说明:当前文档聚焦 Qwen3.8-27B 在昇腾 NPU 上的快速适配与验证。性能调优结果尚未完全验证完毕;典型场景(长上下文、低时延、高吞吐)的推荐配置将在对应验证完成后在此补充更新。在此之前,请参考 9.2 调优指南 中的一般性调优指引。
Atlas 300I DUO:目前仅支持 TP 场景。根据可用设备选择 TP=2 或 TP=4。使用 TP=4 时,
--max-model-len可支持 128k 与 256k 长序列场景;--max-num-seqs按需配置——设置过高可能导致 OOM。
9.2 调优指南
9.2.1 通用调优参考
调优方法参见 Public Performance Tuning Documentation;特性详细说明参见 Feature Matrix。
9.2.2 模型专属优化
默认启用的优化(无需额外配置):
| 优化技术 | 技术原理 | 性能收益 |
|---|---|---|
| Chunked Prefill | vLLM V1 调度器将长 prefill 输入切分为多个 chunk,每步最多处理 --max-num-batched-tokens 个 token。 |
降低单步内存峰值,支持更大 batch 规模与更高吞吐。 |
| Full Decode ACL Graph | 通过 --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' 一次性捕获并回放整个 decode 图。 |
降低单步算子派发开销,稳定 decode 时延。 |
| CPU Binding | 通过 --additional-config '{"enable_cpu_binding":true}' 将 worker 线程绑定到专用 CPU 核。 |
减少 CPU 调度抖动,稳定 decode 时延。 |
需要显式启用的优化:
| 优化技术 | 适用场景 | 启用方式 | 技术原理 | 注意事项 |
|---|---|---|---|---|
| Prefix Cache | 存在重复前缀的场景(如共享系统提示词、few-shot 示例) | --enable-prefix-caching |
复用重复前缀的缓存 KV 状态,避免重复 prefill 计算。 | 收益取决于前缀缓存命中率。 |
| Qwen3.5 MTP 投机解码 | decode 为主、且接受率可接受的负载 | --speculative-config '{"method":"qwen3_5_mtp","num_speculative_tokens":3}' |
使用内置 MTP 草稿头在每步推测多个 token,并在单次前向中校验。 | 针对目标负载调整推测 token 数;收益取决于接受率。 |
10. 常见问题(FAQ)
关于环境、安装与通用参数类问题,参见 Public FAQs。
延伸阅读与源码入口(便于继续深入本仓库):
- 模型 patch 实现:vllm_ascend/patch/worker/patch_qwen3_5.py(Gated DeltaNet 注意力适配与 MTP 导入);
- CPU 绑定实现:vllm_ascend/cpu_binding.py 与 设计文档;
- 端到端回归配置:Qwen3.8-27B-w8a8-A2.yaml、Qwen3.8-27B-w8a8-A3.yaml;
- 安装与镜像:installation.md;
- 评估工具:using_ais_bench.md、performance_benchmark.md。