vLLM-Ascend 部署 Qwen3.8-27B:面向昇腾 NPU 的混合注意力多模态大模型上线全指南

原创2026-10-13 14:56:323,760 阅读
文章标签:人工智能大模型模型推理服务Ascend

vLLM-Ascend 部署 Qwen3.8-27B:面向昇腾 NPU 的混合注意力多模态大模型上线全指南

本文以 docs/source/tutorials/models/Qwen3.8-27B.md 为核心,系统讲解 Qwen3.8-27B 在 vLLM-Ascend(v0.23.0 及以上)上的完整落地流程:从模型权重选择、Docker/源码安装、单机在线服务部署,到功能验证、精度与性能评估、性能调优及 FAQ。读完本文,你可以在 950DT/950PR、Atlas 800 A3/A2、Atlas 300I DUO 等不同硬件上完成 Qwen3.8-27B 文本服务的部署与调参,并能结合仓库源码理解 qwen3_5_mtp 投机解码、FULL_DECODE_ONLY 图模式与 CPU 绑定等关键优化项的底层实现依据。

1. 模型背景与适用版本

Qwen3.8-27B 是 Qwen3.8 家族中的 270 亿参数稠密(dense)成员,构建于 Qwen3.5 的架构基础之上,与 2.4T MoE 旗舰版共享同一套混合注意力(hybrid attention)主干:64 层中仅 16 层运行全量(门控)注意力(full_attention_interval: 4),其余 48 层采用线性注意力(Gated DeltaNet)并保持恒定的循环状态(recurrent state)。它是一个原生视觉语言模型——架构为 Qwen3_5ForConditionalGeneration,config.json 中带有 vision_config——可以理解图像与视频,并内置 MTP(Multi-Token Prediction)草稿头以及原生 262,144 token 上下文窗口,最长可扩展至 1,000,000 token。

在能力层面,Qwen3.8-27B 在编程、专业工作、研究与长程智能体任务上相比 Qwen3.5/Qwen3.6 有显著提升:自主规划能力更强、端到端任务完成更可靠、与主流 harness 和开发工具的下游兼容性更广。思考(Thinking)模式默认开启,可按请求关闭;推理深度可通过 reasoning_effort(xhigh/medium/low)调节,历史消息中的推理上下文可通过 preserve_thinking 保留。

适用前提:本文档基于 vLLM-Ascend 0.23.0 验证编写,Qwen3.8-27B 自该版本起首次被支持。

从源码结构看,该模型在 vLLM-Ascend 中的支持由若干关键模块承接:

本文聚焦文本服务(text serving)在昇腾 NPU 上的部署,涵盖支持特性、前置条件、安装、单机/多节点部署、功能验证、精度与性能评估、性能调优和常见问题。

2. 支持特性

3. 前置条件:模型权重

可选的权重版本及硬件要求如下:

权重版本 硬件要求 下载来源
Qwen3.8-27B(BF16 版本) 1 台 950DT 产品(96GB × 8)节点,或 1 台 950PR 产品(128GB × 8)节点,或 1 台 Atlas 800 A3(64GB × 16)节点,或 1 台 Atlas 800 A2(64GB × 8)节点 ModelScope 上的 Qwen/Qwen3.8-27B
Qwen3.8-27B-w8a8(量化版本) 1 台 950PR 产品(128GB × 8)节点,或 1 台 Atlas 800 A3(64GB × 16)节点,或 1 台 Atlas 800 A2(64GB × 8)节点 ModelScope 上的 Eco-Tech/Qwen3.8-27B-w8a8
Qwen3.8-27B-w8a8-mxfp8(量化版本) 1 台 950DT 产品(96GB × 8)或 1 台 950PR 产品(128GB × 8)节点 ModelScope 上的 Eco-Tech/Qwen3.8-27B-w8a8-mxfp8
Qwen3.8-27B-w8a8-310p(量化版本) 1 台 Atlas 300I DUO ModelScope 上的 Eco-Tech/Qwen3.8-27B-w8a8-310p

路径建议:推荐将模型权重下载到多节点共享目录,例如 /root/.cache/。

路径说明:将模型权重下载到你选择的目录并记录下来,确保后续部署命令中的模型路径与该目录一致。

4. 环境安装

4.1 Docker 镜像安装

根据机器类型选择镜像。各节点上的镜像启动命令如下(通用安装背景可参考 using docker 中的 prebuilt image 安装章节):

950PR & 950DT 产品

export IMAGE=quay.io/ascend/vllm-ascend:qwen3.8-a5
export NAME=vllm-ascend

docker run --rm \
    --name $NAME \
    --net=host \
    --shm-size=1g \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/hisi_hdc \
    --device /dev/ummu \
    --device /dev/uburma \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /etc/hccl_rootinfo.json:/etc/hccl_rootinfo.json \
    -v /etc/hixlep/:/etc/hixlep/ \
    -v /root/.cache:/root/.cache \
    -v /usr/local/sbin:/usr/local/sbin \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
    -v /usr/lib64:/usr/lib64 \
    -it $IMAGE bash

Atlas 800 A3 系列(16 卡)

export IMAGE=quay.io/ascend/vllm-ascend:qwen3.8-a3
export NAME=vllm-ascend

docker run --rm \
    --name $NAME \
    --net=host \
    --shm-size=1g \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci8 \
    --device /dev/davinci9 \
    --device /dev/davinci10 \
    --device /dev/davinci11 \
    --device /dev/davinci12 \
    --device /dev/davinci13 \
    --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

Atlas 800 A2 系列(8 卡)

export IMAGE=quay.io/ascend/vllm-ascend:qwen3.8-a2
export NAME=vllm-ascend

docker run --rm \
    --name $NAME \
    --shm-size=1g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

Atlas 300I DUO

export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-310p
export NAME=vllm-ascend

docker run --rm \
    --name $NAME \
    --shm-size=1g \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -it $IMAGE bash

进入容器后,验证 vLLM 与 vLLM-Ascend 可被正常导入:

python -c "import vllm, vllm_ascend; print('vllm and vllm_ascend are ready')"

预期输出:

vllm and vllm_ascend are ready

4.2 源码安装

你也可以从源码构建并安装 vllm-ascend,步骤参见 set up using Python(existing CANN install 章节)。

如果需要部署多节点服务,请在每个节点上安装相同版本的 vLLM 与 vLLM-Ascend。

注意:在 Atlas 300I DUO 上,为避免依赖冲突,你可能需要先卸载 triton-ascend 和 triton:

pip uninstall -y triton-ascend triton

5. 在线服务部署

5.1 单机在线部署

单机部署在同一节点内同时完成 Prefill 与 Decode,适合开发、测试和中等规模推理场景。在 Atlas 300I DUO 上至少需要 2 个设备。

启动服务前,请将模型路径、并行度与服务端口替换为目标环境中的实际值。以下按硬件给出示例。

950DT 产品

#!/bin/sh
# Load model from ModelScope to speed up download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8-mxfp8
export VLLM_USE_MODELSCOPE=True
export HCCL_BUFFSIZE=512
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# Size of the shared buffer (in MB) used by HCCL for NPU-to-NPU collective communication
# To reduce memory fragmentation and avoid out of memory

# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8-mxfp8) or a local directory path
# Ensure the model path matches the directory recorded during download

vllm serve $MODEL_PATH \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 1 \
    --tensor-parallel-size 1 \
    --quantization ascend \
    --served-model-name qwen3.8 \
    --max-num-seqs 32 \
    --max-model-len 131072 \
    --max-num-batched-tokens 16384 \
    --trust-remote-code \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.85 \
    --speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
    --additional-config '{"enable_cpu_binding":true}'

950PR 产品

量化版本需要 --quantization ascend。在 950PR 产品上,当前推荐权重为 Qwen3.8-27B-w8a8,待后续优化完成后可切换至 Qwen3.8-27B-w8a8-mxfp8。

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True
# Size of the shared buffer (in MB) used by HCCL for NPU-to-NPU collective communication
export HCCL_BUFFSIZE=512
# To reduce memory fragmentation and avoid out of memory
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8) or a local directory path
# Ensure the model path matches the directory recorded during download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8

vllm serve $MODEL_PATH \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 1 \
    --tensor-parallel-size 1 \
    --quantization ascend \
    --served-model-name qwen3.8 \
    --max-num-seqs 32 \
    --max-model-len 256000 \
    --max-num-batched-tokens 16384 \
    --trust-remote-code \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.9 \
    --speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
    --additional-config '{"enable_cpu_binding":true}'

Atlas 800 A3 / Atlas 800 A2

#!/bin/sh
# Load model from ModelScope to speed up download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8
export VLLM_USE_MODELSCOPE=True
export HCCL_BUFFSIZE=512
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# Size of the shared buffer (in MB) used by HCCL for NPU-to-NPU collective communication
# To reduce memory fragmentation and avoid out of memory

# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8) or a local directory path
# Ensure the model path matches the directory recorded during download

vllm serve $MODEL_PATH \
    --host 0.0.0.0 \
    --port 8000 \
    --data-parallel-size 1 \
    --tensor-parallel-size 2 \
    --quantization ascend \
    --served-model-name qwen3.8 \
    --max-num-seqs 32 \
    --max-model-len 131072 \
    --max-num-batched-tokens 16384 \
    --trust-remote-code \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.85 \
    --speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
    --additional-config '{"enable_cpu_binding":true}'

Atlas 800 A3/A2 与 950 系列的差异主要在并行度:A3/A2 示例使用 --tensor-parallel-size 2。仓库中的 CI 配置 tests/e2e/cases/models/configs/Qwen/Qwen3.8-27B-w8a8-A2.yaml 与 Qwen3.8-27B-w8a8-A3.yaml 同样采用 TP=2、--max-model-len 133120、--enable-prefix-caching、MTP num_speculative_tokens=3 与 enable_cpu_binding 的组合,并在性能测试基线上追加了 --cudagraph_capture_sizes 的显式档位(4 到 128 步长 4)、--async-scheduling、--api-server-count 4 与多模态处理缓存相关参数,可作为进一步调优时对照的真实配置样本。

Atlas 300I DUO

目前仅支持 TP 场景,根据可用设备选择 TP=2 或 TP=4。将 MODEL_PATH 替换为 ModelScope 模型 id 或本地目录路径;量化版本需要以 --quantization ascend 参数启动。

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True

# Model weight path; can be a ModelScope model id (e.g., Eco-Tech/Qwen3.8-27B-w8a8) or a local directory path
# Ensure the model path matches the directory recorded during download
export MODEL_PATH=Eco-Tech/Qwen3.8-27B-w8a8-310p

vllm serve $MODEL_PATH \
    --host 127.0.0.1 \
    --port 8000 \
    --tensor-parallel-size 4 \
    --served-model-name qwen3.8 \
    --max-num-seqs 128 \
    --max-model-len 16384 \
    --trust-remote-code \
    --gpu-memory-utilization 0.90 \
    --mamba-ssm-cache-dtype float16 \
    --dtype float16 \
    --speculative-config '{"method": "qwen3_5_mtp","num_speculative_tokens":1}' \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [2,16]}' \
    --additional-config '{"ascend_compilation_config": {"enable_npugraph_ex": false}}'

5.2 关键参数说明

各硬件示例共用的核心参数含义如下(原文档在每个硬件小节中均给出相同说明,此处合并整理):

  • --data-parallel-size 与 --tensor-parallel-size:数据并行(DP)与张量并行(TP)规模的常用设置。950 系列示例为 DP=1/TP=1,A3/A2 示例为 DP=1/TP=2,310p 示例仅使用 TP。
  • --max-model-len:上下文长度,即单个请求“输入 + 输出”的最大值。950PR 示例配置到 256000 以发挥该平台的大显存优势;Qwen3.8-27B 最长支持 262144。
  • --max-num-seqs:每个 DP 组允许处理的最大请求数。超过该上限的请求将处于等待状态且不会被调度;注意等待时间同样计入 TTFT、TPOT 等指标。因此性能测试时一般建议 --max-num-seqs × --data-parallel-size ≥ 实际总并发。
  • --max-num-batched-tokens:模型单步可处理的最大 token 数。当前 vLLM v1 调度默认启用 ChunkPrefill/SplitFuse,即:
    • (1)若请求输入长度大于 --max-num-batched-tokens,将按该值切分为多轮计算;
    • (2)Decode 请求优先调度,Prefill 请求仅在有剩余容量时被调度。
    • 一般地,该值设置越大,整体时延越低,但对 HBM 内存(激活值占用)压力越大。
  • --gpu-memory-utilization:vLLM 用于实际推理的 HBM 占比。其本质作用在于计算可用的 kv_cache 大小:在预热阶段(vLLM 中称为 profile run),vLLM 记录以 --max-num-batched-tokens 为输入规模的一次推理过程中的峰值 HBM 占用,可用 kv_cache 大小 = --gpu-memory-utilization × HBM 总大小 − 峰值 HBM 占用。因此该值越大可用 kv_cache 越多;但预热阶段的 HBM 占用可能与实际推理时不同(例如 EP 负载不均衡),设置过高可能导致实际推理阶段 OOM。默认值为 0.9。
  • --quantization ascend:表示启用量化(对应仓库中 vllm_ascend/quantization/ 下的 ascend 量化方法实现);如需关闭量化,删除该参数即可。
  • --enable-prefix-caching:启用自动前缀缓存。
  • --speculative-config '{"method": "qwen3_5_mtp", ...}':对 Qwen3.8-27B 使用 qwen3_5_mtp 方法,因为它与 Qwen3.5-27B 共享同一套 MTP 头设计。从源码结构看,该方法的实现入口在 vLLM 的 Qwen3_5MultiTokenPredictor,并由 vllm_ascend/patch/worker/patch_qwen3_5.py 中的 patch 逻辑在昇腾侧完成适配(该文件头部即从 vllm.model_executor.models.qwen3_5_mtp 导入 Qwen3_5MultiTokenPredictor)。在 Atlas 300I DUO 上建议将 num_speculative_tokens 设为 1。
  • --compilation-config:与 aclgraph 图模式相关,最重要的配置为 "cudagraph_mode" 与 "cudagraph_capture_sizes":
    • "cudagraph_mode":图模式。当前支持 "PIECEWISE" 与 "FULL_DECODE_ONLY",图模式主要用于降低算子派发开销,当前推荐 "FULL_DECODE_ONLY";
    • "cudagraph_capture_sizes":不同档位图模式。默认值为 [1, 2, 4, 8, 16, 24, 32, 40, ..., --max-num-seqs]。图模式下各档位的输入固定,档位之间的输入会自动 padding 到下一档位。当前推荐保持默认,仅个别场景需要单独设置以获得最佳性能。
  • --additional-config '{"enable_cpu_binding":true}':将 OMP 线程绑定到固定 CPU 核(实现位于 vllm_ascend/cpu_binding.py,功能文档见 cpu_binding.md)。在单台 950PR 产品上的实测中,这是收益最大的单一优化项:单流 decode 从关闭时的 32 tok/s 提升到开启后的 63 tok/s。
  • Atlas 300I DUO 专属参数:
    • --mamba-ssm-cache-dtype:Mamba SSM 缓存的数据类型。在 Atlas 300I DUO 上仅支持 float16;
    • --dtype float16:Atlas 300I DUO 上必须设置,该类设备仅支持 FP16 数据类型;
    • 在启用 TP 时,受硬件 event-id 约束,"cudagraph_capture_sizes" 最多只能有两个档位(例如 [1, 8])。启用 MTP 时,每个捕获档位按 n * (num_speculative_tokens + 1) 计算,其中 n 为无 MTP 部署时的档位。例如 num_speculative_tokens 为 1 时,非 MTP 档位 [1,2,4,8] 变为 [2,4,8,16];
    • --additional-config 中 "ascend_compilation_config": {"enable_npugraph_ex": false} 在 Atlas 300I DUO 上必须设置,因为该平台不支持 enable_npugraph_ex。

5.3 启动成功的判断标准

等待引擎完成权重加载与图捕获。启动成功的日志包含类似以下输出:

INFO:     Started server process
INFO:     Waiting for application startup.
INFO:     Application startup complete.

6. 功能验证

服务启动后,可通过发送 prompt 调用模型,支持 completions 与 chat/completions 两个 API 接口。模型名使用 --served-model-name 配置的值(Qwen3.8-27B 为 qwen3.8)。

Completions API:

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3.8",
        "prompt": "The future of AI is",
        "max_tokens": 50,
        "temperature": 0.7
    }'

Chat Completions API:

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3.8",
        "messages": [
            {"role": "user", "content": "The future of AI is"}
        ],
        "max_completion_tokens": 1024,
        "temperature": 1.0,
        "top_p": 0.95
    }'

预期结果:服务返回 HTTP 200 OK,JSON 响应中包含带生成文本的 choices 字段。completions API 的输出示例(内容截断以缩短篇幅):

{
    "id": "cmpl-xxxxxxxxxxxxx",
    "object": "text_completion",
    "created": 1780971952,
    "model": "qwen3.8",
    "choices": [
        {
            "index": 0,
            "text": "The future of AI is a rapidly evolving landscape with breakthroughs in natural language understanding, multimodal reasoning, and autonomous agents. As models grow more capable and efficient...",
            "logprobs": null,
            "finish_reason": "length"
        }
    ],
    "usage": {
        "prompt_tokens": 4,
        "total_tokens": 54,
        "completion_tokens": 50
    }
}

7. 精度评估

7.1 使用 AISBench

  1. 详细操作步骤参见 Using AISBench。
  2. 执行完成后可得到评估结果。以下为 Qwen3.8-27B、Qwen3.8-27B-w8a8 与 Qwen3.8-27B-w8a8-mxfp8 在 vllm-ascend:v0.23.0rc1 上的结果,仅供参考:
dataset model metric mode vllm-api-general-chat
GPQA Diamond Qwen3.8-27B accuracy gen 90.40
GPQA Diamond Qwen3.8-27B-w8a8 accuracy gen 89.90
GPQA Diamond Qwen3.8-27B-w8a8-mxfp8 accuracy gen 89.39

从该结果看,w8a8 与 w8a8-mxfp8 量化相对 BF16 基线的 GPQA Diamond 精度回落在约 1 个百分点以内,可作为量化上线的精度参考。此外,仓库 CI 中的精度回归用例(如 Qwen3.8-27B-w8a8-A3.yaml 的 acc_GPQA 用例)设置了 GPQA baseline 85.1、阈值 5 的持续监控,可在日常回归中自动捕捉精度漂移。

8. 性能评估

8.1 使用 AISBench

参见 Using AISBench for performance evaluation。

8.2 使用 vLLM Benchmark

以 Qwen3.8-27B-w8a8 为例运行性能评估。参数取值参照 vLLM 官方 benchmark 文档的用法说明。

标准部署与性能测试的参数差异如下:

参数 标准部署 性能测试
--max-model-len 256000 250000
--max-num-batched-tokens 16384 8192
--gpu-memory-utilization 0.9 0.95

vllm bench 有三个子命令:

  • latency:测量单批次请求的时延;
  • serve:测量在线服务吞吐量;
  • throughput:测量离线推理吞吐量。

以 serve 为例,执行如下:

export VLLM_USE_MODELSCOPE=True
# For Qwen3.8-27B-w8a8:
vllm bench serve --model Eco-Tech/Qwen3.8-27B-w8a8 --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result --result-dir ./

大约数分钟后即可获得性能评估结果。

9. 性能调优

9.1 推荐配置

说明:当前文档聚焦 Qwen3.8-27B 在昇腾 NPU 上的快速适配与验证。性能调优结果尚未完全验证完毕;典型场景(长上下文、低时延、高吞吐)的推荐配置将在对应验证完成后在此补充更新。在此之前,请参考 9.2 调优指南 中的一般性调优指引。

Atlas 300I DUO:目前仅支持 TP 场景。根据可用设备选择 TP=2 或 TP=4。使用 TP=4 时,--max-model-len 可支持 128k 与 256k 长序列场景;--max-num-seqs 按需配置——设置过高可能导致 OOM。

9.2 调优指南

9.2.1 通用调优参考

调优方法参见 Public Performance Tuning Documentation;特性详细说明参见 Feature Matrix。

9.2.2 模型专属优化

默认启用的优化(无需额外配置):

优化技术 技术原理 性能收益
Chunked Prefill vLLM V1 调度器将长 prefill 输入切分为多个 chunk,每步最多处理 --max-num-batched-tokens 个 token。 降低单步内存峰值,支持更大 batch 规模与更高吞吐。
Full Decode ACL Graph 通过 --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' 一次性捕获并回放整个 decode 图。 降低单步算子派发开销,稳定 decode 时延。
CPU Binding 通过 --additional-config '{"enable_cpu_binding":true}' 将 worker 线程绑定到专用 CPU 核。 减少 CPU 调度抖动,稳定 decode 时延。

需要显式启用的优化:

优化技术 适用场景 启用方式 技术原理 注意事项
Prefix Cache 存在重复前缀的场景(如共享系统提示词、few-shot 示例) --enable-prefix-caching 复用重复前缀的缓存 KV 状态,避免重复 prefill 计算。 收益取决于前缀缓存命中率。
Qwen3.5 MTP 投机解码 decode 为主、且接受率可接受的负载 --speculative-config '{"method":"qwen3_5_mtp","num_speculative_tokens":3}' 使用内置 MTP 草稿头在每步推测多个 token,并在单次前向中校验。 针对目标负载调整推测 token 数;收益取决于接受率。

10. 常见问题(FAQ)

关于环境、安装与通用参数类问题,参见 Public FAQs。

延伸阅读与源码入口(便于继续深入本仓库):

登录后查看全文
vllm-ascend