Qwen3.5-35B-A3B-AWQ多框架部署对比:SGLang vs KTransformers vs vLLM性能与配置深度评测

原创2026-11-09 16:00:312,227 阅读
文章标签:人工智能大模型模型量化多模态本地部署

Qwen3.5-35B-A3B-AWQ多框架部署对比:SGLang vs KTransformers vs vLLM性能与配置深度评测

Qwen3.5-35B-A3B-AWQ 是 Qwen3.5-35B-A3B 多模态 MoE 大模型的 AWQ 4-bit 量化版本,权重仅约 25GB,让"35B 总参 / 3B 激活"的高效模型第一次可以低成本落地。本文带你完成一次多框架部署对比:从模型结构、量化配置讲起,再到 SGLang、KTransformers、vLLM 三大推理框架的启动命令、关键参数与选型建议,并附上常见报错排查清单。

一、先认识这个模型:35B 能力,3B 开销

这个仓库由 QuantTrio 发布,采用无数据量化(data-free quantization,无需校准数据集)生成,许可证为 Apache-2.0(见 LICENSE)。核心规格一览:

属性 数值
架构 Qwen3_5MoeForConditionalGeneration(文本 + 图像 + 视频多模态)
参数规模 总参数 35B,每 token 仅激活约 3B
层结构 40 层 = 30 层线性注意力(Gated DeltaNet)+ 10 层全注意力
专家路由 256 个路由专家,每 token 激活 8 路由 + 1 共享专家
上下文长度 原生 262,144 tokens,YaRN 可扩展至 1,010,000
量化方案 AWQ 4-bit(bits=4, group_size=128, 带 zero_point)

💡 稀疏 MoE + 混合线性注意力的组合,是它"小显存、高吞吐"的根源:每个 token 只走 3B 激活参数,30 层线性注意力又大幅压缩了长上下文的 KV 开销。

二、AWQ 量化到底量化了什么?看 config.json 就明白

量化配置位于 config.json,其中 modules_to_not_convert 字段列出了保持 FP16 不量化的模块:

保留全精度的模块 原因
visual(视觉编码器) 多模态理解对精度敏感
linear_attn / self_attn 注意力是误差放大区
shared_expert / mlp.gate 共享专家与路由门控参与每个 token
model.layers.0.(首层) 输入端低比特误差会逐级放大
mtp(多 token 预测头) 支撑 MTP 投机解码的草稿头

被压缩的主要是 256 个路由专家中的大矩阵,这才让总权重从 FP16 的约 70GB 降到 25,448,592,480 字节(约 23.7GiB)。仓库内 9 个分片 + 索引文件的结构如下:

文件 说明
model-00001-of-00009.safetensors 等 9 个分片 模型权重,合计约 25GB
model.safetensors.index.json 权重分片索引,共 92,355 个张量
config.json 架构参数 + AWQ 量化配置
generation_config.json 推荐采样参数:temperature=1.0, top_p=0.95, top_k=20
chat_template.jinja 对话模板(默认思考模式,可关闭)
preprocessor_config.json / video_preprocessor_config.json 图像 / 视频预处理器
tokenizer.json / vocab.json 分词器,词表 248,320

三、三框架怎么选?一张表看懂 SGLang vs KTransformers vs vLLM

官方说明三者均兼容本模型(见 README.md)。它们的定位差异很大:

维度 vLLM SGLang KTransformers
核心定位 纯 GPU 高吞吐推理引擎 高性能服务引擎,擅长前缀复用与多轮 Agent CPU-GPU 异构混部,专家权重卸载到内存
典型硬件 4 卡起(仓库示例) 8 卡(官方示例) 单卡 + 大容量 CPU 内存
权重放置 全部上 GPU(TP 分片) 全部上 GPU(TP 分片) 未量化小模块上 GPU,路由专家放 CPU
显存压力(权重部分) ≈6.3GB/卡(TP=4) ≈3.1GB/卡(TP=8) GPU 仅数 GB 级
MTP 投机解码 qwen3_next_mtp,2 个投机 token NEXTN 算法 + EAGLE 参数 支持(见官方部署指南)
工具调用 --tool-call-parser qwen3_coder --tool-call-parser qwen3_coder 支持
长上下文 --max-model-len,可配 YaRN --context-length,可配 YaRN 支持 YaRN

一句话选型:有多卡追求吞吐选 vLLM;8 卡集群、Agent 多轮对话多、前缀命中高选 SGLam...选 SGLang;显存不够但 CPU 内存大(128GB+)选 KTransformers。

四、vLLM 部署步骤:4 卡即可跑通的最快配置

1. 环境准备(需要 CUDA 12.8、Python 3.12,要求 vllm>=0.16.0 的预发布版与最新版 transformers,详见 README.md):

pip install -U vllm --pre
pip install -U transformers

2. 启动命令(来自 README.md,仓库已验证):

export VLLM_USE_DEEP_GEMM=0
export VLLM_USE_FLASHINFER_MOE_FP16=1

vllm serve /your/path/Qwen3.5-35B-A3B-AWQ \
    --served-model-name MY_MODEL \
    --swap-space 16 \
    --max-num-seqs 32 \
    --max-model-len 32768 \
    --gpu-memory-utilization 0.9 \
    --tensor-parallel-size 4 \
    --enable-expert-parallel \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --reasoning-parser qwen3 \
    --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}' \
    --trust-remote-code \
    --host 0.0.0.0 --port 8000

3. 关键参数解读:

参数 作用
--tensor-parallel-size 4 张量并行 4 卡;TP≥8 时务必加 --enable-expert-parallel,否则专家张量无法在卡间均匀切分
--enable-expert-parallel 专家并行,MoE 模型提升吞吐的关键开关
--max-model-len 32768 控制 KV cache 上限,OOM 时优先调小它
--speculative-config 启用 MTP 多 token 预测,每步多"免费"生成 2 个 token,解码速度明显提升
--reasoning-parser qwen3 / --tool-call-parser qwen3_coder 分别解析思考内容与工具调用,Agent 场景必配

五、SGLang 部署命令:8 卡 + NEXTN 投机解码

SGLang 需要安装主分支版本。启动命令(参考 README.md):

python -m sglang.launch_server \
    --model-path /your/path/Qwen3.5-35B-A3B-AWQ \
    --port 8000 --tp-size 8 \
    --mem-fraction-static 0.8 \
    --context-length 262144 \
    --reasoning-parser qwen3 \
    --tool-call-parser qwen3_coder \
    --speculative-algo NEXTN \
    --speculative-num-steps 3 \
    --speculative-eagle-topk 1 \
    --speculative-num-draft-tokens 4

💡 SGLang 的 MTP 走 NEXTN 算法:3 步推理、topk=1、4 个草稿 token。相比 vLLM 的 2 token 投机,SGLang 默认草稿更长,在生成密集型负载下延迟收益通常更大;而它的 RadixAttention 前缀缓存在多轮 Agent、共享系统提示词的场景下命中率很高,这也是很多团队把 SGLang 当作 Agent 服务首选的原因。

六、KTransformers 部署:低显存机器的"越级"方案

KTransformers 部署章节 指向了其官方的 CPU-GPU 异构部署指南,核心思路是:

  • GPU 只放"不能量化"的部分:注意力层、视觉编码器、共享专家、首层与 MTP 头(正好对应上文 modules_to_not_convert 清单),占用显存很小;
  • 256 个路由专家卸载到 CPU 内存,每步计算时按需搬运到 GPU;
  • 适合"一张 24GB/48GB 显卡 + 128GB 以上内存"的工作站,让消费级硬件也能体验 35B 模型。

⚠️ 代价是解码速度明显慢于多卡 GPU 方案(受内存带宽限制),适合功能验证、单用户交互,不适合高并发服务。

七、性能与选型速查表

场景 推荐框架 关键配置
生产级 API 服务、高并发 vLLM TP=4 + --enable-expert-parallel + MTP
8 卡集群、Agent 多轮对话、前缀复用多 SGLang TP=8 + NEXTN 投机解码
单卡 + 大内存工作站 KTransformers 专家卸载 CPU,追求可跑通
快速本地验证(低负载) transformers serve 见 README.md

吞吐量排序(同硬件下的一般规律):SGLang ≈ vLLM(取决于负载前缀特征)>> KTransformers;入门门槛排序:KTransformers < SGLang ≤ vLLM。

八、常见问题排查(FAQ)

1. 启动或运行时报 OOM? 官方建议在 OOM 时调小上下文窗口,但注意:Qwen3.5 依赖长上下文进行思考,尽量保留至少 128K(README.md)。vLLM 调 --max-model-len,SGLang 调 --context-length。

2. 老容器里报 ninja ... returned non-zero exit status 1(flashinfer 编译失败)? 删除缓存后重启即可:rm -rf ~/.cache/flashinfer(README.md 有同款报错记录)。

3. 工具调用 / 思考解析异常? 需要最新的 transformers,并确认已按 README.md 的说明处理 modeling_rope_utils.py 中 partial_rotary_factor 的校验补丁。

4. 多卡下专家分布不均、性能异常? TP≥8 时漏加 --enable-expert-parallel,专家张量会挤在少数卡上。

5. 想突破 262K 上下文? 通过 YaRN 扩展至 1M:vLLM 用 VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 + --hf-overrides 注入 rope_parameters,SGLang/KTransformers 用 SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 + --json-model-override-args,完整配置见 README.md。注意:静态 YaRN 因子对短文本可能略有影响,非长文任务不建议常开。

九、总结

Qwen3.5-35B-A3B-AWQ 把"35B 多模态 MoE"塞进了 25GB:AWQ 4-bit 只压缩路由专家、保留注意力与视觉编码器等敏感模块为 FP16,是质量与体积平衡得很好的量化方案。部署时记住三个动作——多卡加专家并行开关、上下文留足 128K、开启 MTP 投机解码,就能在 vLLM / SGLang 上拿到接近满血的吞吐;显存紧张时,KTransformers 则提供了 CPU-GPU 混部的兜底路线。

📥 下载模型仓库:

git clone https://gitcode.com/hf_mirrors/QuantTrio/Qwen3.5-35B-A3B-AWQ
登录后查看全文
Qwen3.5-35B-A3B-AWQ