Qwen3.5-35B-A3B-AWQ多框架部署对比:SGLang vs KTransformers vs vLLM性能与配置深度评测
Qwen3.5-35B-A3B-AWQ多框架部署对比:SGLang vs KTransformers vs vLLM性能与配置深度评测
Qwen3.5-35B-A3B-AWQ 是 Qwen3.5-35B-A3B 多模态 MoE 大模型的 AWQ 4-bit 量化版本,权重仅约 25GB,让"35B 总参 / 3B 激活"的高效模型第一次可以低成本落地。本文带你完成一次多框架部署对比:从模型结构、量化配置讲起,再到 SGLang、KTransformers、vLLM 三大推理框架的启动命令、关键参数与选型建议,并附上常见报错排查清单。
一、先认识这个模型:35B 能力,3B 开销
这个仓库由 QuantTrio 发布,采用无数据量化(data-free quantization,无需校准数据集)生成,许可证为 Apache-2.0(见 LICENSE)。核心规格一览:
| 属性 | 数值 |
|---|---|
| 架构 | Qwen3_5MoeForConditionalGeneration(文本 + 图像 + 视频多模态) |
| 参数规模 | 总参数 35B,每 token 仅激活约 3B |
| 层结构 | 40 层 = 30 层线性注意力(Gated DeltaNet)+ 10 层全注意力 |
| 专家路由 | 256 个路由专家,每 token 激活 8 路由 + 1 共享专家 |
| 上下文长度 | 原生 262,144 tokens,YaRN 可扩展至 1,010,000 |
| 量化方案 | AWQ 4-bit(bits=4, group_size=128, 带 zero_point) |
💡 稀疏 MoE + 混合线性注意力的组合,是它"小显存、高吞吐"的根源:每个 token 只走 3B 激活参数,30 层线性注意力又大幅压缩了长上下文的 KV 开销。
二、AWQ 量化到底量化了什么?看 config.json 就明白
量化配置位于 config.json,其中 modules_to_not_convert 字段列出了保持 FP16 不量化的模块:
| 保留全精度的模块 | 原因 |
|---|---|
visual(视觉编码器) |
多模态理解对精度敏感 |
linear_attn / self_attn |
注意力是误差放大区 |
shared_expert / mlp.gate |
共享专家与路由门控参与每个 token |
model.layers.0.(首层) |
输入端低比特误差会逐级放大 |
mtp(多 token 预测头) |
支撑 MTP 投机解码的草稿头 |
被压缩的主要是 256 个路由专家中的大矩阵,这才让总权重从 FP16 的约 70GB 降到 25,448,592,480 字节(约 23.7GiB)。仓库内 9 个分片 + 索引文件的结构如下:
| 文件 | 说明 |
|---|---|
| model-00001-of-00009.safetensors 等 9 个分片 | 模型权重,合计约 25GB |
| model.safetensors.index.json | 权重分片索引,共 92,355 个张量 |
| config.json | 架构参数 + AWQ 量化配置 |
| generation_config.json | 推荐采样参数:temperature=1.0, top_p=0.95, top_k=20 |
| chat_template.jinja | 对话模板(默认思考模式,可关闭) |
| preprocessor_config.json / video_preprocessor_config.json | 图像 / 视频预处理器 |
| tokenizer.json / vocab.json | 分词器,词表 248,320 |
三、三框架怎么选?一张表看懂 SGLang vs KTransformers vs vLLM
官方说明三者均兼容本模型(见 README.md)。它们的定位差异很大:
| 维度 | vLLM | SGLang | KTransformers |
|---|---|---|---|
| 核心定位 | 纯 GPU 高吞吐推理引擎 | 高性能服务引擎,擅长前缀复用与多轮 Agent | CPU-GPU 异构混部,专家权重卸载到内存 |
| 典型硬件 | 4 卡起(仓库示例) | 8 卡(官方示例) | 单卡 + 大容量 CPU 内存 |
| 权重放置 | 全部上 GPU(TP 分片) | 全部上 GPU(TP 分片) | 未量化小模块上 GPU,路由专家放 CPU |
| 显存压力(权重部分) | ≈6.3GB/卡(TP=4) | ≈3.1GB/卡(TP=8) | GPU 仅数 GB 级 |
| MTP 投机解码 | qwen3_next_mtp,2 个投机 token |
NEXTN 算法 + EAGLE 参数 |
支持(见官方部署指南) |
| 工具调用 | --tool-call-parser qwen3_coder |
--tool-call-parser qwen3_coder |
支持 |
| 长上下文 | --max-model-len,可配 YaRN |
--context-length,可配 YaRN |
支持 YaRN |
一句话选型:有多卡追求吞吐选 vLLM;8 卡集群、Agent 多轮对话多、前缀命中高选 SGLam...选 SGLang;显存不够但 CPU 内存大(128GB+)选 KTransformers。
四、vLLM 部署步骤:4 卡即可跑通的最快配置
1. 环境准备(需要 CUDA 12.8、Python 3.12,要求 vllm>=0.16.0 的预发布版与最新版 transformers,详见 README.md):
pip install -U vllm --pre
pip install -U transformers
2. 启动命令(来自 README.md,仓库已验证):
export VLLM_USE_DEEP_GEMM=0
export VLLM_USE_FLASHINFER_MOE_FP16=1
vllm serve /your/path/Qwen3.5-35B-A3B-AWQ \
--served-model-name MY_MODEL \
--swap-space 16 \
--max-num-seqs 32 \
--max-model-len 32768 \
--gpu-memory-utilization 0.9 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--reasoning-parser qwen3 \
--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}' \
--trust-remote-code \
--host 0.0.0.0 --port 8000
3. 关键参数解读:
| 参数 | 作用 |
|---|---|
--tensor-parallel-size 4 |
张量并行 4 卡;TP≥8 时务必加 --enable-expert-parallel,否则专家张量无法在卡间均匀切分 |
--enable-expert-parallel |
专家并行,MoE 模型提升吞吐的关键开关 |
--max-model-len 32768 |
控制 KV cache 上限,OOM 时优先调小它 |
--speculative-config |
启用 MTP 多 token 预测,每步多"免费"生成 2 个 token,解码速度明显提升 |
--reasoning-parser qwen3 / --tool-call-parser qwen3_coder |
分别解析思考内容与工具调用,Agent 场景必配 |
五、SGLang 部署命令:8 卡 + NEXTN 投机解码
SGLang 需要安装主分支版本。启动命令(参考 README.md):
python -m sglang.launch_server \
--model-path /your/path/Qwen3.5-35B-A3B-AWQ \
--port 8000 --tp-size 8 \
--mem-fraction-static 0.8 \
--context-length 262144 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder \
--speculative-algo NEXTN \
--speculative-num-steps 3 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 4
💡 SGLang 的 MTP 走 NEXTN 算法:3 步推理、topk=1、4 个草稿 token。相比 vLLM 的 2 token 投机,SGLang 默认草稿更长,在生成密集型负载下延迟收益通常更大;而它的 RadixAttention 前缀缓存在多轮 Agent、共享系统提示词的场景下命中率很高,这也是很多团队把 SGLang 当作 Agent 服务首选的原因。
六、KTransformers 部署:低显存机器的"越级"方案
KTransformers 部署章节 指向了其官方的 CPU-GPU 异构部署指南,核心思路是:
- GPU 只放"不能量化"的部分:注意力层、视觉编码器、共享专家、首层与 MTP 头(正好对应上文
modules_to_not_convert清单),占用显存很小; - 256 个路由专家卸载到 CPU 内存,每步计算时按需搬运到 GPU;
- 适合"一张 24GB/48GB 显卡 + 128GB 以上内存"的工作站,让消费级硬件也能体验 35B 模型。
⚠️ 代价是解码速度明显慢于多卡 GPU 方案(受内存带宽限制),适合功能验证、单用户交互,不适合高并发服务。
七、性能与选型速查表
| 场景 | 推荐框架 | 关键配置 |
|---|---|---|
| 生产级 API 服务、高并发 | vLLM | TP=4 + --enable-expert-parallel + MTP |
| 8 卡集群、Agent 多轮对话、前缀复用多 | SGLang | TP=8 + NEXTN 投机解码 |
| 单卡 + 大内存工作站 | KTransformers | 专家卸载 CPU,追求可跑通 |
| 快速本地验证(低负载) | transformers serve | 见 README.md |
吞吐量排序(同硬件下的一般规律):SGLang ≈ vLLM(取决于负载前缀特征)>> KTransformers;入门门槛排序:KTransformers < SGLang ≤ vLLM。
八、常见问题排查(FAQ)
1. 启动或运行时报 OOM?
官方建议在 OOM 时调小上下文窗口,但注意:Qwen3.5 依赖长上下文进行思考,尽量保留至少 128K(README.md)。vLLM 调 --max-model-len,SGLang 调 --context-length。
2. 老容器里报 ninja ... returned non-zero exit status 1(flashinfer 编译失败)?
删除缓存后重启即可:rm -rf ~/.cache/flashinfer(README.md 有同款报错记录)。
3. 工具调用 / 思考解析异常?
需要最新的 transformers,并确认已按 README.md 的说明处理 modeling_rope_utils.py 中 partial_rotary_factor 的校验补丁。
4. 多卡下专家分布不均、性能异常?
TP≥8 时漏加 --enable-expert-parallel,专家张量会挤在少数卡上。
5. 想突破 262K 上下文?
通过 YaRN 扩展至 1M:vLLM 用 VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 + --hf-overrides 注入 rope_parameters,SGLang/KTransformers 用 SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 + --json-model-override-args,完整配置见 README.md。注意:静态 YaRN 因子对短文本可能略有影响,非长文任务不建议常开。
九、总结
Qwen3.5-35B-A3B-AWQ 把"35B 多模态 MoE"塞进了 25GB:AWQ 4-bit 只压缩路由专家、保留注意力与视觉编码器等敏感模块为 FP16,是质量与体积平衡得很好的量化方案。部署时记住三个动作——多卡加专家并行开关、上下文留足 128K、开启 MTP 投机解码,就能在 vLLM / SGLang 上拿到接近满血的吞吐;显存紧张时,KTransformers 则提供了 CPU-GPU 混部的兜底路线。
📥 下载模型仓库:
git clone https://gitcode.com/hf_mirrors/QuantTrio/Qwen3.5-35B-A3B-AWQ