Qwen3.5-2B推理框架选型指南:vLLM、SGLang、KTransformers三大引擎部署对比与实测
Qwen3.5-2B推理框架选型指南:vLLM、SGLang、KTransformers三大引擎部署对比与实测
本文面向新手,讲解 Qwen3.5-2B 开源多模态大模型如何在 vLLM、SGLang、KTransformers 三大推理框架中部署,给出启动命令、实测要点与选型建议,帮你用最低成本跑通本地 AI 推理服务。
💡 一句话结论:追求吞吐选 vLLM,追求长上下文与 MTP 加速选 SGLang,只有 CPU+少量 GPU 的异构环境才考虑 KTransformers。
模型速览:部署前先了解 Qwen3.5-2B
在选框架之前,先弄清楚 Qwen3.5-2B 是个什么样的模型,这会直接影响你的硬件配置。
| 项目 | 规格 |
|---|---|
| 参数量 | 2B(语言模型部分) |
| 类型 | 带视觉编码器的因果语言模型(文本 + 图像 + 视频) |
| 层数 | 24 层,混合架构(Gated DeltaNet 线性注意力 + 全注意力交替) |
| 原生上下文 | 262,144 tokens(约 26 万) |
| 语言支持 | 201 种语言与方言 |
| 特殊能力 | 内置 MTP 多 token 预测头、思考(Thinking)模式 |
几个对部署很关键的信息:
- 模型架构为
Qwen3_5ForConditionalGeneration,采用 Gated DeltaNet 线性注意力与稀疏混合架构,推理吞吐高、延迟低(见 config.json)。 - 词表高达 248,320,且
tie_word_embeddings开启,输出层与嵌入层共享权重,显存占用更省。 - 视觉部分支持图像与视频输入,视频预处理参数见 video_preprocessor_config.json,默认配置偏保守,长视频场景需要调大
longest_edge。 - 权重文件见 model.safetensors.index.json,本仓库即为可直接加载的完整权重目录,
--model-path指向本地路径即可离线部署。 - 对话模板为 Jinja2 格式(chat_template.jinja),三大框架都会自动读取,无需手动拼接。
三大推理引擎横向对比
Qwen3.5-2B 官方兼容 vLLM、SGLang、KTransformers、Transformers 等框架,但推理效率与吞吐量差异很大,官方强烈建议生产环境使用专用 serving 引擎。
| 维度 | vLLM | SGLang | KTransformers |
|---|---|---|---|
| 定位 | 高吞吐通用推理引擎 | 快速 serving,长上下文强 | CPU-GPU 异构推理 |
| 硬件要求 | NVIDIA GPU | NVIDIA GPU(主分支) | CPU + 少量 GPU 即可 |
| 长上下文 | 支持,需显存规划 | 支持,KV 管理更高效 | 依赖 CPU 内存 |
| MTP 投机加速 | 支持(qwen3_next_mtp) |
支持(NEXTN,官方推荐写法) |
暂不突出 |
| 工具调用 | --tool-call-parser qwen3_coder |
--tool-call-parser qwen3_coder |
参考官方部署文档 |
| 上手难度 | ⭐⭐ | ⭐⭐ | ⭐⭐⭐(环境较复杂) |
| 适合场景 | 生产 API 服务 | 高并发 / 长文档 / Agent | 低配机器体验前沿模型 |
⚠️ 重要提示:Qwen3.5 需要各框架的主分支最新版本,旧版 pip 包可能不兼容新架构(线性注意力 + MTP),请升级后再部署。
vLLM 部署:生产环境首选
vLLM 以 PagedAttention 实现高吞吐,适合对外提供 API 服务,也是生态最成熟的方案。
启动命令
vllm serve Qwen/Qwen3.5-2B --port 8000 --tensor-parallel-size 1 --max-model-len 262144
单卡即可跑 2B 模型,--tensor-parallel-size 1 表示不做张量并行。服务启动后,OpenAI 兼容接口位于 http://localhost:8000/v1。
常用增强选项
- 开启工具调用(Tool Call):
vllm serve Qwen/Qwen3.5-2B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 \
--enable-auto-tool-choice --tool-call-parser qwen3_coder
- 启用 MTP 多 token 预测(提升生成速度):
vllm serve Qwen/Qwen3.5-2B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 \
--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'
- 纯文本模式:跳过视觉编码器与多模态显存剖析,把省下的显存全部给 KV cache:
vllm serve Qwen/Qwen3.5-2B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --language-model-only
💡 实测经验:只做文本业务时,
--language-model-only能让同等显存下支持的并发请求数明显提升,是 2B 级模型性价比最高的一个开关。
SGLang 部署:长上下文与 MTP 的最优解
SGLang 是专为大模型 serving 设计的高性能框架,官方对 Qwen3.5 的 MTP 推荐写法就基于它,主分支安装后直接启动:
标准部署
python -m sglang.launch_server --model-path Qwen/Qwen3.5-2B --port 8000 \
--tp-size 1 --mem-fraction-static 0.8 --context-length 262144
--mem-fraction-static 0.8 表示将 80% 显存预留给 KV cache,是长上下文场景的关键参数。
开启工具调用
python -m sglang.launch_server --model-path Qwen/Qwen3.5-2B --port 8000 \
--tp-size 1 --mem-fraction-static 0.8 --context-length 262144 --tool-call-parser qwen3_coder
启用 MTP 投机解码(官方推荐)
python -m sglang.launch_server --model-path Qwen/Qwen3.5-2B --port 8000 \
--tp-size 1 --mem-fraction-static 0.8 --context-length 262144 \
--speculative-algo NEXTN --speculative-num-steps 3 \
--speculative-eagle-topk 1 --speculative-num-draft-tokens 4
🔥 实测要点:Qwen3.5 内置 MTP 头(config.json 中
mtp_num_hidden_layers: 1),开启投机解码后生成阶段速度提升可观,SGLang 的NEXTN算法是官方给出的推荐组合,建议优先在 SGLang 上验证 MTP 收益。
KTransformers 部署:低配机器的异构方案
KTransformers 走的是 CPU-GPU 异构路线:把大部分权重放在内存/CPU 上,关键算子放 GPU,适合没有大显存显卡但想体验 Qwen3.5 的场景。
- 定位:灵活的前沿推理优化框架,不追求极限吞吐,追求"跑得起"。
- 适合人群:个人开发者、边缘设备、想在消费级硬件上做多模态实验的用户。
- 注意:Qwen3.5 的混合线性注意力架构对框架版本要求高,请务必使用支持 Qwen3.5 的最新版本,并参照 KTransformers 官方仓库中的 Qwen3.5 部署文档配置环境。
⚠️ 实测提醒:异构方案下 262K 长上下文的 KV cache 会显著吃内存,建议先用较短
--context-length验证流程,再逐步加大。
部署常见问题与实测避坑
1. 显存不足(OOM)怎么办
模型默认上下文为 262,144 tokens,全开时 KV cache 占用很大。官方建议:遇到 OOM 先降上下文窗口,例如把 --max-model-len / --context-length 改为 32768 或 65536,多数业务完全够用。
2. 采样参数选错,效果差一半
官方推荐参数(不同框架支持程度不同):
| 模式 / 任务 | temperature | top_p | top_k | presence_penalty |
|---|---|---|---|---|
| 非思考 · 文本 | 1.0 | 1.00 | 20 | 2.0 |
| 非思考 · 视觉 | 0.7 | 0.80 | 20 | 1.5 |
| 思考 · 文本 | 1.0 | 0.95 | 20 | 1.5 |
| 思考 · 视觉/精细编码 | 0.6 | 0.95 | 20 | 0.0 |
Qwen3.5-2B 默认是非思考模式,需要思考能力时在请求中传 enable_thinking: True(extra_body 参数)。官方实验设置参考 top_p=0.95, top_k=20, presence_penalty=1.5, temperature=1.0。
3. 思考模式可能"想不停"
2B 小模型在思考模式下比其他 Qwen3.5 型号更容易陷入思考循环、无法正常结束生成。官方建议:
- 针对具体任务微调采样参数;
- 使用流式(streaming)输出,及时检测并中断异常生成。
4. 长视频理解要改预处理配置
video_preprocessor_config.json 中的 size 为保守值,若要理解小时级视频,建议改为:
{"longest_edge": 469762048, "shortest_edge": 4096}
对应约 224k 视频 token,可实现更高帧率采样,效果明显更好。
选型速查:一张表做决定
| 你的情况 | 推荐框架 | 理由 |
|---|---|---|
| 对外提供 OpenAI 兼容 API、多用户并发 | vLLM | 吞吐高、生态成熟、文档全 |
| 长文档 / RAG / Agent 高并发场景 | SGLang | KV 管理高效,MTP 官方推荐写法 |
| 纯文本、显存紧张想压榨并发 | vLLM + --language-model-only |
省掉视觉编码器显存 |
| 只有 CPU + 小显卡的低配机器 | KTransformers | 异构计算,低配也能跑 |
| 快速验证 / 中等负载,不想折腾 | Transformers 内置轻量服务 | 一条 transformers serve 命令即可 |
总结
Qwen3.5-2B 是一个"小身材、长本事"的多模态模型:2B 参数、26 万上下文、原生支持图文视频,还带 MTP 加速头。部署层面记住三点即可:
- 版本要新:三个框架都必须用支持 Qwen3.5 的主分支最新版;
- 上下文按需开:先跑通短上下文,显存富余再拉满 262,144;
- 加速靠 MTP:生成密集的 Agent 业务优先开投机解码,SGLang 的
NEXTN配置是官方推荐起点。
按上面的命令启动服务,再配合推荐的采样参数,你在一台单卡机器上就能拥有 26 万上下文的本地多模态推理 API 了。🚀