如何在单张 GPU 上快速部署 Qwen3.6-35B-A3B-INT8:5 分钟从零到跑通的完整教程

原创2026-11-11 20:47:142,138 阅读
文章标签:大模型模型量化多模态人工智能本地部署

如何在单张 GPU 上快速部署 Qwen3.6-35B-A3B-INT8:5 分钟从零到跑通的完整教程

本文带你用 5 分钟在单张 GPU 上完成 Qwen3.6-35B-A3B-INT8 大模型的部署。这是一个经过 INT8 权重量化的 MoE 多模态模型,体积只有约 35GB(BF16 原版约 70GB 的一半),单卡 80GB 显存即可轻松跑起来,适合个人开发者快速搭建本地推理服务。

一、为什么 Qwen3.6-35B-A3B-INT8 值得单卡部署?

很多人一听 "35B" 就觉得要上多卡服务器,其实这个模型的架构非常聪明:

项目 说明
总参数 35B(MoE 架构)
每 token 激活参数 仅约 3B(A3B 的含义:256 个专家中每 token 只激活 8 个)
量化方案 INT8 weight-only 量化,基于 compressed-tensors 格式
模型体积 约 35GB(原版 BF16 约 70GB)
上下文长度 最长 262,144 token
模态 文本 + 图像(image-text-to-text)

💡 通俗理解:它虽然"脑容量"有 35B,但每次回答只动用约 3B 参数的专家,所以推理速度快、显存友好;再叠加 INT8 量化把权重从 2 字节压到 1 字节,一张 80GB 的卡就够用了。

量化细节可以在 recipe.yaml 中查到:使用 llmcompressor 的 QuantizationModifier,scheme 为 INT8、无需校准数据,并排除了 lm_head、视觉塔(vision tower)、MoE 路由门和 shared expert gate,保证路由精度不受量化影响。

二、硬件准备:单张 GPU 显存要求

部署 Qwen3.6-35B-A3B-INT8 之前,先确认你的显存是否达标:

显存 能否单卡部署 建议
80GB(A100 / H100 / H200) ✅ 推荐 默认配置直接跑
48GB(A6000 等) ⚠️ 勉强可以 调低 --max-model-len,开启权重卸载
24GB(4090 / 3090) ❌ 不够 建议双卡或换 INT4 版本

经验值:35GB 权重 + KV 缓存 + 激活值,80GB 显存大约还能预留 30GB+ 给长上下文,日常使用绰绰有余。

三、部署步骤:从克隆到出回复只要 4 步

第 1 步:克隆模型仓库

模型文件通过 Git LFS 存储,克隆时记得执行 git lfs pull 拉取真实权重:

git clone https://gitcode.com/hf_mirrors/lokeshe09/Qwen3.6-35B-A3B-INT8.git
cd Qwen3.6-35B-A3B-INT8
git lfs pull

第 2 步:安装推理引擎 vLLM

vLLM 原生支持 compressed-tensors INT8 格式,部署 MoE 模型时效率很高:

pip install vllm

第 3 步:单卡启动推理服务

在模型目录同级启动(--max-model-len 按需调整,默认 262K 上下文会占用较多 KV 缓存,单卡建议先设 32K):

vllm serve ./Qwen3.6-35B-A3B-INT8 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768 \
  --port 8000

看到 Uvicorn running on http://0.0.0.0:8000 就说明服务已就绪。✅

第 4 步:发送第一条请求验证

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"Qwen3.6-35B-A3B-INT8","messages":[{"role":"user","content":"用一句话介绍你自己"}],"max_tokens":128}'

如果收到正常的 JSON 回复,恭喜!你的 Qwen3.6-35B-A3B-INT8 已经跑通了。

四、仓库关键文件速览

文件 作用
README.md 模型简介、量化说明与 transformers 加载方式
config.json 模型结构(40 层、256 专家、MoE 路由配置与 INT8 量化配置)
recipe.yaml llmcompressor 量化配方(INT8、排除模块清单)
generation_config.json 默认采样参数:temperature=1.0、top_k=20、top_p=0.95
chat_template.jinja 对话模板,支持图像 / 视频占位符与工具调用格式
processor_config.json 多模态处理器配置(Qwen3VLProcessor,图像 / 视频预处理参数)
tokenizer_config.json 分词器配置,model_max_length 为 262144

不想装 vLLM?用 transformers 也可以

如果只是做实验、不想起服务,可以直接用 transformers 加载(README.md 官方用法):

from transformers import AutoModelForCausalLM, AutoProcessor

model = AutoModelForCausalLM.from_pretrained(
    "./Qwen3.6-35B-A3B-INT8", trust_remote_code=True)
processor = AutoProcessor.from_pretrained(
    "./Qwen3.6-35B-A3B-INT8", trust_remote_code=True)

五、常见问题(FAQ)

Q1:启动时显存不够(OOM)怎么办? 优先降低 --max-model-len(上下文是 KV 缓存大头);仍不够可加 --cpu-offload-gb 10 把少量专家权重卸载到内存,代价是速度略降。

Q2:INT8 量化会明显损失效果吗? INT8 weight-only 量化精度损失通常很小,且本模型刻意排除了 MoE 路由门和视觉塔不做量化(见 recipe.yaml),对路由决策和图像理解这类精度敏感部分做了保护,日常对话与工具调用场景基本无感。

Q3:能处理图片吗? 可以。它是 image-text-to-text 多模态模型,processor_config.json 中已配置好 Qwen3VLProcessor 图像/视频处理器,通过对话模板传入图像即可(模板见 chat_template.jinja)。

Q4:生成速度大概什么水平? 由于每 token 只激活约 3B 参数,A3B 的稀疏 MoE 设计在 80GB 卡上单请求吞吐表现优秀,适合长对话和高并发场景。


🎉 到这里,你已经在单张 GPU 上从零部署并验证了 Qwen3.6-35B-A3B-INT8。接下来可以按需调大 --max-model-len 释放完整 262K 长上下文,或者接入自己的应用开始实战。

登录后查看全文
Qwen3.6-35B-A3B-INT8