Qwen3.6-35B-A3B-NVFP4-Fast是什么?35B多模态MoE大模型NVFP4量化版完整入门指南
Qwen3.6-35B-A3B-NVFP4-Fast是什么?35B多模态MoE大模型NVFP4量化版完整入门指南
Qwen3.6-35B-A3B-NVFP4-Fast 是开源量化团队 Unsloth 发布的 35B 多模态 MoE 大模型 Qwen3.6-35B-A3B 的 NVFP4 量化版本,推理吞吐量达其他 NVFP4 量化版的 1.79 倍,单张 32GB 显存 GPU 即可运行,并原生支持文本、图像与视频理解。本文带你从核心参数、一键部署到调参建议,快速上手这款量化大模型。
📌 1分钟看懂:这个量化版到底是什么?
Qwen3.6-35B-A3B 是 Qwen3.6 系列首个开放权重模型,本仓库是它的 NVFP4 量化版(Fast 变体),核心特点:
- NVFP4 量化:采用 NVIDIA 生态的 4-bit 浮点(FP4)混合精度量化格式,权重以
nvfp4-pack打包存储,详见 config.json 中的quantization_config - 1.79 倍加速:吞吐量比其他 NVFP4 量化版快 1.79 倍(1× B200、128 并发基准测试)
- 显存门槛低:32GB 显存 GPU 即可运行
- 精度校准:基于 Unsloth 数据集 + UltraChat 混合数据集校准
- 多模态:支持文本、图像、视频理解,configuration.json 中任务类型为
visual-question-answering
核心参数速览
| 项目 | 数值 |
|---|---|
| 总参数 | 35B(MoE 架构,每 token 激活约 3B) |
| 层数 | 40 层(混合注意力结构) |
| 专家数 | 256 个(每 token 激活 8 路由 + 1 共享) |
| 原生上下文 | 262,144 tokens,YaRN 可扩至约 1,010,000 |
| 模态 | 文本 + 图像 + 视频 |
| 词表大小 | 248,320 |
| 许可证 | Apache 2.0 |
| 兼容框架 | Hugging Face Transformers、vLLM、SGLang、KTransformers 等 |
🚀 为什么选 NVFP4 量化?精度几乎无损
量化版最大的顾虑是"会掉多少智商",官方在 README.md 中给出了 NVFP4 精度基准(Accuracy Benchmarks),答案相当让人放心:
| 量化方案 | MMLU-Pro | GPQA | AIME 2025 |
|---|---|---|---|
| BF16(原版) | 85.75 | 86.36 | 92.50 |
| FP8 | 85.75 | 86.74 | 93.12 |
| NVIDIA NVFP4 | 85.60 | 87.12 | 91.88 |
| Unsloth NVFP4 | 85.85 | 86.74 | 92.29 |
| Unsloth NVFP4 Fast(本版本) | 85.58 | 87.75 | 91.67 |
三个结论:
- 本版本 GPQA 得分(87.75)甚至略高于 BF16 和 NVIDIA 官方 NVFP4
- 各项基准与原版 BF16 的差异在 1 分以内,精度近乎无损
- 速度优势明显:同款 35B-A3B 模型上,unsloth 量化(cute-DSL + trtllm 后端)decode 达 295.2 tok/s、吞吐 15,636 tok/s,约为 NVIDIA marlin 后端(240.8 / 8,721)的 1.8 倍
💡 通俗理解:NVFP4 相当于把 35B 的"车"装进 32GB 的"油箱",而官方校准 + 加速后端让性能几乎不打折。
🏗️ 架构亮点:混合注意力 + MoE + MTP
这个模型的内部结构(详见 config.json 的 text_config)有三大亮点:
- 混合注意力:40 层按
10 × (3 层 Gated DeltaNet → 1 层 Gated Attention)循环排布——每 4 层才有一层全注意力,其余为线性注意力,长上下文推理成本远低于纯 Transformer - MoE 专家:每层 256 个专家,每个 token 只激活 8 个路由专家 + 1 个共享专家,所以"35B 的规模、3B 的速度"
- MTP 模块:内置 Multi-Token Prediction 多步预测头,可作为自投机解码进一步加速生成(下文有教程)
视觉侧同样是完整的多模态设计:内置 27 层 Vision Encoder(16×16 patch、2×2 空间合并),图像/视频预处理参数分别见 preprocessor_config.json 与 video_preprocessor_config.json。
📦 vLLM 一键部署:最快上手步骤
官方推荐用 vLLM 部署该 NVFP4 checkpoint,三步走:
第 1 步:创建干净环境并安装依赖
uv venv unsloth-nvfp4-env --python 3.13
source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" --torch-backend=auto
第 2 步:启动服务
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast
启动后提供 OpenAI 兼容 API 端点 http://localhost:8000/v1。
第 3 步(可选):本地克隆模型文件
如需使用本地权重(通过 Git LFS 分发,含 5 个分片),可克隆仓库:
git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-NVFP4-Fast
⚠️ 两个重要避坑提醒
- 别用 Marlin 后端:它比官方推荐后端慢约 2 倍。保持 vLLM 自动选择 native / cute-DSL / CUTLASS / flashinfer_trtllm 后端即可,不要手动指定 marlin
- DGX Spark 用户必须加专用参数,否则推理会慢 2 倍:
export CUTE_DSL_ARCH=sm_121a
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast --moe-backend flashinfer_b12x
进阶:MTP 投机解码再提速
该 checkpoint 自带 MTP 模块,可以"自己给自己打草稿"来加速解码(decode 更快,吞吐略降):
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
💬 如何调用:OpenAI 兼容 API
服务启动后,任何 OpenAI SDK 都能直接用,把 OPENAI_BASE_URL 指向 http://localhost:8000/v1 即可进行文本对话、图像问答和视频理解。三个关键知识点:
- 默认思考模式:Qwen3.6 默认先输出
think推理过程再给最终答案,适合复杂任务 - 关闭思考:请求中传
chat_template_kwargs: {"enable_thinking": False}即可直接得到回答(对话模板定义在 chat_template.jinja) - 保留历史思考:传
preserve_thinking: True,模型会保留并利用历史消息中的推理上下文,尤其适合 Agent 场景,能减少重复推理、降低 token 消耗
官方推荐采样参数
| 使用场景 | 推荐参数 |
|---|---|
| 思考模式 · 通用任务 | temperature=1.0, top_p=0.95, top_k=20, presence_penalty=1.5 |
| 思考模式 · 精确编码(如 WebDev) | temperature=0.6, top_p=0.95, top_k=20, presence_penalty=0.0 |
| 指令(非思考)模式 · 通用任务 | temperature=0.7, top_p=0.8, top_k=20, presence_penalty=1.5 |
另外两条实用建议:
- 输出长度:多数问题 32,768 tokens 足够;数学/编程竞赛类复杂题建议放宽到 81,920
- 遇到 OOM 显存不足:先调小
--max-model-len,但建议至少保留 128K 以维持思考能力
🎬 长视频与百万级长上下文怎么开
- 长视频理解:默认视频预处理参数偏保守;处理小时级视频时,建议把 video_preprocessor_config.json 中的
longest_edge调为469762048(约 224K 视频 token),获得更高帧率采样和更好效果 - 超长文本:原生支持 262,144 tokens;更长场景可启用 YaRN(RoPE 缩放),把上下文扩展到约 1,010,000 tokens,vLLM、SGLang、transformers 均支持。注意静态 YaRN 对短文本性能可能有轻微影响,确实需要长上下文时再开启
📂 仓库文件结构一览
整个仓库是标准 HF Transformers 格式模型,主要文件如下:
| 文件 | 作用 |
|---|---|
| README.md | 官方文档:基准测试、部署指南、API 示例 |
| config.json | 模型架构 + NVFP4 混合精度量化配置 |
| generation_config.json | 默认生成参数(temperature=1.0, top_p=0.95, top_k=20) |
| chat_template.jinja | 对话模板(含图像/视频 token 处理逻辑) |
| tokenizer.json、tokenizer_config.json、vocab.json | 分词器与词表(248,320) |
| preprocessor_config.json | 图像预处理参数 |
| video_preprocessor_config.json | 视频预处理参数(采样帧数、尺寸上限) |
| model-00001-of-00005.safetensors ~ model-00005 | 模型权重(5 个分片,Git LFS 分发) |
| model.safetensors.index.json | 权重分片索引 |
❓ 常见问题 FAQ
Q:32GB 显存真的够用吗?
A:官方保证 32GB 显存 GPU 可运行本量化版;若遇 OOM,优先调小 --max-model-len。
Q:为什么叫 "Fast" 版? A:除了 NVFP4 的 4-bit 量化本身,Unsloth 还用自己的数据集 + UltraChat 混合校准,并搭配 cute-DSL / trtllm 加速后端,最终吞吐量比其他 NVFP4 量化版快 1.79 倍,且精度与原版持平。
Q:能跑 Agent / 工具调用吗?
A:可以。Qwen3.6 的工具调用能力是官方重点,配合 preserve_thinking 保留历史推理,多轮任务的决策一致性会更好。
Q:支持哪些推理框架? A:Hugging Face Transformers、vLLM(官方推荐路径)、SGLang、KTransformers 等,详见 README.md。
写在最后
如果你想在单张 32GB 显卡上本地跑起 35B 级的多模态 MoE 大模型,Qwen3.6-35B-A3B-NVFP4-Fast 是理想选择:NVFP4 量化带来近乎无损的精度与 1.79 倍吞吐,混合注意力 + MTP 模块进一步放大速度优势。按照本文的部署步骤,几分钟内就能拥有自己的 OpenAI 兼容大模型服务。