Qwen3.6-35B-A3B-NVFP4是什么?Unsloth量化版35B多模态大模型完全入门指南
Qwen3.6-35B-A3B-NVFP4是什么?Unsloth量化版35B多模态大模型完全入门指南
Qwen3.6-35B-A3B-NVFP4 是知名量化团队 Unsloth 基于 Qwen3.6-35B-A3B 发布的 NVFP4 混合精度量化大模型,它把 35B 参数的多模态 MoE 大模型压缩到 32GB 显存即可运行,吞吐量比其他 NVFP4 量化版本快 1.56 倍,且精度几乎无损。本文带你从零认识这个量化版模型:它是什么、凭什么更快、如何部署、以及仓库里每个文件的用途,新手也能快速上手本地部署。
🤔 Qwen3.6-35B-A3B-NVFP4 是什么?
简单说,它是 Qwen3.6 系列首个开源变体 Qwen3.6-35B-A3B 的"瘦身加速版":
- 底座模型:Qwen3.6-35B-A3B,一个带视觉编码器的多模态因果语言模型(文本、图片、视频都能理解),主打 Agentic Coding(代理式编程)与推理能力;
- 量化方式:采用 NVIDIA 的 NVFP4(4 位浮点)格式对 MoE 专家权重做混合精度压缩,由 Unsloth 用自有数据集 + UltraChat 数据集校准(calibrate)生成,完整配方可参考仓库中的 README.md;
- 运行门槛:32GB 显存的 GPU 即可跑起来,官方基准在 1 张 B200 上以 128 并发测得;
- 额外彩蛋:checkpoint 内置 MTP(Multi-Token Prediction)模块,可让模型"自己给自己当草稿"实现推测解码,进一步加速。
一句话总结:用更小的显存、更快的速度,跑满血版的 35B 多模态能力。
🚀 为什么选 NVFP4 量化?三大核心优势
1. 更小:32GB 显存就能装下 35B 模型
NVFP4 将 MoE 专家权重的主要部分压缩到 4 位,注意力投影、输出头等敏感层保留 8 位,视觉编码器维持 BF16 全精度。这种"敏感层保精度、大参数层狠压缩"的混合策略,让总参数 35B 的模型在 32GB 级显卡上就能部署。各层量化策略的完整定义见 config.json 中的 quantization_config 字段。
2. 更快:比其他 NVFP4 量化快 1.56 倍
Unsloth 对量化内核做了深度优化,在 DGX Spark 平台上的实测对比:
| 模型 | 后端 | 解码速度 (tok/s) | 吞吐量 (tok/s) |
|---|---|---|---|
| NVIDIA 35B-A3B | marlin | 240.8 | 8,721 |
| Unsloth 35B-A3B | cute-DSL + trtllm | 295.2 | 15,636 |
💡 官方还提供了一个速度更快的 35B NVFP4 Fast 版本,速度快 1.79 倍、精度略降,适合追求极限吞吐的场景。
3. 精度几乎无损:量化不"变笨"
官方在 MMLU-Pro、GPQA、AIME 2025 上对比了各精度版本:
| 版本 | MMLU-Pro | GPQA | AIME 2025 |
|---|---|---|---|
| Unsloth NVFP4 | 85.85 | 86.74 | 92.29 |
| Unsloth NVFP4 Fast | 85.58 | 87.75 | 91.67 |
| NVIDIA NVFP4 | 85.60 | 87.12 | 91.88 |
| FP8 | 85.75 | 86.74 | 93.12 |
| BF16(原始精度) | 85.75 | 86.36 | 92.50 |
可以看到,NVFP4 量化版与原始 BF16 模型的差距在 1 分以内,而速度和显存优势巨大——这就是"免费午餐"式的量化。
🏗️ 模型架构速览:35B 总参数,只激活 3B
Qwen3.6-35B-A3B 是一个典型的 MoE(混合专家)多模态模型,结构上很有看点:
- 参数规模:总参数 35B,每次推理只激活约 3B,兼顾"大模型脑子"和"小模型成本";
- 注意力混合:40 层中采用"3 层 Gated DeltaNet 线性注意力 + 1 层全注意力"循环,线性注意力大幅降低长上下文的计算开销;
- 专家路由:256 个专家,每 token 激活 8 个路由专家 + 1 个共享专家;
- 超长上下文:原生支持 262,144 token,通过 YaRN 可扩展到 101 万 token;
- 多模态输入:27 层视觉编码器 + 视频抽帧处理,图片、视频均可作为输入(详见 processor_config.json 与 video_preprocessor_config.json)。
结构参数(层数、专家数、注意力配置等)完整记录在 config.json 的 text_config 中。
💻 一步部署:vLLM 快速启动
官方推荐用 vLLM 部署这个 NVFP4 checkpoint,流程非常短:
# 创建环境并安装依赖
uv venv unsloth-nvfp4-env --python 3.13 && source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" --torch-backend=auto
# 启动服务,OpenAI 兼容 API 默认监听 8000 端口
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4
启动后即可通过 http://localhost:8000/v1 使用标准 Chat Completions API,OpenAI SDK 直接可用。
两个提速小技巧:
- 启用 MTP 推测解码:加上
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}',单轮对话响应更快; - DGX Spark 用户注意:务必设置
CUTE_DSL_ARCH=sm_121a并使用--moe-backend flashinfer_b12x,同时避开 Marlin 后端(官方实测慢 2 倍),否则会白白损失一半性能。
如需本地拉取权重文件,可克隆仓库:
git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-NVFP4
⚙️ 生成参数推荐:让模型发挥最佳水平
Qwen3.6 默认处于思考模式(先输出 think 推理块再给答案),并新增了 preserve_thinking 选项可保留历史思考上下文,适合 Agent 多轮场景。官方推荐的采样参数组合:
| 使用场景 | temperature | top_p | top_k | presence_penalty |
|---|---|---|---|---|
| 思考模式 · 通用任务 | 1.0 | 0.95 | 20 | 1.5 |
| 思考模式 · 精确编码 | 0.6 | 0.95 | 20 | 0.0 |
| 非思考模式 · 通用任务 | 0.7 | 0.8 | 20 | 1.5 |
| 非思考模式 · 推理任务 | 1.0 | 0.95 | 20 | 1.5 |
想跳过思考直接出答案,在请求中传 chat_template_kwargs: {"enable_thinking": False} 即可;模板细节见 chat_template.jinja,默认生成配置见 generation_config.json。
⚠️ 小贴士:默认上下文很长,如果遇到显存不足(OOM),可以适当调小上下文窗口,但官方建议至少保留 128K 以维持思考能力。
📂 仓库文件都有什么用?
本仓库为标准 Hugging Face Transformers 格式的模型权重 + 配置文件,可直接被 Transformers、vLLM、SGLang、KTransformers 等框架加载:
| 文件 | 用途 |
|---|---|
| README.md | 部署指南、性能基准、使用示例(建议精读) |
| config.json | 模型结构定义 + NVFP4 量化配置(quantization_config) |
| model-00001-of-00006.safetensors ~ model-00006-of-00006.safetensors | 模型权重,分 6 个 safetensors 文件存储 |
| model.safetensors.index.json | 权重分片索引,框架据此加载对应分片 |
| tokenizer.json / vocab.json | 分词器与词表(248,320 词元) |
| tokenizer_config.json | 分词器行为配置(特殊 token 等) |
| chat_template.jinja | 对话模板,定义多模态消息与思考模式的格式 |
| processor_config.json | 图片/视频处理参数(patch 大小、帧率等) |
| preprocessor_config.json | 图像预处理器配置 |
| video_preprocessor_config.json | 视频抽帧配置(长视频可调 longest_edge 提速) |
| generation_config.json | 默认采样参数(temperature=1.0、top_p=0.95 等) |
| configuration.json | 框架与任务标签(Pytorch / 视觉问答) |
🎯 总结:适合谁用?
- 有 32GB 显存显卡的个人开发者:想本地跑"满血版"35B 多模态模型做编码、文档理解,这是目前性价比最高的方案之一;
- 追求推理速度的服务部署:NVFP4 内核优化 + MTP 推测解码,单卡吞吐量表现亮眼;
- Agent / 编程助手场景:底座模型在 SWE-bench Verified(73.4)、Terminal-Bench 2.0(51.5)等代理式编程基准上表现突出,配合思考保留模式多轮迭代更省 token。
只需一条 vllm serve 命令,Qwen3.6-35B-A3B-NVFP4 就能把"35B 级多模态 + Agentic Coding"能力装进你的单卡机器,值得动手试一次。