Qwen3.6-35B-A3B-NVFP4-Fast是什么?35B多模态MoE大模型NVFP4量化版完整入门指南

原创2026-10-22 23:07:191,949 阅读

Qwen3.6-35B-A3B-NVFP4-Fast是什么?35B多模态MoE大模型NVFP4量化版完整入门指南

Qwen3.6-35B-A3B-NVFP4-Fast 是开源量化团队 Unsloth 发布的 35B 多模态 MoE 大模型 Qwen3.6-35B-A3B 的 NVFP4 量化版本,推理吞吐量达其他 NVFP4 量化版的 1.79 倍,单张 32GB 显存 GPU 即可运行,并原生支持文本、图像与视频理解。本文带你从核心参数、一键部署到调参建议,快速上手这款量化大模型。

📌 1分钟看懂:这个量化版到底是什么?

Qwen3.6-35B-A3B 是 Qwen3.6 系列首个开放权重模型,本仓库是它的 NVFP4 量化版(Fast 变体),核心特点:

  • NVFP4 量化:采用 NVIDIA 生态的 4-bit 浮点(FP4)混合精度量化格式,权重以 nvfp4-pack 打包存储,详见 config.json 中的 quantization_config
  • 1.79 倍加速:吞吐量比其他 NVFP4 量化版快 1.79 倍(1× B200、128 并发基准测试)
  • 显存门槛低:32GB 显存 GPU 即可运行
  • 精度校准:基于 Unsloth 数据集 + UltraChat 混合数据集校准
  • 多模态:支持文本、图像、视频理解,configuration.json 中任务类型为 visual-question-answering

核心参数速览

项目 数值
总参数 35B(MoE 架构,每 token 激活约 3B)
层数 40 层(混合注意力结构)
专家数 256 个(每 token 激活 8 路由 + 1 共享)
原生上下文 262,144 tokens,YaRN 可扩至约 1,010,000
模态 文本 + 图像 + 视频
词表大小 248,320
许可证 Apache 2.0
兼容框架 Hugging Face Transformers、vLLM、SGLang、KTransformers 等

🚀 为什么选 NVFP4 量化?精度几乎无损

量化版最大的顾虑是"会掉多少智商",官方在 README.md 中给出了 NVFP4 精度基准(Accuracy Benchmarks),答案相当让人放心:

量化方案 MMLU-Pro GPQA AIME 2025
BF16(原版) 85.75 86.36 92.50
FP8 85.75 86.74 93.12
NVIDIA NVFP4 85.60 87.12 91.88
Unsloth NVFP4 85.85 86.74 92.29
Unsloth NVFP4 Fast(本版本) 85.58 87.75 91.67

三个结论:

  • 本版本 GPQA 得分(87.75)甚至略高于 BF16 和 NVIDIA 官方 NVFP4
  • 各项基准与原版 BF16 的差异在 1 分以内,精度近乎无损
  • 速度优势明显:同款 35B-A3B 模型上,unsloth 量化(cute-DSL + trtllm 后端)decode 达 295.2 tok/s、吞吐 15,636 tok/s,约为 NVIDIA marlin 后端(240.8 / 8,721)的 1.8 倍

💡 通俗理解:NVFP4 相当于把 35B 的"车"装进 32GB 的"油箱",而官方校准 + 加速后端让性能几乎不打折。

🏗️ 架构亮点:混合注意力 + MoE + MTP

这个模型的内部结构(详见 config.json 的 text_config)有三大亮点:

  1. 混合注意力:40 层按 10 × (3 层 Gated DeltaNet → 1 层 Gated Attention) 循环排布——每 4 层才有一层全注意力,其余为线性注意力,长上下文推理成本远低于纯 Transformer
  2. MoE 专家:每层 256 个专家,每个 token 只激活 8 个路由专家 + 1 个共享专家,所以"35B 的规模、3B 的速度"
  3. MTP 模块:内置 Multi-Token Prediction 多步预测头,可作为自投机解码进一步加速生成(下文有教程)

视觉侧同样是完整的多模态设计:内置 27 层 Vision Encoder(16×16 patch、2×2 空间合并),图像/视频预处理参数分别见 preprocessor_config.json 与 video_preprocessor_config.json。

📦 vLLM 一键部署:最快上手步骤

官方推荐用 vLLM 部署该 NVFP4 checkpoint,三步走:

第 1 步:创建干净环境并安装依赖

uv venv unsloth-nvfp4-env --python 3.13
source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" --torch-backend=auto

第 2 步:启动服务

vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast

启动后提供 OpenAI 兼容 API 端点 http://localhost:8000/v1。

第 3 步(可选):本地克隆模型文件

如需使用本地权重(通过 Git LFS 分发,含 5 个分片),可克隆仓库:

git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-NVFP4-Fast

⚠️ 两个重要避坑提醒

  1. 别用 Marlin 后端:它比官方推荐后端慢约 2 倍。保持 vLLM 自动选择 native / cute-DSL / CUTLASS / flashinfer_trtllm 后端即可,不要手动指定 marlin
  2. DGX Spark 用户必须加专用参数,否则推理会慢 2 倍:
export CUTE_DSL_ARCH=sm_121a
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast --moe-backend flashinfer_b12x

进阶:MTP 投机解码再提速

该 checkpoint 自带 MTP 模块,可以"自己给自己打草稿"来加速解码(decode 更快,吞吐略降):

vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast \
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

💬 如何调用:OpenAI 兼容 API

服务启动后,任何 OpenAI SDK 都能直接用,把 OPENAI_BASE_URL 指向 http://localhost:8000/v1 即可进行文本对话、图像问答和视频理解。三个关键知识点:

  • 默认思考模式:Qwen3.6 默认先输出 think 推理过程再给最终答案,适合复杂任务
  • 关闭思考:请求中传 chat_template_kwargs: {"enable_thinking": False} 即可直接得到回答(对话模板定义在 chat_template.jinja)
  • 保留历史思考:传 preserve_thinking: True,模型会保留并利用历史消息中的推理上下文,尤其适合 Agent 场景,能减少重复推理、降低 token 消耗

官方推荐采样参数

使用场景 推荐参数
思考模式 · 通用任务 temperature=1.0, top_p=0.95, top_k=20, presence_penalty=1.5
思考模式 · 精确编码(如 WebDev) temperature=0.6, top_p=0.95, top_k=20, presence_penalty=0.0
指令(非思考)模式 · 通用任务 temperature=0.7, top_p=0.8, top_k=20, presence_penalty=1.5

另外两条实用建议:

  • 输出长度:多数问题 32,768 tokens 足够;数学/编程竞赛类复杂题建议放宽到 81,920
  • 遇到 OOM 显存不足:先调小 --max-model-len,但建议至少保留 128K 以维持思考能力

🎬 长视频与百万级长上下文怎么开

  • 长视频理解:默认视频预处理参数偏保守;处理小时级视频时,建议把 video_preprocessor_config.json 中的 longest_edge 调为 469762048(约 224K 视频 token),获得更高帧率采样和更好效果
  • 超长文本:原生支持 262,144 tokens;更长场景可启用 YaRN(RoPE 缩放),把上下文扩展到约 1,010,000 tokens,vLLM、SGLang、transformers 均支持。注意静态 YaRN 对短文本性能可能有轻微影响,确实需要长上下文时再开启

📂 仓库文件结构一览

整个仓库是标准 HF Transformers 格式模型,主要文件如下:

文件 作用
README.md 官方文档:基准测试、部署指南、API 示例
config.json 模型架构 + NVFP4 混合精度量化配置
generation_config.json 默认生成参数(temperature=1.0, top_p=0.95, top_k=20)
chat_template.jinja 对话模板(含图像/视频 token 处理逻辑)
tokenizer.json、tokenizer_config.json、vocab.json 分词器与词表(248,320)
preprocessor_config.json 图像预处理参数
video_preprocessor_config.json 视频预处理参数(采样帧数、尺寸上限)
model-00001-of-00005.safetensors ~ model-00005 模型权重(5 个分片,Git LFS 分发)
model.safetensors.index.json 权重分片索引

❓ 常见问题 FAQ

Q:32GB 显存真的够用吗? A:官方保证 32GB 显存 GPU 可运行本量化版;若遇 OOM,优先调小 --max-model-len。

Q:为什么叫 "Fast" 版? A:除了 NVFP4 的 4-bit 量化本身,Unsloth 还用自己的数据集 + UltraChat 混合校准,并搭配 cute-DSL / trtllm 加速后端,最终吞吐量比其他 NVFP4 量化版快 1.79 倍,且精度与原版持平。

Q:能跑 Agent / 工具调用吗? A:可以。Qwen3.6 的工具调用能力是官方重点,配合 preserve_thinking 保留历史推理,多轮任务的决策一致性会更好。

Q:支持哪些推理框架? A:Hugging Face Transformers、vLLM(官方推荐路径)、SGLang、KTransformers 等,详见 README.md。

写在最后

如果你想在单张 32GB 显卡上本地跑起 35B 级的多模态 MoE 大模型,Qwen3.6-35B-A3B-NVFP4-Fast 是理想选择:NVFP4 量化带来近乎无损的精度与 1.79 倍吞吐,混合注意力 + MTP 模块进一步放大速度优势。按照本文的部署步骤,几分钟内就能拥有自己的 OpenAI 兼容大模型服务。

登录后查看全文
Qwen3.6-35B-A3B-NVFP4-Fast