Qwen3.6-35B-A3B-NVFP4是什么?Unsloth量化版35B多模态大模型完全入门指南

原创2026-11-08 17:57:201,816 阅读

Qwen3.6-35B-A3B-NVFP4是什么?Unsloth量化版35B多模态大模型完全入门指南

Qwen3.6-35B-A3B-NVFP4 是知名量化团队 Unsloth 基于 Qwen3.6-35B-A3B 发布的 NVFP4 混合精度量化大模型,它把 35B 参数的多模态 MoE 大模型压缩到 32GB 显存即可运行,吞吐量比其他 NVFP4 量化版本快 1.56 倍,且精度几乎无损。本文带你从零认识这个量化版模型:它是什么、凭什么更快、如何部署、以及仓库里每个文件的用途,新手也能快速上手本地部署。

🤔 Qwen3.6-35B-A3B-NVFP4 是什么?

简单说,它是 Qwen3.6 系列首个开源变体 Qwen3.6-35B-A3B 的"瘦身加速版":

  • 底座模型:Qwen3.6-35B-A3B,一个带视觉编码器的多模态因果语言模型(文本、图片、视频都能理解),主打 Agentic Coding(代理式编程)与推理能力;
  • 量化方式:采用 NVIDIA 的 NVFP4(4 位浮点)格式对 MoE 专家权重做混合精度压缩,由 Unsloth 用自有数据集 + UltraChat 数据集校准(calibrate)生成,完整配方可参考仓库中的 README.md;
  • 运行门槛:32GB 显存的 GPU 即可跑起来,官方基准在 1 张 B200 上以 128 并发测得;
  • 额外彩蛋:checkpoint 内置 MTP(Multi-Token Prediction)模块,可让模型"自己给自己当草稿"实现推测解码,进一步加速。

一句话总结:用更小的显存、更快的速度,跑满血版的 35B 多模态能力。

🚀 为什么选 NVFP4 量化?三大核心优势

1. 更小:32GB 显存就能装下 35B 模型

NVFP4 将 MoE 专家权重的主要部分压缩到 4 位,注意力投影、输出头等敏感层保留 8 位,视觉编码器维持 BF16 全精度。这种"敏感层保精度、大参数层狠压缩"的混合策略,让总参数 35B 的模型在 32GB 级显卡上就能部署。各层量化策略的完整定义见 config.json 中的 quantization_config 字段。

2. 更快:比其他 NVFP4 量化快 1.56 倍

Unsloth 对量化内核做了深度优化,在 DGX Spark 平台上的实测对比:

模型 后端 解码速度 (tok/s) 吞吐量 (tok/s)
NVIDIA 35B-A3B marlin 240.8 8,721
Unsloth 35B-A3B cute-DSL + trtllm 295.2 15,636

💡 官方还提供了一个速度更快的 35B NVFP4 Fast 版本,速度快 1.79 倍、精度略降,适合追求极限吞吐的场景。

3. 精度几乎无损:量化不"变笨"

官方在 MMLU-Pro、GPQA、AIME 2025 上对比了各精度版本:

版本 MMLU-Pro GPQA AIME 2025
Unsloth NVFP4 85.85 86.74 92.29
Unsloth NVFP4 Fast 85.58 87.75 91.67
NVIDIA NVFP4 85.60 87.12 91.88
FP8 85.75 86.74 93.12
BF16(原始精度) 85.75 86.36 92.50

可以看到,NVFP4 量化版与原始 BF16 模型的差距在 1 分以内,而速度和显存优势巨大——这就是"免费午餐"式的量化。

🏗️ 模型架构速览:35B 总参数,只激活 3B

Qwen3.6-35B-A3B 是一个典型的 MoE(混合专家)多模态模型,结构上很有看点:

  • 参数规模:总参数 35B,每次推理只激活约 3B,兼顾"大模型脑子"和"小模型成本";
  • 注意力混合:40 层中采用"3 层 Gated DeltaNet 线性注意力 + 1 层全注意力"循环,线性注意力大幅降低长上下文的计算开销;
  • 专家路由:256 个专家,每 token 激活 8 个路由专家 + 1 个共享专家;
  • 超长上下文:原生支持 262,144 token,通过 YaRN 可扩展到 101 万 token;
  • 多模态输入:27 层视觉编码器 + 视频抽帧处理,图片、视频均可作为输入(详见 processor_config.json 与 video_preprocessor_config.json)。

结构参数(层数、专家数、注意力配置等)完整记录在 config.json 的 text_config 中。

💻 一步部署:vLLM 快速启动

官方推荐用 vLLM 部署这个 NVFP4 checkpoint,流程非常短:

# 创建环境并安装依赖
uv venv unsloth-nvfp4-env --python 3.13 && source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" --torch-backend=auto

# 启动服务,OpenAI 兼容 API 默认监听 8000 端口
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4

启动后即可通过 http://localhost:8000/v1 使用标准 Chat Completions API,OpenAI SDK 直接可用。

两个提速小技巧:

  • 启用 MTP 推测解码:加上 --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}',单轮对话响应更快;
  • DGX Spark 用户注意:务必设置 CUTE_DSL_ARCH=sm_121a 并使用 --moe-backend flashinfer_b12x,同时避开 Marlin 后端(官方实测慢 2 倍),否则会白白损失一半性能。

如需本地拉取权重文件,可克隆仓库:

git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-NVFP4

⚙️ 生成参数推荐:让模型发挥最佳水平

Qwen3.6 默认处于思考模式(先输出 think 推理块再给答案),并新增了 preserve_thinking 选项可保留历史思考上下文,适合 Agent 多轮场景。官方推荐的采样参数组合:

使用场景 temperature top_p top_k presence_penalty
思考模式 · 通用任务 1.0 0.95 20 1.5
思考模式 · 精确编码 0.6 0.95 20 0.0
非思考模式 · 通用任务 0.7 0.8 20 1.5
非思考模式 · 推理任务 1.0 0.95 20 1.5

想跳过思考直接出答案,在请求中传 chat_template_kwargs: {"enable_thinking": False} 即可;模板细节见 chat_template.jinja,默认生成配置见 generation_config.json。

⚠️ 小贴士:默认上下文很长,如果遇到显存不足(OOM),可以适当调小上下文窗口,但官方建议至少保留 128K 以维持思考能力。

📂 仓库文件都有什么用?

本仓库为标准 Hugging Face Transformers 格式的模型权重 + 配置文件,可直接被 Transformers、vLLM、SGLang、KTransformers 等框架加载:

文件 用途
README.md 部署指南、性能基准、使用示例(建议精读)
config.json 模型结构定义 + NVFP4 量化配置(quantization_config)
model-00001-of-00006.safetensors ~ model-00006-of-00006.safetensors 模型权重,分 6 个 safetensors 文件存储
model.safetensors.index.json 权重分片索引,框架据此加载对应分片
tokenizer.json / vocab.json 分词器与词表(248,320 词元)
tokenizer_config.json 分词器行为配置(特殊 token 等)
chat_template.jinja 对话模板,定义多模态消息与思考模式的格式
processor_config.json 图片/视频处理参数(patch 大小、帧率等)
preprocessor_config.json 图像预处理器配置
video_preprocessor_config.json 视频抽帧配置(长视频可调 longest_edge 提速)
generation_config.json 默认采样参数(temperature=1.0、top_p=0.95 等)
configuration.json 框架与任务标签(Pytorch / 视觉问答)

🎯 总结:适合谁用?

  • 有 32GB 显存显卡的个人开发者:想本地跑"满血版"35B 多模态模型做编码、文档理解,这是目前性价比最高的方案之一;
  • 追求推理速度的服务部署:NVFP4 内核优化 + MTP 推测解码,单卡吞吐量表现亮眼;
  • Agent / 编程助手场景:底座模型在 SWE-bench Verified(73.4)、Terminal-Bench 2.0(51.5)等代理式编程基准上表现突出,配合思考保留模式多轮迭代更省 token。

只需一条 vllm serve 命令,Qwen3.6-35B-A3B-NVFP4 就能把"35B 级多模态 + Agentic Coding"能力装进你的单卡机器,值得动手试一次。

登录后查看全文
Qwen3.6-35B-A3B-NVFP4