Qwen3.6-35B-A3B-w4a8-mxfp是什么:完整解析4-bit量化多模态MoE大模型,一次讲透w4a8-mxfp格式
Qwen3.6-35B-A3B-w4a8-mxfp是什么:完整解析4-bit量化多模态MoE大模型,一次讲透w4a8-mxfp格式
Qwen3.6-35B-A3B-w4a8-mxfp 是一款基于 Qwen3.6-35B-A3B 多模态 MoE 大模型制作的 4-bit 量化版本:权重压到 4-bit(MXFP4)、激活压到 8-bit(MXFP8),支持图文、视频理解与推理问答,专为 NPU(昇腾)低比特推理场景优化。本文带你从命名、格式、架构到部署,一次看懂这个模型。
一、先看懂命名:w4a8-mxfp 是什么意思?
模型名里最关键的其实是 w4a8-mxfp 这个后缀,拆开看就懂了:
| 片段 | 含义 | 通俗解释 |
|---|---|---|
35B |
总参数量 35B | 模型"全脑"约有 350 亿参数 |
A3B |
每次只激活约 3B 参数 | MoE 门控机制让推理更省算力 |
w4 |
Weight 4-bit | 权重用 4 位存储,体积约为 16-bit 的 1/4 |
a8 |
Activation 8-bit | 计算时的激活值用 8 位(MXFP8) |
mxfp |
MX 微缩格式 | OCP MX 系列低比特浮点格式(MXFP4 / MXFP8) |
💡 一句话总结:这是一个"4-bit 权重 + 8-bit 激活"的量化模型,属于业界称为 W4A8 的低比特推理方案。
什么是 mxfp?
mxfp 指的是 Microscaling(MX)格式——一种面向低比特推理的浮点表示方式。它的核心思想是:
- MXFP4(权重):每个数值只用 4-bit 浮点表示,同时每 32 个数值共享一个 8-bit 缩放因子,既省空间又不丢整体精度;
- MXFP8(激活):激活值按同样的 per-block(每 32 元素一组)方式量化到 8-bit。
这种"分块共享缩放因子"的设计,就是配置文件里 scope: per_block 的含义,也是 MX 格式区别于普通 INT4 的关键——它保留了浮点表示的动态范围,精度损失通常更小。
二、量化方案速览:哪些部分被压缩了?
打开量化配置文件 Qwen3.6-35B-A3B_best_practice.yaml,可以看到完整的量化策略:
| 量化项 | 数据格式 | 量化范围 | 量化方法 |
|---|---|---|---|
| 权重(weight) | mxfp4 |
每块(per_block) | minmax,对称 |
| 激活(act) | mxfp8 |
每块(per_block) | minmax,对称 |
被量化的模块(include):
*self_attn*—— 全注意力层*linear_attn*—— 线性注意力层*mlp.experts*—— MoE 专家网络*mlp.shared_expert.*—— 共享专家
保留原始精度的模块(exclude):*visual* 视觉编码器不做量化,继续以 bf16 运行。
👉 也就是说:语言模型主干被压成 4-bit,视觉编码器保持原始精度,在"省显存"和"保住视觉理解质量"之间做了平衡。配置中 score: 90.0 表示该方案在精度-性能评分体系下得分为 90,属于验证过的推荐配置。
量化使用的是 msmodelslim 工具链,具体命令记录在 README.md 中,校准数据集为 qwen3_cot_vlm_text,保存时使用 ascendv1_saver 按 4GB/片切分。
三、模型本体:多模态 MoE 架构长什么样?
结合模型配置 config.json,这个模型的"底子"相当能打:
🧠 核心架构参数
| 参数 | 值 | 说明 |
|---|---|---|
| 架构 | Qwen3_5MoeForConditionalGeneration |
条件生成式多模态架构 |
| 隐藏层数 | 40 | — |
| 隐藏维度 | 2048 | — |
| 专家总数 | 256 | MoE 专家池 |
| 每 token 激活专家数 | 8 | 加上共享专家,即 "A3B" 的由来 |
| 上下文长度 | 262,144(256K) | 支持超长文本 |
| 词表大小 | 248,320 | — |
🔍 混合注意力机制
40 层中采用 3 层线性注意力 + 1 层全注意力的循环排布(full_attention_interval: 4)。线性注意力(Mamba 类 SSM 结构)大幅降低长序列的计算开销,全注意力层保证全局信息不丢失——这也是它能支撑 256K 长上下文的关键设计之一。
🖼️ 多模态能力
- 支持 图片(
image_token_id)与 视频(video_token_id)输入; - 视觉编码器深度 27 层、hidden 1152,
temporal_patch_size: 2说明可按时间切片处理视频帧; - 任务定位见 configuration.json:
visual-question-answering(视觉问答); - 对话模板 chat_template.jinja 原生支持多轮工具调用与思维链(
enable_thinking可开关思考模式)。
四、目录文件清单:每个文件都是干什么的?
| 文件 | 作用 |
|---|---|
| config.json | 模型结构配置(层数、专家数、注意力类型等) |
| quant_model_description.json | 量化描述文件,记录各张量的量化元信息 |
| quant_model_weights-00001-of-00008.safetensors 等 8 片 | 量化后的模型权重,按约 4GB/片切分 |
| quant_model_weights.safetensors.index.json | 权重分片索引,加载时用来定位每个参数在哪一片 |
| Qwen3.6-35B-A3B_best_practice.yaml | 量化最佳实践配置(w4a8 格式定义) |
| generation_config.json | 默认生成参数:temperature: 1.0、top_k: 20、top_p: 0.95 |
| chat_template.jinja | 对话模板(支持图片/视频/工具/思维链) |
| tokenizer.json、vocab.json、merges.txt | 分词器三件套 |
| preprocessor_config.json、video_preprocessor_config.json | 图像 / 视频前处理参数 |
| README.md | 项目说明:量化脚本、精度测试表 |
五、如何部署运行:最低门槛指南
1️⃣ 运行环境(已验证组合)
配置中标注的验证标签是:
vLLM-Ascend + Ascend_950
也就是说,这套 4-bit 权重的目标平台是 昇腾 NPU,推理引擎用 vLLM 的昇腾版本(vLLM-Ascend)。这也是 a8(MXFP8 激活)的价值所在——NPU 对低比特激活有硬件加速,4-bit 权重 + 8-bit 激活的组合能显著降低显存占用和访存带宽压力。
2️⃣ 获取模型
把本仓库目录完整下载到本地(含 8 个 quant_model_weights-*.safetensors 分片、config.json、分词器与模板文件)。⚠️ 注意:权重文件通过 Git LFS 管理,确保 LFS 文件完整拉取后再部署。
3️⃣ 部署要点
- 用 vLLM-Ascend 以量化模型路径加载(
quant_model_weights.safetensors.index.json会自动引导分片读取); - 生成参数建议沿用 generation_config.json:
temperature=1.0, top_k=20, top_p=0.95; - 如需复现量化流程,可参考 README.md 中的
msmodelslim quant命令(8 卡 NPU)。
4️⃣ 精度预期
README.md 特别提示:量化精度存在波动,建议多次测试。4-bit 量化属于较激进的压缩,对数学推理等敏感任务可能略有折损,生产使用前建议在自己的业务数据集上跑一轮评估。
六、新手常见问题(FAQ)
Q1:w4a8 和 w4a16 有什么区别?
a8 指激活值也量化到 8-bit(MXFP8),在支持低比特矩阵运算的 NPU 上速度更快;w4a16 只压缩权重、激活保持 16-bit,兼容性更广但收益小一些。
Q2:为什么视觉编码器不量化?
见 Qwen3.6-35B-A3B_best_practice.yaml 的 exclude: *visual*。视觉部分参数量相对较小,且对图像细节敏感,保留 bf16 精度能换来更高的图文理解质量。
Q3:4-bit 权重真的能省多少空间? 35B 参数从 16-bit(约 70GB)压缩到 4-bit(约 17.5GB + 缩放因子与少量非量化层),显存占用降到约 1/4,这也是它能在单节点 NPU 集群上高效服务的主要原因。
Q4:能跑在 NVIDIA GPU 上吗? 仓库中已验证的组合是昇腾 950 + vLLM-Ascend;MX 格式对 GPU 生态的支持依赖具体推理框架版本,部署前请先确认你的运行时是否支持 MXFP4/MXFP8。
写在最后
Qwen3.6-35B-A3B-w4a8-mxfp 用一次"命名"就交代清楚了全部卖点:35B 总量 / 3B 激活的 MoE 多模态模型 + 4-bit 权重 + 8-bit 激活的 MX 量化格式。对于想在昇腾 NPU 上用更小显存跑起多模态大模型、又不想完全牺牲精度的用户,它是一个开箱即用的低比特推理方案。
📌 上手三步走:下载完整分片 → vLLM-Ascend 加载 → 按默认生成参数试问,有精度疑问就参考量化配置自行复现实验。