什么是 W4A8?Qwen3.8-Flash-Next-w4a8-mxfp 如何用 MXFP4 量化压缩 512 专家 MoE 而不掉精度
什么是 W4A8?Qwen3.8-Flash-Next-w4a8-mxfp 如何用 MXFP4 量化压缩 512 专家 MoE 而不掉精度
W4A8 量化是当下大模型部署中性价比最高的压缩方案之一:权重(Weight)压到 4 bit,激活(Activation)保持 8 bit。Qwen3.8-Flash-Next-w4a8-mxfp 就是把 Qwen3.8-Flash-Next 这一 512 专家 MoE 大模型按 W4A8 混合精度做 MXFP4 量化后的权重仓库——体积大幅缩水,GPQA Diamond 精度却只掉了不到 0.3 个百分点。本文将带你搞清楚 W4A8 到底"压"在哪、MXFP4 凭什么不掉精度、以及这个仓库里的 48 个权重分片分别是什么。
1️⃣ W4A8 是什么?为什么它比 INT4 更适合大 MoE
大模型推理的两大瓶颈是 显存占用 和 算子吞吐。传统方案要么全量化(INT4/W4A16),要么全精度(BF16)。W4A8 在两者之间取了个甜点:
| 量化格式 | 权重精度 | 激活精度 | 显存占用 | 典型场景 |
|---|---|---|---|---|
| BF16(原精度) | 16 bit | 16 bit | 100% | 精度基线 |
| W4A8(本项目) | 4 bit | 8 bit | 约 1/4 | MoE 大模型高并发推理 |
| W4A16(纯 INT4) | 4 bit | 16 bit | 约 1/4 | 无硬件 8-bit 算子时 |
三个关键点:
- W4:权重用 4 个比特存储,MoE 里占显存大头的专家矩阵直接缩小到约 1/4;
- A8:激活值用 8 个比特,配合硬件原生的 8-bit 矩阵乘(如 Ascend NPU 的 mxfp8/mxfp4 算子),推理吞吐还能再上一台阶;
- MXFP:不是粗暴的 INT4。MXFP 是 Microscaling 浮点格式——每 32 个元素共享一个 8-bit 缩放因子(E8M0),块内保留浮点语义。对 MoE 这种权重分布极不均匀的模型,比固定点 INT 量化鲁棒得多,这也是"不掉精度"的核心原因。
2️⃣ 512 专家 MoE:为什么要量化、压的是哪部分
先看这个模型的"底子"(见 config.json):
num_experts: 512:每层 MoE 有 512 个专家 FFN;num_experts_per_tok: 10:每个 token 只激活 10 个专家(Top-10 路由);num_hidden_layers: 48、hidden_size: 2560、moe_intermediate_size: 640;- 混合注意力:48 层中每 4 层一组,3 层 linear_attention + 1 层 full_attention,支持 262144 超长上下文,还带 MTP(多 token 预测)与视觉塔(configuration.json 标注任务为
image-text-to-text)。
512 个专家意味着专家权重是显存绝对大头。量化策略也因此是"对症下药"的混合精度(完整配置见 Qwen3.8-Flash-Next_best_practice.yaml):
| 模块 | 权重 | 激活 | 量化方法 |
|---|---|---|---|
MoE 专家(gate_proj / up_proj / down_proj) |
mxfp4 | mxfp8 | flex_awq_ssz(AWQ 类感知量化),per_block 对称 minmax |
注意力投影(q/k/v/o_proj、indexer) |
mxfp8 | mxfp8(W8A8) | linear_quant,per_block 对称 minmax |
共享专家 shared_expert、MTP、PLE 等敏感模块 |
保持 BF16 | — | 显式 exclude,不参与 W4A8 |
💡 一句话总结:显存大头的专家矩阵压到 W4,对精度敏感的注意力和共享专家留到 W8/BF16——这就是"压缩 512 专家而不掉精度"的全部秘密。量化在 Atlas 850E(Ascend 950DT,4 卡 TP4+EP)上用 ModelSlim 26.1.0 完成,校准集为
mix_calib.jsonl。
3️⃣ 精度实测:GPQA Diamond 91.41% vs 官方 91.7%
量化最怕的是"省了显存亏了智商"。本仓库在 README.md 中给出了验证结果:
| 模型 | 量化格式 | 数据集 | 测试精度 | 官方精度 |
|---|---|---|---|---|
| Qwen3.8-Flash-Next-w4a8-mxfp | MXFP W4A8 / W8A8 混合精度 | GPQA Diamond | 91.41%(181/198) | 91.7% |
测试条件:AIS Bench,0-shot CoT,输出上限 65,536 tokens,batch size=32,temperature=1.0、top_p=0.95、top_k=20,MTP 与 async 均关闭。精度损失仅 0.29 个百分点——对 W4 级压缩来说,这基本属于"量化无损"水平。
4️⃣ 仓库结构速览:48 个分片怎么来的
本仓库是量化后权重,共 48 个 safetensors 分片(约 1GB 级分片,由 ascendv1_saver 按 4GB 规格切分):
- quant_model_weights-00001-of-00048.safetensors ~ quant_model_weights-00048-of-00048.safetensors:MXFP 量化后的模型权重本体;
- quant_model_weights.safetensors.index.json:分片索引,vLLM 等推理框架靠它做权重加载映射;
- config.json:模型结构配置(512 专家、混合注意力等参数都在这里);
- tokenizer.json、vocab.json、tokenizer_config.json:分词器资源;
- Qwen3.8-Flash-Next_best_practice.yaml:ModelSlim 量化最佳实践配置,想复现 W4A8 量化就照着它改;
- generation_config.json:推荐的采样参数(temperature=1.0、top_k=20、top_p=0.95);
- LICENSE:Qwen Community License 1.0,可自由使用、部署、商用(超大规模产品需展示模型名称,MaaS 类业务需另行授权)。
下载完整仓库(含全部权重分片):
git clone https://gitcode.com/Eco-Tech/Qwen3.8-Flash-Next-w4a8-mxfp
5️⃣ 适用场景与选型建议
✅ 推荐使用的场景:
- 在 Ascend NPU(如 Atlas 850E / 950DT)上用 vLLM-Ascend 高并发部署 Qwen3.8-Flash-Next;
- 显存紧张、需要更大 batch size 或更长上下文缓存的服务端推理;
- 对精度敏感但无法接受 BF16 显存开销的生产环境(0.29 个百分点的实测差距通常可忽略)。
⚠️ 注意:
- 该权重为 MXFP 硬件格式,面向支持 mxfp4/mxfp8 算子的推理平台(README 中验证平台为
vllm-ascend容器),不要直接塞给仅支持 INT 量化的 CPU/GPU 后端; - 若你只有 CPU 或普通 GPU 环境,建议评估 BF16 原模型或其他 INT4 格式。
写在最后
W4A8 + MXFP4 的价值可以用一句话概括:用硬件友好的块级浮点格式,把 MoE 最重的专家矩阵压到 1/4 显存,同时把敏感模块保护起来。Qwen3.8-Flash-Next-w4a8-mxfp 仓库提供了一个经过 GPQA Diamond 验证(91.41% vs 91.7%)的"开箱即用"实例,配合 Qwen3.8-Flash-Next_best_practice.yaml 中的量化配置,无论是直接部署还是复现同类量化流程,都是很好的起点。