4位压缩背后的秘密:DeepSeek-V4.1-Flash-Quark-MXFP4中OCP MXFP4与AMD Quark量化原理解析
4位压缩背后的秘密:DeepSeek-V4.1-Flash-Quark-MXFP4中OCP MXFP4与AMD Quark量化原理解析
DeepSeek-V4.1-Flash-Quark-MXFP4 是 AMD 基于 AMD Quark 量化工具,对多模态大模型 DeepSeek-V4.1-Flash 做 4 位压缩的产物:它的 MoE 专家层被压成 OCP MXFP4 格式,注意力层压成 OCP MXFP8,在 AMD MI355 显卡上跑得又快又准。这篇文章带你彻底看懂 MXFP4 量化原理、量化策略,以及推理内核如何把 4 位权重算出高质量结果。
🧩 先看全局:这是一个什么模型
这个仓库本质上是一份"压缩版权重 + 推理参考代码",几个关键事实:
- 基座模型:DeepSeek-V4.1-Flash,支持文本和图片输入,输出文本
- 架构:
DeepseekV41ForCausalLM,40 层 Transformer,每层配备 384 个路由专家 + 1 个共享专家,每个 token 只激活 6 个专家(MoE 架构) - 总权重:约 474 GiB(48 个 safetensors 分片),压缩后仍是一个"大模型"
- 目标硬件:AMD MI355 / MI350(gfx950),ROCm 7.2.0 + PyTorch 2.12.0,生产部署走 vLLM
为什么偏偏压缩专家层?因为 MoE 模型中,384 个专家的路由权重占参数量大头,把这里从 16 位压到 4 位,体积和显存带宽收益最大;而注意力、词表这些对精度敏感的模块可以"少压或不压"。这就是后文"分精度策略"的思想。
🔬 OCP MXFP4 量化原理:每 32 个数共享一个"刻度"
FP4 是什么:只有 16 个值的"超迷你浮点"
MXFP4 中的 "4" 指 FP4(e2m1) 元素格式:1 位符号 + 2 位指数 + 1 位尾数,一共只能表示 16 个值:
| 值 | 0 | ±0.5 | ±1.0 | ±1.5 | ±2.0 | ±3.0 | ±4.0 | ±6.0 |
|---|
单个字节可以打包 2 个 FP4 数,这就是 4 位压缩的来源。代码里这张查找表直接写在 inference/convert.py 中,一目了然。
MX = Microscaling:块共享的 2 的幂缩放因子
FP4 本身动态范围只有 6.0,直接压网络必然"面目全非"。OCP(Open Compute Project)提出的 MX 微缩放格式 的解法是:
- 把张量沿最后一维切成 32 个元素一块;
- 每块计算一个共享缩放因子(scale),且这个 scale 是 E8M0 格式——只有 8 位指数、没有尾数,即只能是 2 的整数次幂;
- 块内每个元素 = 原始值 ÷ scale,再舍入到最近的 FP4 值。
这个设计的妙处在于:2 的幂缩放可以在硬件上用移位完成,无需真正的除法/乘法,MI355 这类 GPU 可以零成本硬件加速;同时 OCP 是开放标准,跨厂商可移植。
从 config.json 的 quantization_config 能看到落地细节:group_size: 32、scale_format: e8m0、round_method: half_even(银行家舍入)、观察器为 PerBlockMXObserver。
压缩率算笔账:32 个 FP4 占 16 字节 + 1 字节 scale = 17 字节,同样 32 个 bf16 要 64 字节,约 3.8 倍瘦身。
🎯 量化策略:谁被压成 4 位,谁被保留
AMD Quark(v0.13.0)采用**训练后直接量化(PTQ)**路线:不重训,直接对原始 checkpoint 逐层量化。策略是"分精度、分模块":
| 模块 | 精度 | 原因 |
|---|---|---|
experts / shared_experts(MoE 专家) |
MXFP4(权重 + 激活) | 参数占大头,4 位收益最大 |
self_attn(语言模型注意力) |
MXFP8(权重 + 激活) | 对精度更敏感,保 8 位 |
| 视觉塔、路由门(gate)、词表 embed、输出 head、engram、MTP | 原始 bf16 | 输入/输出端,压缩损失风险高 |
排除清单完整列在 config.json 的 exclude 字段里。值得注意的是激活也是量化对象:权重是静态量化(离线算好),而激活是动态量化(is_dynamic: true),在推理时按块现算 scale——这保证了不同输入下都有合理的数值范围。
量化入口脚本在 README.md:一行 template.get_config(scheme="mxfp4") 取出模板配置,再 direct_quantize_checkpoint 一步落盘,整个流程不需要任何训练数据参与。
⚙️ 推理时发生了什么:FP4 权重 × FP8 激活的混合精度 GEMM
这是最容易让人困惑的一点:FP4 没有原生矩阵乘单元,那 4 位权重怎么参与运算?
答案在 inference/kernel.py 的 fp4_gemm 内核里,推理侧的 inference/model.py 会根据权重类型自动分发:
- 激活动态量化成 FP8:进入 GEMM 前,先把 bf16 激活按 32(或 128)元素一块量化为 FP8(e4m3),见 inference/kernel.py 的
fp4_quant_kernel,scale 用 IEEE 754 位操作直接取 2 的幂(fast_round_scale),快且省; - FP4 权重上转为 FP8:内核中每块 32 个 FP4 权重经 FP32 中转无损放大成 FP8(
6.0 × 2^6 = 384 < 448,正好塞进 FP8 上限,这个边界推演写在 inference/convert.py 的注释里); - FP8 × FP8 矩阵乘:真正调用的是硬件 FP8 GEMM 路径,FP4 被"透明地"跑在 FP8 单元上;
- scale 在 FP32 累加器上校正:每完成一个 32 宽的小块,用该块的激活 scale 和权重 scale 乘回累加器,最后输出 bf16。
一句话总结:存 4 位、算 8 位、校 32 位——存储带宽拿到 4 位的收益,数值稳定性由块级 scale 兜底。
📊 压到 4 位,精度掉了吗?——基准测试数据
AMD 在 vLLM 框架下用同一台机器、同一套参数对比了原始模型与量化模型:
| 基准 | DeepSeek-V4.1-Flash | MXFP4 量化版 | 精度回收率 |
|---|---|---|---|
| GSM8K(8-shot 数学推理) | 92.87 | 92.34 | 99.4% |
| GPQA Diamond(0-shot 科学问答) | 89.39 | 90.40 | 101.1% |
解读要点:GSM8K 只掉了 0.5 个百分点;GPQA 的"反超"其实落在 ±2.33% 的 95% 置信区间内,官方也特别说明应视为两者等价而非量化变强——这正是量化工作的理想结果:几乎无损。完整的评测复现命令(vLLM 服务启动 + lm-eval / sgl-eval)都附在 README.md。
🚀 如何部署运行
生产部署推荐使用 vLLM 的 ROCm Docker 镜像 vllm/vllm-openai-rocm:deepseekv41-flash-0909,典型启动参数(来自 README.md):
--tensor-parallel-size 4(4 卡张量并行)--tokenizer-mode deepseek_v41(该模型需要专门的 tokenizer 模式)--max-model-len 73728、--enforce-eager- 环境变量
VLLM_ROCM_USE_AITER=1等用于启用 ROCm 的加速内核
仓库还自带一套可读性优先的参考推理实现(非生产引擎),覆盖视觉编码器、稀疏注意力、engram n-gram 查找、MoE 与 DSpark 前向,运行方式见 inference/README.md:
- 先用 inference/convert.py 把 HF 权重按张量并行切分(
--expert-dtype fp4); - 再
torchrun generate.py --interactive进入交互聊天; - 示例输入 inference/examples/example.txt 包含中文问答与图文理解任务。
小结
DeepSeek-V4.1-Flash-Quark-MXFP4 展示了 4 位量化在 MoE 多模态大模型上的完整工程闭环:
- 选对地方压:4 位只给占参数大头的 MoE 专家,注意力留 8 位,首尾模块保留 bf16;
- 选对格式压:OCP MXFP4 的"32 元素共享 E8M0 二幂 scale"让 GPU 用移位即可完成缩放,标准开放、硬件友好;
- 选对方式算:激活动态量化 + FP4 上转 FP8 的混合精度 GEMM,精度回收率 99.4% 起步。
如果你在 AMD MI 系列显卡上寻找"体积减半还几乎无损"的大模型部署方案,MXFP4 + Quark 这条路线值得作为首选参考。