DeepSWE 61.5%:MiniMax-M3.1-Flash-MXFP4-QADv1凭什么超过纯MXFP4和NVFP4,数据背后的门道
DeepSWE 61.5%:MiniMax-M3.1-Flash-MXFP4-QADv1凭什么超过纯MXFP4和NVFP4,数据背后的门道
MiniMax-M3.1-Flash-MXFP4-QADv1 是 AMD 面向 Instinct MI350/MI355 发布的量化模型权重,它是纯 MXFP4 版本 amd/MiniMax-M3.1-Flash-Quark-MXFP4 的"drop-in 替代品":同样的文件布局、同样的张量名称,只有权重的数值不同。官方评测显示,它在 DeepSWE 基准上拿到 61.5% 的成绩,超过了纯 MXFP4 的 58.4%,也与 NVFP4 的 60.2% 打平甚至略高。这个量化模型究竟是怎么做到的?这篇文章带你拆解数据背后的门道。
一张表看懂:DeepSWE 成绩是怎么比出来的
先看官方给出的评测数据(来自 README.md 的 Evaluation 一节):
| Benchmark | Plain MXFP4 | NVFP4 | QADv1(本模型) | QADv1 vs 纯 MXFP4(95% CI) |
|---|---|---|---|---|
| DeepSWE 全基准(113 题 × 2 次运行) | 58.4% | 60.2% | 61.5% | +3.1 [−4.0, +10.2] |
几个容易被忽略的细节:
- 📌 DeepSWE 是一个软件工程能力基准,共 113 个任务,每个任务跑了 2 次,考察的是模型"智能写代码/改代码"的 agentic 能力;
- 📌 所有模型都在 同一套 vLLM ROCm A4W4 推理配置下评测,保证对比公平;
- 📌 NVFP4 是在 MI350 上以仿真(emulation)方式跑的,不是原生硬件路径,而 MXFP4 与 QADv1 是 AMD 的原生路线。
模型本体:MXFP4 量化了什么、没量化什么
这个模型基于 MiniMax-M3.1-Flash 多模态架构(MiniMaxM3SparseForConditionalGeneration,支持文本/图像/视频输入),核心结构参数可以在 config.json 中查到:
- 60 层 Transformer,每层 MoE 有 128 个路由专家,每 token 激活 4 个,外加 1 个共享专家;
- 最大位置编码 1,048,576,即 1M token 上下文;
- 量化方法为 AMD-Quark(
quant_method: quark)。
量化策略上,它采用了"分而治之"的思路:
| 部分 | 量化方案 |
|---|---|
| 路由专家权重 | 纯 MXFP4(OCP MX 格式,E2M1 数值 + E8M0 block-32 缩放,静态) |
| 路由专家激活 | MXFP4,动态 |
| 注意力、投影等其他层 | FP8 等较高精度,权重数值经过 QAD 微调 |
| lm_head、视觉塔等 | 完全排除量化(见 config.json 的 exclude 列表) |
也就是说:模型里参数最大、对推理成本影响最大的 MoE 专家部分被压到了 4bit,而对精度敏感的小头部分保留更高精度——这也是"Flash"级别部署能在 MI350 上跑起来的关键。
QAD:超过两个对手的真正原因
光把权重量化成 MXFP4 会不可避免地丢失信息。本模型用三步把损失补了回来:
第一步:GPTQ 取整(GPTQ rounding)
对路由专家的 FP4 码字做 GPTQ 式取整,让量化误差在逐层意义下最小化,而不是简单"四舍五入"。专家权重从此被冻结在 GPTQ MXFP4 网格上。
第二步:量化感知蒸馏(QAD, Quantization-Aware Distillation)
这是 "QADv1" 名字里 QAD 的含义:以官方 MiniMax 的 NVFP4 版本作为教师,用 on-policy 蒸馏的方式,把非专家层的权重数值"教"回接近高精度的行为,蒸馏数据中还专门包含了 agentic coding 轨迹——恰好就是 DeepSWE 这类基准考的能力。
第三步:格式与纯 MXFP4 完全一致
蒸馏只改变数值,不改变格式、张量名、分片布局,因此推理侧(vLLM + ROCm)无需任何改动,直接替换模型路径即可。
为什么它能同时压过两个参照系?
- vs 纯 MXFP4:纯 MXFP4 是"硬量化",误差无处可补;QADv1 在非专家层用蒸馏把精度找回来了,于是领先 3.1 个百分点;
- vs NVFP4:NVFP4 虽然精度参考不错,但在 MI350 上需要仿真运行;QADv1 用原生 MXFP4 格式获得了 AMD 硬件的原生执行效率,同时借蒸馏"蹭"到了 NVFP4 的精度,最终 61.5% ≥ 60.2%。
一句话总结:用 MXFP4 的格式 + NVFP4 的精度,吃下两份红利。
附带的加速:dspark 推测解码
模型目录里还带了一个 dspark/ 目录(见 dspark/config.json),这是一个 DSpark 草稿模型(DSparkMiniMaxDraftModel,仅 5 层、block_size 7、Markov rank 256),配合 vLLM 的 speculative-config 做推测解码,可以显著提升 token 生成速度。推理时通过 --speculative-config 指定 "method":"dspark" 与 num_speculative_tokens 即可启用,权重文件约 2.3 GB,与主模型(约 237 GB,见 model.safetensors.index.json 的 total_size 元数据)相比开销很小。
快速上手:vLLM 部署与完整性校验
部署方式和 README.md 中给出的命令一致,核心是 vLLM + VLLM_ROCM_USE_AITER=1,四卡张量并行(--tensor-parallel-size 4),并配置 dspark 推测解码。官方示例如下:
VLLM_ROCM_USE_AITER=1 \
vllm serve /path/to/MiniMax-M3.1-Flash-MXFP4-QADv1 \
--tensor-parallel-size 4 \
--reasoning-parser minimax_m3 \
--block-size 128 \
--speculative-config '{"method":"dspark","model":"/path/to/.../dspark","num_speculative_tokens":7,"attention_backend":"FLASHINFER_TS","kv_cache_dtype":"fp8","draft_sample_method":"probabilistic","rejection_sample_method":"block"}' \
--disable-hybrid-kv-cache-manager
下载后可以校验文件完整性:仓库附带 SHA256SUMS,执行 sha256sum -c SHA256SUMS 即可逐个验证 69 个文件。其他关键文件包括分片索引 model.safetensors.index.json、采样参数 generation_config.json(temperature 1.0 / top_p 0.95)、视觉处理器 image_processor.py 与 video_processor.py。
冷静看待数据:95% 置信区间的门道
标题里的"超过"需要加一个诚实的脚注:官方 Notes 明确写道——点估计高于纯 MXFP4 和 NVFP4,但在 113 题 × 2 次运行的规模下,提升不具有统计显著性(95% CI 为 [−4.0, +10.2],区间跨越 0)。
所以正确的解读姿势是:
- ✅ 架构与部署价值确定:原生 MXFP4 格式在 AMD MI350/MI355 上是真正落地可用的,替代关系无争议;
- ⚖️ 精度价值"方向明确、幅度存疑":蒸馏确实有效,但到底领先多少,需要更大规模的评测来收窄置信区间;
- 🔍 这也提醒我们:小样本基准的分位数差(比如 61.5% vs 58.4%)很容易被 1~2 道题的波动改变,看 benchmark 时先看 CI,再看点估计。
小结
MiniMax-M3.1-Flash-MXFP4-QADv1 展示的是一种值得借鉴的量化工程范式:
- 格式上:MoE 专家纯 MXFP4(E2M1 + E8M0),敏感层保精度,与 AMD 硬件原生对齐;
- 数值上:GPTQ 取整 + 以 NVFP4 为教师的 QAD 蒸馏,把量化损失补回来;
- 效果上:DeepSWE 61.5%,点估计超过纯 MXFP4 与 NVFP4,但需结合 95% CI 审慎看待;
- 交付上:与原版 MXFP4 权重完全兼容的文件布局 + 自带 dspark 推测解码模型,开箱即用。
如果你正在 MI350/MI355 上部署 MiniMax-M3.1-Flash 系列模型,这个权重是当前性价比很高的选择——它把"4bit 的显存成本"和"接近 NVFP4 的能力"塞进了同一个 checkpoint 里。