DeepSWE 61.5%:MiniMax-M3.1-Flash-MXFP4-QADv1凭什么超过纯MXFP4和NVFP4,数据背后的门道

原创2026-11-11 20:26:121,419 阅读
文章标签:大模型人工智能模型量化模型压缩模型蒸馏多模态

DeepSWE 61.5%:MiniMax-M3.1-Flash-MXFP4-QADv1凭什么超过纯MXFP4和NVFP4,数据背后的门道

MiniMax-M3.1-Flash-MXFP4-QADv1 是 AMD 面向 Instinct MI350/MI355 发布的量化模型权重,它是纯 MXFP4 版本 amd/MiniMax-M3.1-Flash-Quark-MXFP4 的"drop-in 替代品":同样的文件布局、同样的张量名称,只有权重的数值不同。官方评测显示,它在 DeepSWE 基准上拿到 61.5% 的成绩,超过了纯 MXFP4 的 58.4%,也与 NVFP4 的 60.2% 打平甚至略高。这个量化模型究竟是怎么做到的?这篇文章带你拆解数据背后的门道。

一张表看懂:DeepSWE 成绩是怎么比出来的

先看官方给出的评测数据(来自 README.md 的 Evaluation 一节):

Benchmark Plain MXFP4 NVFP4 QADv1(本模型) QADv1 vs 纯 MXFP4(95% CI)
DeepSWE 全基准(113 题 × 2 次运行) 58.4% 60.2% 61.5% +3.1 [−4.0, +10.2]

几个容易被忽略的细节:

  • 📌 DeepSWE 是一个软件工程能力基准,共 113 个任务,每个任务跑了 2 次,考察的是模型"智能写代码/改代码"的 agentic 能力;
  • 📌 所有模型都在 同一套 vLLM ROCm A4W4 推理配置下评测,保证对比公平;
  • 📌 NVFP4 是在 MI350 上以仿真(emulation)方式跑的,不是原生硬件路径,而 MXFP4 与 QADv1 是 AMD 的原生路线。

模型本体:MXFP4 量化了什么、没量化什么

这个模型基于 MiniMax-M3.1-Flash 多模态架构(MiniMaxM3SparseForConditionalGeneration,支持文本/图像/视频输入),核心结构参数可以在 config.json 中查到:

  • 60 层 Transformer,每层 MoE 有 128 个路由专家,每 token 激活 4 个,外加 1 个共享专家;
  • 最大位置编码 1,048,576,即 1M token 上下文;
  • 量化方法为 AMD-Quark(quant_method: quark)。

量化策略上,它采用了"分而治之"的思路:

部分 量化方案
路由专家权重 纯 MXFP4(OCP MX 格式,E2M1 数值 + E8M0 block-32 缩放,静态)
路由专家激活 MXFP4,动态
注意力、投影等其他层 FP8 等较高精度,权重数值经过 QAD 微调
lm_head、视觉塔等 完全排除量化(见 config.json 的 exclude 列表)

也就是说:模型里参数最大、对推理成本影响最大的 MoE 专家部分被压到了 4bit,而对精度敏感的小头部分保留更高精度——这也是"Flash"级别部署能在 MI350 上跑起来的关键。

QAD:超过两个对手的真正原因

光把权重量化成 MXFP4 会不可避免地丢失信息。本模型用三步把损失补了回来:

第一步:GPTQ 取整(GPTQ rounding)

对路由专家的 FP4 码字做 GPTQ 式取整,让量化误差在逐层意义下最小化,而不是简单"四舍五入"。专家权重从此被冻结在 GPTQ MXFP4 网格上。

第二步:量化感知蒸馏(QAD, Quantization-Aware Distillation)

这是 "QADv1" 名字里 QAD 的含义:以官方 MiniMax 的 NVFP4 版本作为教师,用 on-policy 蒸馏的方式,把非专家层的权重数值"教"回接近高精度的行为,蒸馏数据中还专门包含了 agentic coding 轨迹——恰好就是 DeepSWE 这类基准考的能力。

第三步:格式与纯 MXFP4 完全一致

蒸馏只改变数值,不改变格式、张量名、分片布局,因此推理侧(vLLM + ROCm)无需任何改动,直接替换模型路径即可。

为什么它能同时压过两个参照系?

  • vs 纯 MXFP4:纯 MXFP4 是"硬量化",误差无处可补;QADv1 在非专家层用蒸馏把精度找回来了,于是领先 3.1 个百分点;
  • vs NVFP4:NVFP4 虽然精度参考不错,但在 MI350 上需要仿真运行;QADv1 用原生 MXFP4 格式获得了 AMD 硬件的原生执行效率,同时借蒸馏"蹭"到了 NVFP4 的精度,最终 61.5% ≥ 60.2%。

一句话总结:用 MXFP4 的格式 + NVFP4 的精度,吃下两份红利。

附带的加速:dspark 推测解码

模型目录里还带了一个 dspark/ 目录(见 dspark/config.json),这是一个 DSpark 草稿模型(DSparkMiniMaxDraftModel,仅 5 层、block_size 7、Markov rank 256),配合 vLLM 的 speculative-config 做推测解码,可以显著提升 token 生成速度。推理时通过 --speculative-config 指定 "method":"dspark" 与 num_speculative_tokens 即可启用,权重文件约 2.3 GB,与主模型(约 237 GB,见 model.safetensors.index.json 的 total_size 元数据)相比开销很小。

快速上手:vLLM 部署与完整性校验

部署方式和 README.md 中给出的命令一致,核心是 vLLM + VLLM_ROCM_USE_AITER=1,四卡张量并行(--tensor-parallel-size 4),并配置 dspark 推测解码。官方示例如下:

VLLM_ROCM_USE_AITER=1 \
vllm serve /path/to/MiniMax-M3.1-Flash-MXFP4-QADv1 \
    --tensor-parallel-size 4 \
    --reasoning-parser minimax_m3 \
    --block-size 128 \
    --speculative-config '{"method":"dspark","model":"/path/to/.../dspark","num_speculative_tokens":7,"attention_backend":"FLASHINFER_TS","kv_cache_dtype":"fp8","draft_sample_method":"probabilistic","rejection_sample_method":"block"}' \
    --disable-hybrid-kv-cache-manager

下载后可以校验文件完整性:仓库附带 SHA256SUMS,执行 sha256sum -c SHA256SUMS 即可逐个验证 69 个文件。其他关键文件包括分片索引 model.safetensors.index.json、采样参数 generation_config.json(temperature 1.0 / top_p 0.95)、视觉处理器 image_processor.py 与 video_processor.py。

冷静看待数据:95% 置信区间的门道

标题里的"超过"需要加一个诚实的脚注:官方 Notes 明确写道——点估计高于纯 MXFP4 和 NVFP4,但在 113 题 × 2 次运行的规模下,提升不具有统计显著性(95% CI 为 [−4.0, +10.2],区间跨越 0)。

所以正确的解读姿势是:

  1. ✅ 架构与部署价值确定:原生 MXFP4 格式在 AMD MI350/MI355 上是真正落地可用的,替代关系无争议;
  2. ⚖️ 精度价值"方向明确、幅度存疑":蒸馏确实有效,但到底领先多少,需要更大规模的评测来收窄置信区间;
  3. 🔍 这也提醒我们:小样本基准的分位数差(比如 61.5% vs 58.4%)很容易被 1~2 道题的波动改变,看 benchmark 时先看 CI,再看点估计。

小结

MiniMax-M3.1-Flash-MXFP4-QADv1 展示的是一种值得借鉴的量化工程范式:

  • 格式上:MoE 专家纯 MXFP4(E2M1 + E8M0),敏感层保精度,与 AMD 硬件原生对齐;
  • 数值上:GPTQ 取整 + 以 NVFP4 为教师的 QAD 蒸馏,把量化损失补回来;
  • 效果上:DeepSWE 61.5%,点估计超过纯 MXFP4 与 NVFP4,但需结合 95% CI 审慎看待;
  • 交付上:与原版 MXFP4 权重完全兼容的文件布局 + 自带 dspark 推测解码模型,开箱即用。

如果你正在 MI350/MI355 上部署 MiniMax-M3.1-Flash 系列模型,这个权重是当前性价比很高的选择——它把"4bit 的显存成本"和"接近 NVFP4 的能力"塞进了同一个 checkpoint 里。

登录后查看全文
MiniMax-M3.1-Flash-MXFP4-QADv1