初识Qwen3.8-Flash-Next-E384-FP4-Local:NAS裁出384专家的轻量多模态MoE模型,它凭什么更省显存?
初识Qwen3.8-Flash-Next-E384-FP4-Local:NAS裁出384专家的轻量多模态MoE模型,它凭什么更省显存?
Qwen3.8-Flash-Next-E384-FP4-Local 是一个通过 NAS(神经架构搜索)裁剪专家数量的轻量多模态 MoE 模型:它从每层 512 个路由专家中只保留 384 个,权重从 95.12 GiB 降到 79.78 GiB(约省 16.1%),同时完整保留 top-10 路由、共享专家、注意力、视觉塔与 tokenizer,并自带一套更省显存的 MTP 投机解码方案。
注:本仓库不包含可展示的图片文件,以下用目录结构代替示意。
一、这是什么模型?一分钟看懂
| 关键属性 | 说明 |
|---|---|
| 架构 | qwen4_exp,48 层混合注意力(linear + full attention 交替) |
| 专家规模 | 每层 384 个路由专家(原版为 512),每 token 激活 10 + 共享专家 |
| 多模态 | 支持图片、视频输入(vision_config 深度 27) |
| 量化格式 | NVFP4(experts)+ MXFP8(shared expert)+ BF16 混合精度 |
| 上下文长度 | 最大 262,144 tokens |
模型卡与完整说明见 README.md,核心架构参数定义在 config.json(其中 "num_experts": 384 就是裁剪后的标志)。
二、NAS 架构搜索:512 → 384 专家的"减法"怎么做?🔍
这个 E384 版本的思路非常"物理"——不是重新训练,而是搜索保留:
- 对每层 decoder 的 MoE 与 MTP 层做 NAS 搜索,选出最重要的 384/512 个路由专家;
- 被保留的权重是逐字节复制(packed NVFP4 权重、E4M3 block scales、全局/输入 scales、MXFP8 linears 全部不变);
- 只有 49 个 router 矩阵发生变化:只保留搜索选中的专家对应的行;
- top-10 路由、共享专家、n-gram PLE 表、视觉塔、tokenizer 原封不动。
效果立竿见影:
| 指标 | 原版(512 专家) | E384 | 变化 |
|---|---|---|---|
| 权重体积 | 102.14 GB(95.12 GiB) | 85.66 GB(79.78 GiB) | −15.35 GiB(−16.1%) |
| 每 token 激活专家 | 10 + shared | 10 + shared | 不变 |
推理时每个 token 只走 10 个专家,所以激活计算量完全相同——省下的都是"躺着占显存"的参数。这是它更省显存的核心原因:❗显存占用下降,但推理时延基本不变。
三、性能基准:砍掉 25% 专家,能力掉了多少?📊
测试在单张 B200、vLLM 0.31.0 上进行,两模型同 harness、同采样参数(temperature=1.0, top_p=0.95, top_k=20):
| 能力 | 基准 | 原版 | E384 | Δ | |---|---|---|---| | 推理(科学) | GPQA-Diamond | 85.9 | 77.3 | −8.6 | | 英文知识 | MMLU | 92.0 | 86.9 | −5.1 | | 中文知识 | C-Eval | 93.5 | 89.0 | −4.5 | | 数学 | AIME 2026 | 95.0 | 93.3 | −1.7 | | 视觉 | MMMU | 81.1 | 79.4 | −1.7 | | 代码 | HumanEval | 97.0 | 97.6 | +0.6 | | 工具调用 | BFCL v4 | 88.2 | 88.6 | +0.4 |
结论很清晰:代码、工具调用、数学、视觉能力基本无损,代价落在知识密集型选择题上。如果给 E384 更大的思考预算(259k token),GPQA 差距从 −8.6 收窄到 −5.1——它"想得比原版更长",所以建议给它充足上下文。
四、隐藏彩蛋:mtp_draft/ 更省显存的 MTP 投机解码 🚀
仓库里最亮眼的部分是 mtp_draft/ 目录——一套无损加速的草稿模型方案:
- 64k 草稿词表(mtp_draft/artifacts/draft_vocab_64k.pt):草稿头只保留 64,064 行,覆盖该模型 97–99.8% 的生成 token;
- 草稿 lm_head 重量化:BF16 → NVFP4 W4A16(Marlin),从 1,271 MB 压到 92 MB;
- MTP 层 BF16 线性层 → NVFP4:
fc_embedding、fc_hidden、qkv_proj/o_proj及共享专家。
每一步草稿的字节读取量从 约 1.48 GB 降到约 0.20 GB(7 倍),且对目标模型零改动——temperature 0 下输出与原生 MTP 逐 token 完全一致(24/24)。
B200 实测(单流,24 prompts × 1,024 tokens):
| 配置 | k | tok/s | 加速比 |
|---|---|---|---|
| 无 MTP | 0 | 92.6 | 1.00× |
| 原生 MTP | 7 | 300.1 | 3.24× |
| 本方案 | 7 | 308.9 | 3.34× |
k=7 比原生 MTP 还快约 3%;对 DGX Spark 这类带宽受限机器,收益预计更大(草稿步只读目标步约 3% 的字节数)。
五、vllm serve 部署三步走(最快配置方法)⚙️
pip install -e mtp_draft/plugin
export Q38_DRAFT_HOME=$PWD/mtp_draft Q38_DRAFT_VOCAB=$PWD/mtp_draft/artifacts/draft_vocab_64k.pt \
Q38_DRAFT_HEAD_Q=marlin Q38_DRAFT_MTP_Q=marlin
vllm serve <模型目录> \
--speculative-config '{"method":"mtp","num_speculative_tokens":7,"use_local_argmax_reduction":true}' \
--block-size 48
几点实用提醒:
- 未设置
Q38_DRAFT_VOCAB时插件自动失效,不影响普通服务; use_local_argmax_reduction需要贪心草稿,勿与draft_sample_method=probabilistic混用;--block-size须能被 QSA ring capacity 整除,48 对所有 k ≤ 12 通用;- 该补丁已验证于 vLLM 0.31.0(B200),k 的选择:单流 temperature 0 选 k=7,采样/高并发选 k=2–4。
六、仓库文件速查 📁
| 路径 | 说明 |
|---|---|
| config.json | 模型配置:num_experts=384、混合注意力、NVFP4 量化布局 |
| generation_config.json | 默认采样参数(temp 1.0 / top_p 0.95 / top_k 20) |
| model.safetensors.index.json | 权重索引(21 分片) |
| tensors/ | 全部模型权重分片 |
| mtp_draft/q38_draft.py | 便宜草稿模型安装逻辑(vLLM 0.31) |
| mtp_draft/nvfp4_ops.py | NVFP4 线性层(Marlin/CUTLASS 两种 GEMM) |
| mtp_draft/plugin/q38_mtp_draft.py | vLLM 插件入口,vllm.general_plugins 注册 |
如需本地克隆:git clone https://gitcode.com/hf_mirrors/autotrust/Qwen3.8-Flash-Next-E384-FP4-Local
七、局限性 & 选型建议 ⚖️
- 知识型选择题(GPQA/MMLU/C-Eval)下降 4.5–8.6 分——此类负载建议直接用 512 专家原版;
- 与基座模型一样,可能产生不准确或不当内容,上线前请按场景自行评测;
- 许可证为 NVIDIA Open Model Agreement(继承自基座,基座为 Qwen Community License);
- 这是一个非官方衍生版,非 Alibaba 或 NVIDIA 出品或背书。
一句话总结:如果你要的是代码、Agent 工具调用、数学与视觉场景下的低显存 MoE 推理,E384 用 16% 的显存换来了几乎无损的主力能力,再叠加 mtp_draft/ 的无损 MTP 方案,单卡 B200 上稳定 300+ tok/s——这就是它"更省显存"的全部底气。