初识Qwen3.8-Flash-Next-E384-FP4-Local:NAS裁出384专家的轻量多模态MoE模型,它凭什么更省显存?

原创2026-11-11 19:08:562,194 阅读
文章标签:大模型基础模型多模态模型量化模型压缩人工智能

初识Qwen3.8-Flash-Next-E384-FP4-Local:NAS裁出384专家的轻量多模态MoE模型,它凭什么更省显存?

Qwen3.8-Flash-Next-E384-FP4-Local 是一个通过 NAS(神经架构搜索)裁剪专家数量的轻量多模态 MoE 模型:它从每层 512 个路由专家中只保留 384 个,权重从 95.12 GiB 降到 79.78 GiB(约省 16.1%),同时完整保留 top-10 路由、共享专家、注意力、视觉塔与 tokenizer,并自带一套更省显存的 MTP 投机解码方案。

Qwen3.8-Flash-Next-E384-FP4-Local 模型权重文件列表

注:本仓库不包含可展示的图片文件,以下用目录结构代替示意。

一、这是什么模型?一分钟看懂

关键属性 说明
架构 qwen4_exp,48 层混合注意力(linear + full attention 交替)
专家规模 每层 384 个路由专家(原版为 512),每 token 激活 10 + 共享专家
多模态 支持图片、视频输入(vision_config 深度 27)
量化格式 NVFP4(experts)+ MXFP8(shared expert)+ BF16 混合精度
上下文长度 最大 262,144 tokens

模型卡与完整说明见 README.md,核心架构参数定义在 config.json(其中 "num_experts": 384 就是裁剪后的标志)。

二、NAS 架构搜索:512 → 384 专家的"减法"怎么做?🔍

这个 E384 版本的思路非常"物理"——不是重新训练,而是搜索保留:

  • 对每层 decoder 的 MoE 与 MTP 层做 NAS 搜索,选出最重要的 384/512 个路由专家;
  • 被保留的权重是逐字节复制(packed NVFP4 权重、E4M3 block scales、全局/输入 scales、MXFP8 linears 全部不变);
  • 只有 49 个 router 矩阵发生变化:只保留搜索选中的专家对应的行;
  • top-10 路由、共享专家、n-gram PLE 表、视觉塔、tokenizer 原封不动。

效果立竿见影:

指标 原版(512 专家) E384 变化
权重体积 102.14 GB(95.12 GiB) 85.66 GB(79.78 GiB) −15.35 GiB(−16.1%)
每 token 激活专家 10 + shared 10 + shared 不变

推理时每个 token 只走 10 个专家,所以激活计算量完全相同——省下的都是"躺着占显存"的参数。这是它更省显存的核心原因:❗显存占用下降,但推理时延基本不变。

三、性能基准:砍掉 25% 专家,能力掉了多少?📊

测试在单张 B200、vLLM 0.31.0 上进行,两模型同 harness、同采样参数(temperature=1.0, top_p=0.95, top_k=20):

| 能力 | 基准 | 原版 | E384 | Δ | |---|---|---|---| | 推理(科学) | GPQA-Diamond | 85.9 | 77.3 | −8.6 | | 英文知识 | MMLU | 92.0 | 86.9 | −5.1 | | 中文知识 | C-Eval | 93.5 | 89.0 | −4.5 | | 数学 | AIME 2026 | 95.0 | 93.3 | −1.7 | | 视觉 | MMMU | 81.1 | 79.4 | −1.7 | | 代码 | HumanEval | 97.0 | 97.6 | +0.6 | | 工具调用 | BFCL v4 | 88.2 | 88.6 | +0.4 |

结论很清晰:代码、工具调用、数学、视觉能力基本无损,代价落在知识密集型选择题上。如果给 E384 更大的思考预算(259k token),GPQA 差距从 −8.6 收窄到 −5.1——它"想得比原版更长",所以建议给它充足上下文。

四、隐藏彩蛋:mtp_draft/ 更省显存的 MTP 投机解码 🚀

仓库里最亮眼的部分是 mtp_draft/ 目录——一套无损加速的草稿模型方案:

  1. 64k 草稿词表(mtp_draft/artifacts/draft_vocab_64k.pt):草稿头只保留 64,064 行,覆盖该模型 97–99.8% 的生成 token;
  2. 草稿 lm_head 重量化:BF16 → NVFP4 W4A16(Marlin),从 1,271 MB 压到 92 MB;
  3. MTP 层 BF16 线性层 → NVFP4:fc_embedding、fc_hidden、qkv_proj/o_proj 及共享专家。

每一步草稿的字节读取量从 约 1.48 GB 降到约 0.20 GB(7 倍),且对目标模型零改动——temperature 0 下输出与原生 MTP 逐 token 完全一致(24/24)。

B200 实测(单流,24 prompts × 1,024 tokens):

配置 k tok/s 加速比
无 MTP 0 92.6 1.00×
原生 MTP 7 300.1 3.24×
本方案 7 308.9 3.34×

k=7 比原生 MTP 还快约 3%;对 DGX Spark 这类带宽受限机器,收益预计更大(草稿步只读目标步约 3% 的字节数)。

五、vllm serve 部署三步走(最快配置方法)⚙️

pip install -e mtp_draft/plugin
export Q38_DRAFT_HOME=$PWD/mtp_draft Q38_DRAFT_VOCAB=$PWD/mtp_draft/artifacts/draft_vocab_64k.pt \
       Q38_DRAFT_HEAD_Q=marlin Q38_DRAFT_MTP_Q=marlin
vllm serve <模型目录> \
  --speculative-config '{"method":"mtp","num_speculative_tokens":7,"use_local_argmax_reduction":true}' \
  --block-size 48

几点实用提醒:

  • 未设置 Q38_DRAFT_VOCAB 时插件自动失效,不影响普通服务;
  • use_local_argmax_reduction 需要贪心草稿,勿与 draft_sample_method=probabilistic 混用;
  • --block-size 须能被 QSA ring capacity 整除,48 对所有 k ≤ 12 通用;
  • 该补丁已验证于 vLLM 0.31.0(B200),k 的选择:单流 temperature 0 选 k=7,采样/高并发选 k=2–4。

六、仓库文件速查 📁

路径 说明
config.json 模型配置:num_experts=384、混合注意力、NVFP4 量化布局
generation_config.json 默认采样参数(temp 1.0 / top_p 0.95 / top_k 20)
model.safetensors.index.json 权重索引(21 分片)
tensors/ 全部模型权重分片
mtp_draft/q38_draft.py 便宜草稿模型安装逻辑(vLLM 0.31)
mtp_draft/nvfp4_ops.py NVFP4 线性层(Marlin/CUTLASS 两种 GEMM)
mtp_draft/plugin/q38_mtp_draft.py vLLM 插件入口,vllm.general_plugins 注册

如需本地克隆:git clone https://gitcode.com/hf_mirrors/autotrust/Qwen3.8-Flash-Next-E384-FP4-Local

七、局限性 & 选型建议 ⚖️

  • 知识型选择题(GPQA/MMLU/C-Eval)下降 4.5–8.6 分——此类负载建议直接用 512 专家原版;
  • 与基座模型一样,可能产生不准确或不当内容,上线前请按场景自行评测;
  • 许可证为 NVIDIA Open Model Agreement(继承自基座,基座为 Qwen Community License);
  • 这是一个非官方衍生版,非 Alibaba 或 NVIDIA 出品或背书。

一句话总结:如果你要的是代码、Agent 工具调用、数学与视觉场景下的低显存 MoE 推理,E384 用 16% 的显存换来了几乎无损的主力能力,再叠加 mtp_draft/ 的无损 MTP 方案,单卡 B200 上稳定 300+ tok/s——这就是它"更省显存"的全部底气。

登录后查看全文
Qwen3.8-Flash-Next-E384-FP4-Local