Qwen3.8-2.4T-A95B-NVFP4正式发布:NVFP4量化2.4T参数MoE巨模型的完整概览

原创2026-10-20 23:50:222,271 阅读

Qwen3.8-2.4T-A95B-NVFP4正式发布:NVFP4量化2.4T参数MoE巨模型的完整概览

Qwen3.8-2.4T-A95B-NVFP4 是由 RadixArk 使用 NVIDIA Model Optimizer 对 Qwen3.8-2.4T-A95B 进行 NVFP4 量化后发布的 MoE 大语言模型权重仓库。它拥有 2.4T 总参数、95B 激活参数,仅在路由专家(Routed Experts)上做了 4-bit 量化,其余部分保持 BF16 原始精度,可配合 SGLang 在 8×B300 单机上直接部署。对于想低成本运行超大 MoE 模型的新手来说,这是一份"开箱即用"的预量化检查点 🎁。

一、1 分钟了解它:这是什么模型?

简单说,这个仓库不是新训练的模型,而是一个精心量化的"压缩版"官方模型:

  • 基座模型:Qwen/Qwen3.8-2.4T-A95B(因果语言模型,MoE 架构)
  • 量化方:RadixArk,使用 NVIDIA Model Optimizer 的 experts-only NVFP4 配方
  • 参数规模:2.4T 总参数,每个 token 只激活 95B 参数
  • 推理引擎:SGLang;硬件:NVIDIA Blackwell(B300 SXM6 上验证)
  • 上下文长度:原生支持 262,144 tokens
  • 发布时间:2026 年 8 月 7 日

完整说明见仓库根目录的 README.md。

二、NVFP4 量化是什么?它到底量化了哪些部分?

对新手最关心的问题是:量化会不会让模型"变笨"? 这个项目的答案是——只压最占空间的部分,保住关键精度。

什么是 NVFP4?

NVFP4 是面向 Blackwell GPU 的 4-bit 浮点量化方案:

配置项 取值 含义
权重精度 NVFP4 E2M1(4-bit) 专家权重压缩到原来的约 1/4
激活精度 动态 NVFP4 E2M1 激活值运行时动态量化
Group Size 16 每 16 个元素共享一个缩放因子
块缩放因子 FP8 E4M3 保证量化后的数值还原精度

哪些部分被量化、哪些没动?

根据 CONVERSION.md 中的张量契约(Tensor Contract),这是一个非常克制的策略:

组件 精度
model.layers.*.mlp.experts.*(路由专家) NVFP4 W4A4(本次唯一量化的部分)
专家块缩放因子 FP8 E4M3
注意力 / 线性注意力 保持 BF16 不变
共享专家(shared expert)、路由门(gate) 保持 BF16 不变
嵌入层、归一化、LM head 保持 BF16 不变
MTP 模块 保持 BF16 不变

换句话说:MoE 模型中体积最大的专家网络被压到 4-bit,而对输出质量影响最敏感的注意力、嵌入等部分原封不动。这也是它"几乎无损失"的核心原因 ✅。详细的量化配置可以查看 hf_quant_config.json 和 config.json 中的 quantization_config 字段。

三、模型架构亮点:92 层 × 512 个专家

从 config.json 可以看到一些有意思的设计:

  • 92 个隐藏层,每层 512 个路由专家,每个 token 只选 10 个参与计算(Top-10 路由),所以 2.4T 的模型推理成本接近 95B 稠密模型
  • 混合注意力机制:92 层中每 4 层出现一次全注意力(full_attention),其余使用线性注意力(linear_attention),大幅降低长上下文的显存与计算开销
  • 隐藏层宽度 8192,词表大小 248,320
  • 架构类型为 Qwen3_5MoeForCausalLM,模型类型为 qwen3_5_moe_text

四、仓库文件结构:这些权重文件怎么读?

打开仓库你会看到三类文件,命名非常有规律:

1️⃣ 量化后的专家权重(368 个分片)

layer-00000-experts-0000-0127.safetensors
layer-00000-experts-0128-0255.safetensors
...
layer-00091-experts-0384-0511.safetensors

92 层 × 每层 4 个分片(专家 0-127、128-255、256-383、384-511),共 368 个 NVFP4 专家分片。转换时用 4 个独立 GPU worker 按专家区间并行完成,见 CONVERSION.md。

2️⃣ 非量化张量(12 个分片)

model-bf16-00001.safetensors ~ model-bf16-00012.safetensors

存放注意力、嵌入、共享专家等保持 BF16 精度的张量,与原模型逐字节等价。

3️⃣ 配置与词表文件

如果想拉取完整权重,可执行:

git clone https://gitcode.com/hf_mirrors/RadixArk/Qwen3.8-2.4T-A95B-NVFP4

五、一键部署:SGLang 启动速查

官方推荐的参考配置是 单机 8×B300、TP8 部署。核心启动命令骨架如下(完整参数以 README.md 为准):

sglang serve \
  --trust-remote-code \
  --model-path RadixArk/Qwen3.8-2.4T-A95B-NVFP4 \
  --tp-size 8 \
  --context-length 200000 \
  --attention-backend trtllm_mha \
  --moe-runner-backend flashinfer_trtllm \
  --mem-fraction-static 0.80

几个新手务必注意的点 ⚠️:

  • 硬件门槛高:该检查点在 B300 上产出和验证,推荐 Linux + NVIDIA Blackwell 平台
  • 必须开启 thinking 模式:本检查点仅支持文本输入,且要求推理模式,不支持 enable_thinking=false
  • 纯文本模型:不支持多模态输入
  • 官方还建议搭配 DSPARK 投机解码草稿模型以获得更高吞吐

六、量化花了多少性能?——基准测试结果

在 8×B300 TP8 + SGLang 部署下,这个 NVFP4 检查点的实测成绩:

基准 评测协议 得分
GSM8K 全量 1,319 题,sgl-eval 97.73%
AIME 2026 30 题 × 16 次采样 98.75% pass@1;100% pass@16
SWE-bench Verified 500 实例,agentic 评测 70.6% pass@1(353/500)
Terminal-Bench 2.1 89 任务 87.64% pass@1(78/89)

数学推理近乎满分,代码与终端类 agentic 任务也保持在较高水平——4-bit 量化对能力的损失微乎其微,这正是 experts-only 策略的价值所在。

七、使用建议与注意事项

  • 授权:遵循 LICENSE 中的 Qwen3.8-Max 许可证,该模型由 Qwen 团队训练,RadixArk 仅做量化转换,未进行任何再训练或微调
  • 适用场景:AI Agent 系统、聊天机器人、RAG 检索增强、需要长上下文(20 万 token 级别)的生产环境
  • 能力边界:模型训练数据来自网络爬取内容,可能放大偏见;对复杂数学、安全敏感或生产级应用,建议先做内部评估
  • 精度细节:若你想深入了解每个张量的量化契约、校准数据(确定性合成 token 校准)与校验流程,CONVERSION.md 是最权威的一手资料

小结

Qwen3.8-2.4T-A95B-NVFP4 展示了当前超大 MoE 模型落地的最佳实践:用 NVFP4 只压专家、保精度,用 262K 上下文覆盖长文本场景,用 SGLang 一条命令完成部署。如果你手上有一台 Blackwell 多卡机器,这就是目前 2.4T 级别模型最省心的入门姿势 🚀。

登录后查看全文
Qwen3.8-2.4T-A95B-NVFP4