运行Qwen3.8-2.4T-A95B-NVFP4需要多大显存?NVIDIA Blackwell B300部署硬件需求与容量估算指南

原创2026-10-20 20:37:101,823 阅读

运行Qwen3.8-2.4T-A95B-NVFP4需要多大显存?NVIDIA Blackwell B300部署硬件需求与容量估算指南

Qwen3.8-2.4T-A95B-NVFP4 是 RadixArk 发布的 2.4T 总参数 MoE 大模型的 NVFP4 量化版,官方验证环境为 8×NVIDIA B300(单卡 288GB)。本文带你一步步估算它的显存需求:权重约 1.4TB、单卡承载约 175GB,再加上 KV 缓存与运行时开销,搞清楚部署它到底需要多大的硬件。

一、先给结论:最低 8×B300 起步 💻

项目 要求
GPU NVIDIA B300(Blackwell)× 8 张,SXM 形态
总显存 ≥ 2.3TB(8 × 288GB)
单卡权重占用 约 175GB / 卡(TP8 切分)
操作系统 Linux
推理引擎 SGLang(推荐 --tp-size 8)
磁盘空间 ≥ 2TB(模型文件约 1.4TB)

该检查点在 B300 SXM6 集群上完成量化、验证与基准测试,README.md 中给出的推荐配置即为单节点 8 卡方案。

二、为什么显存需求这么大?

1. 模型架构:2.4T 总参数、95B 激活参数

从 config.json 可以看到关键架构信息:

  • 92 层隐藏层,每层 512 个路由专家(num_experts: 512)
  • 每个 token 只激活 10 个专家(num_experts_per_tok: 10)
  • 混合注意力:每 4 层中有 1 层 full attention,其余为 linear attention
  • 原生支持 262,144 tokens 上下文

MoE 模型的特点是"看的不多、存的全要"——虽然单次推理只激活 95B 参数,但 2.4T 参数必须全部放进显存,这是显存需求的根源。

2. NVFP4 量化:只量化了专家部分 🔍

这是理解显存的关键:该检查点并非全模型 FP4。根据 CONVERSION.md 与 hf_quant_config.json:

模块 精度 说明
路由专家 MLP(mlp.experts) NVFP4(W4A4) 权重 4bit + FP8 组内缩放(group size 16)
注意力 / 线性注意力 BF16(不变) 见 ignore 列表
共享专家、路由器 BF16(不变)
Embedding、LM Head BF16(不变)
MTP 层 BF16(不变)

也就是说,只有占参数总量约 99% 的路由专家被压到了 4bit,其余模块保持 BF16 精度,以换取推理质量与兼容性的平衡。

三、显存容量估算:分四步算清楚 📐

第 1 步:BF16 原始体积 ≈ 4.89TB

CONVERSION.md 记录了源检查点的精确字节数:4,892,365,451,008 字节 ≈ 4.89TB。这正是"2.4T 参数 × 2 字节(BF16)"的量级。

第 2 步:NVFP4 量化后 ≈ 1.4TB

路由专家参数量估算:

92 层 × 512 专家 × 3 个矩阵 × 8192 × 2048 ≈ 2.37T 参数

按 NVFP4 实际占用(4bit 权重 + 每 16 个权重 1 个 FP8 缩放 ≈ 4.5bit/参数):

  • 专家部分:2.37T × 4.5bit ≈ 1.33TB
  • 其余 BF16 模块(注意力、共享专家、Embedding 等约 29B 参数):≈ 0.06TB
  • 合计 ≈ 1.4TB,比 BF16 缩小约 3.5 倍

这也体现在仓库的文件组织上:专家权重被切分为 92 层 × 4 段共 368 个分片文件(如 layer-00000-experts-0000-0127.safetensors),加上 12 个 BF16 骨干分片 model-bf16-00001.safetensors 等,完整索引见 model.safetensors.index.json。

第 3 步:单卡承载量 ≈ 175GB(TP8)

8 卡张量并行(TP8)切分后:

1.4TB ÷ 8 ≈ 175GB / 卡

对比 B300 单卡 288GB,权重仅占约 61%,剩余空间留给缓存与运行时。

第 4 步:KV 缓存与运行时开销

单卡 288GB 的显存预算大致如下:

占用项 估算 说明
模型权重(TP8) ~175GB NVFP4 专家 + BF16 骨干
KV 缓存池 + 静态显存 由 --mem-fraction-static 0.80 预留 约 230GB 静态配额
激活值 / CUDA Graph / NCCL 通信缓冲 其余部分 长上下文、大并发时弹性使用

KV 缓存方面,得益于混合线性注意力设计(92 层中仅 23 层为 full attention、且 KV 头数只有 4),每个 token 的 KV 开销仅几十 KB——相比纯 Transformer 结构,长上下文的显存压力被大幅压低,这也是它能撑到 262K 上下文的重要原因。

四、B300 部署硬件清单 🛒

  • GPU:NVIDIA B300 SXM × 8(单卡 288GB HBM,Blackwell 架构)
  • 互联:节点内高速 NVLink 互联(TP8 通信密集,带宽直接决定吞吐)
  • CPU/内存:主机内存建议 ≥ 1TB,用于模型加载与页缓存
  • 磁盘:≥ 2TB NVMe SSD,模型下载/加载约 1.4TB
  • 软件栈:Linux + CUDA 13.x(量化时使用 PyTorch 2.11.0+cu130)+ SGLang
  • 其他:本模型为纯文本 + 思考模式模型,不支持多模态输入与关闭思考,规划服务时无需为此预留额外资源

五、最简部署命令与关键参数

README.md 给出的单节点 8×B300 推荐启动方式(节选关键参数):

sglang serve \
  --trust-remote-code \
  --model-path RadixArk/Qwen3.8-2.4T-A95B-NVFP4 \
  --tp-size 8 \
  --context-length 200000 \
  --attention-backend trtllm_mha \
  --moe-runner-backend flashinfer_trtllm \
  --mem-fraction-static 0.80 \
  --max-running-requests 128

与显存最相关的参数:

参数 作用
--tp-size 8 8 卡张量并行,权重按 8 路切分
--context-length 200000 最大上下文,决定 KV 缓存池大小
--mem-fraction-static 0.80 静态显存占比,直接决定 KV 缓存池规模
--max-running-requests 128 最大并发请求数,与显存占用正相关

⚠️ 上下文越长、并发越高,KV 缓存占用越大。若显存紧张,可先下调这两个参数。

六、常见部署问题 FAQ ❓

Q1:4 张 B300 或 2 台 4 卡能跑吗? 理论上 4 卡时单卡权重约 350GB,超过 288GB,单节点 4 卡放不下;跨机部署对网络带宽要求极高,官方验证方案就是单节点 8 卡,建议遵循。

Q2:H100 / H200 / A100 能跑吗? 不能按此检查点直接部署。NVFP4 需要 Blackwell(B300/GB300)硬件的 FP4 计算支持,本检查点也仅声明兼容 NVIDIA Blackwell 架构。Hopper 架构需使用 FP8/BF16 等对应量化版本。

Q3:为什么不全模型量化成 4bit,省出更多显存? 全量 4bit 虽能进一步压缩,但对注意力、路由器等数值敏感模块损失较大。RadixArk 选择了"仅专家 NVFP4"的配方,量化后仍在 GSM8K、SWE-bench Verified 等基准上保持高分(见 README.md 评测表),是精度与容量的折中。

Q4:磁盘要留多少? 模型文件合计约 1.4TB(368 个专家分片 + 12 个 BF16 骨干分片 + 分词器等),另加推理引擎环境,建议预留 2TB 以上 NVMe 空间。

七、仓库相关配置文件速查 📁

文件 内容
config.json 模型架构与量化配置(专家数、层数、NVFP4 配方)
hf_quant_config.json Hugging Face 侧量化配置(quant_algo: NVFP4)
CONVERSION.md 量化转换与验证契约(源体积、张量约定、校准流程)
generation_config.json 推荐采样参数(top_k: 20 等)
chat_template.jinja 对话模板
tokenizer.json / vocab.json 分词器(词表 248,320)

一句话总结:Qwen3.8-2.4T-A95B-NVFP4 的权重在 NVFP4 量化后约 1.4TB,部署底线是 8×B300(总显存 2.3TB),单卡约 175GB 放权重、剩余显存留给 KV 缓存与并发——如果你的硬件不满足这个门槛,建议关注更小参数量的 MoE 版本。

登录后查看全文
Qwen3.8-2.4T-A95B-NVFP4