运行Qwen3.8-2.4T-A95B-NVFP4需要多大显存?NVIDIA Blackwell B300部署硬件需求与容量估算指南
运行Qwen3.8-2.4T-A95B-NVFP4需要多大显存?NVIDIA Blackwell B300部署硬件需求与容量估算指南
Qwen3.8-2.4T-A95B-NVFP4 是 RadixArk 发布的 2.4T 总参数 MoE 大模型的 NVFP4 量化版,官方验证环境为 8×NVIDIA B300(单卡 288GB)。本文带你一步步估算它的显存需求:权重约 1.4TB、单卡承载约 175GB,再加上 KV 缓存与运行时开销,搞清楚部署它到底需要多大的硬件。
一、先给结论:最低 8×B300 起步 💻
| 项目 | 要求 |
|---|---|
| GPU | NVIDIA B300(Blackwell)× 8 张,SXM 形态 |
| 总显存 | ≥ 2.3TB(8 × 288GB) |
| 单卡权重占用 | 约 175GB / 卡(TP8 切分) |
| 操作系统 | Linux |
| 推理引擎 | SGLang(推荐 --tp-size 8) |
| 磁盘空间 | ≥ 2TB(模型文件约 1.4TB) |
该检查点在 B300 SXM6 集群上完成量化、验证与基准测试,README.md 中给出的推荐配置即为单节点 8 卡方案。
二、为什么显存需求这么大?
1. 模型架构:2.4T 总参数、95B 激活参数
从 config.json 可以看到关键架构信息:
- 92 层隐藏层,每层 512 个路由专家(
num_experts: 512) - 每个 token 只激活 10 个专家(
num_experts_per_tok: 10) - 混合注意力:每 4 层中有 1 层 full attention,其余为 linear attention
- 原生支持 262,144 tokens 上下文
MoE 模型的特点是"看的不多、存的全要"——虽然单次推理只激活 95B 参数,但 2.4T 参数必须全部放进显存,这是显存需求的根源。
2. NVFP4 量化:只量化了专家部分 🔍
这是理解显存的关键:该检查点并非全模型 FP4。根据 CONVERSION.md 与 hf_quant_config.json:
| 模块 | 精度 | 说明 |
|---|---|---|
路由专家 MLP(mlp.experts) |
NVFP4(W4A4) | 权重 4bit + FP8 组内缩放(group size 16) |
| 注意力 / 线性注意力 | BF16(不变) | 见 ignore 列表 |
| 共享专家、路由器 | BF16(不变) | |
| Embedding、LM Head | BF16(不变) | |
| MTP 层 | BF16(不变) |
也就是说,只有占参数总量约 99% 的路由专家被压到了 4bit,其余模块保持 BF16 精度,以换取推理质量与兼容性的平衡。
三、显存容量估算:分四步算清楚 📐
第 1 步:BF16 原始体积 ≈ 4.89TB
CONVERSION.md 记录了源检查点的精确字节数:4,892,365,451,008 字节 ≈ 4.89TB。这正是"2.4T 参数 × 2 字节(BF16)"的量级。
第 2 步:NVFP4 量化后 ≈ 1.4TB
路由专家参数量估算:
92 层 × 512 专家 × 3 个矩阵 × 8192 × 2048 ≈ 2.37T 参数
按 NVFP4 实际占用(4bit 权重 + 每 16 个权重 1 个 FP8 缩放 ≈ 4.5bit/参数):
- 专家部分:2.37T × 4.5bit ≈ 1.33TB
- 其余 BF16 模块(注意力、共享专家、Embedding 等约 29B 参数):≈ 0.06TB
- 合计 ≈ 1.4TB,比 BF16 缩小约 3.5 倍
这也体现在仓库的文件组织上:专家权重被切分为 92 层 × 4 段共 368 个分片文件(如 layer-00000-experts-0000-0127.safetensors),加上 12 个 BF16 骨干分片 model-bf16-00001.safetensors 等,完整索引见 model.safetensors.index.json。
第 3 步:单卡承载量 ≈ 175GB(TP8)
8 卡张量并行(TP8)切分后:
1.4TB ÷ 8 ≈ 175GB / 卡
对比 B300 单卡 288GB,权重仅占约 61%,剩余空间留给缓存与运行时。
第 4 步:KV 缓存与运行时开销
单卡 288GB 的显存预算大致如下:
| 占用项 | 估算 | 说明 |
|---|---|---|
| 模型权重(TP8) | ~175GB | NVFP4 专家 + BF16 骨干 |
| KV 缓存池 + 静态显存 | 由 --mem-fraction-static 0.80 预留 |
约 230GB 静态配额 |
| 激活值 / CUDA Graph / NCCL 通信缓冲 | 其余部分 | 长上下文、大并发时弹性使用 |
KV 缓存方面,得益于混合线性注意力设计(92 层中仅 23 层为 full attention、且 KV 头数只有 4),每个 token 的 KV 开销仅几十 KB——相比纯 Transformer 结构,长上下文的显存压力被大幅压低,这也是它能撑到 262K 上下文的重要原因。
四、B300 部署硬件清单 🛒
- GPU:NVIDIA B300 SXM × 8(单卡 288GB HBM,Blackwell 架构)
- 互联:节点内高速 NVLink 互联(TP8 通信密集,带宽直接决定吞吐)
- CPU/内存:主机内存建议 ≥ 1TB,用于模型加载与页缓存
- 磁盘:≥ 2TB NVMe SSD,模型下载/加载约 1.4TB
- 软件栈:Linux + CUDA 13.x(量化时使用 PyTorch
2.11.0+cu130)+ SGLang - 其他:本模型为纯文本 + 思考模式模型,不支持多模态输入与关闭思考,规划服务时无需为此预留额外资源
五、最简部署命令与关键参数
README.md 给出的单节点 8×B300 推荐启动方式(节选关键参数):
sglang serve \
--trust-remote-code \
--model-path RadixArk/Qwen3.8-2.4T-A95B-NVFP4 \
--tp-size 8 \
--context-length 200000 \
--attention-backend trtllm_mha \
--moe-runner-backend flashinfer_trtllm \
--mem-fraction-static 0.80 \
--max-running-requests 128
与显存最相关的参数:
| 参数 | 作用 |
|---|---|
--tp-size 8 |
8 卡张量并行,权重按 8 路切分 |
--context-length 200000 |
最大上下文,决定 KV 缓存池大小 |
--mem-fraction-static 0.80 |
静态显存占比,直接决定 KV 缓存池规模 |
--max-running-requests 128 |
最大并发请求数,与显存占用正相关 |
⚠️ 上下文越长、并发越高,KV 缓存占用越大。若显存紧张,可先下调这两个参数。
六、常见部署问题 FAQ ❓
Q1:4 张 B300 或 2 台 4 卡能跑吗? 理论上 4 卡时单卡权重约 350GB,超过 288GB,单节点 4 卡放不下;跨机部署对网络带宽要求极高,官方验证方案就是单节点 8 卡,建议遵循。
Q2:H100 / H200 / A100 能跑吗? 不能按此检查点直接部署。NVFP4 需要 Blackwell(B300/GB300)硬件的 FP4 计算支持,本检查点也仅声明兼容 NVIDIA Blackwell 架构。Hopper 架构需使用 FP8/BF16 等对应量化版本。
Q3:为什么不全模型量化成 4bit,省出更多显存? 全量 4bit 虽能进一步压缩,但对注意力、路由器等数值敏感模块损失较大。RadixArk 选择了"仅专家 NVFP4"的配方,量化后仍在 GSM8K、SWE-bench Verified 等基准上保持高分(见 README.md 评测表),是精度与容量的折中。
Q4:磁盘要留多少? 模型文件合计约 1.4TB(368 个专家分片 + 12 个 BF16 骨干分片 + 分词器等),另加推理引擎环境,建议预留 2TB 以上 NVMe 空间。
七、仓库相关配置文件速查 📁
| 文件 | 内容 |
|---|---|
| config.json | 模型架构与量化配置(专家数、层数、NVFP4 配方) |
| hf_quant_config.json | Hugging Face 侧量化配置(quant_algo: NVFP4) |
| CONVERSION.md | 量化转换与验证契约(源体积、张量约定、校准流程) |
| generation_config.json | 推荐采样参数(top_k: 20 等) |
| chat_template.jinja | 对话模板 |
| tokenizer.json / vocab.json | 分词器(词表 248,320) |
一句话总结:Qwen3.8-2.4T-A95B-NVFP4 的权重在 NVFP4 量化后约 1.4TB,部署底线是 8×B300(总显存 2.3TB),单卡约 175GB 放权重、剩余显存留给 KV 缓存与并发——如果你的硬件不满足这个门槛,建议关注更小参数量的 MoE 版本。