33.7B 总参只激活 4B:稀疏转写省下的到底是显存还是时间

原创2026-10-29 12:31:571,336 阅读
文章标签:人工智能大模型语音音频多模态深度学习

33.7B 总参只激活 4B:稀疏转写省下的到底是显存还是时间

“30B 级模型、4B 级激活”这句话在语音转写赛道已经变成了标准宣传语。听起来像是把一张 80GB 显卡的账单砍到了 24GB 显卡的水平。但如果把 model.safetensors 的 LFS 元数据、config.json 的层结构和 README.md 里的 RTFx 表放在一起核算,结论会很不客气:稀疏专家省下的是每个 token 的算力预算,不是权重驻留的显存预算。33.7B 参数一个字节都不能少地躺在卡上,激活 4.3B 只决定了它能算多快,不决定它能不能装下。

这篇文章用仓库里的真实配置把这个账算清楚:钱(显存)花在哪里,时间(吞吐)漏在哪里,以及为什么把投机 token 从 2 个加到 8 个,吞吐反而从 410 RTFx 掉到 270 RTFx。

先把三个数字钉死

标题里的 33.7B 不是估值,是文件大小反推出来的。仓库里的权重指针写明 size 67496013734,即 67.50 GB。BF16 每参数 2 字节,67,496,013,734 ÷ 2 ≈ 33.75B,且这个数字包含音频编码器、说话人编码器与 CTC 头,与 README 中 “34B (4.3B active), including the audio encoder” 的口径一致。标题取 33.7B,是把十进制 GB 换算成参数量后的精确值。

激活侧 README 给的是 4.3B,其中语言主干约 3.5B、联合音频编码器约 800M。换句话说:

  • 稀疏度(按激活占比)= 4.3 / 33.75 ≈ 12.7%
  • 路由专家的稀疏度 = top-6 / 128 ≈ 4.7%

这两个数字经常被混用。4.7% 只是 MoE 层内部的门控稀疏,12.7% 才是整机口径,因为 Mamba 层、注意力层、共享专家、embedding 和输出头都是稠密计算的,躲不开。

稀疏专家的落点:编码侧稠密,解码侧稀疏

architecture.png 把落点画得很清楚:稀疏只发生在右侧的生成主干,左侧的音频通路是纯稠密计算。

Nemotron 3.5 Transcribe 架构:Parallel Expert Encoder 的 ASR 与说话人双分支接入混合 Mamba-Transformer MoE 语言模型,并带 MTP 与 CTC 时间戳头

按 config.json 与 llm_backbone/config.json 逐项核对:

模块 结构 参数量级 是否稀疏
ASR 编码器 32 层 Transformer,d_model=1280,10 头,8× 下采样 约 600M 稠密
说话人编码器(Sortformer) 31 层,d_model=512,8 个 speaker slot,freeze_diar: true 约 99M 稠密、冻结
CTC 时间戳头 2 层、upsampling_factor: 2、词表 23863 约 47M 稠密
语言主干 52 层 = 23 Mamba-2 + 23 MoE + 6 Attention 约 33B MoE 稀疏

语言主干里只有 6 层是全注意力(num_key_value_heads: 2、head_dim: 128),23 层是 Mamba-2 状态空间层,23 层是 MoE。MoE 的配置是 n_routed_experts: 128、num_experts_per_tok: 6、n_shared_experts: 1、routed_scaling_factor: 2.5,共享专家中间维 3712 恰好是路由专家 moe_intermediate_size: 1856 的两倍。

这个结构对成本的含义是单向的:音频进来先过一段完全稠密、不可稀疏化的编码,然后才进入可以被稀疏化的自回归解码。所以“激活 4B”这句话在时序上只覆盖了后半段。

顺带把 token 预算算出来,后面所有的账都要用它。processor_config.json 里 hop_length: 160、sampling_rate: 16000,即每 100ms 一个 mel 帧;subsampling_factor: 8 之后是 80ms 一个音频 token,也就是 12.5 token/秒:

  • 30 秒音频 → 375 个音频 token(正好对上 config.json 的 encoder_chunk_size_seconds: 30.0)
  • 1 小时音频 → 45,000 个音频 token
  • max_position_embeddings: 262144,但训练与部署实际锚定在 65,536

README 提到“密集的一小时对话可能需要约 20,000 个输出 token”。于是单条长音频的输入输出比约 45,000 : 20,000 ≈ 2.25 : 1。这个比例决定了它是一份“预填充少、解码多”的工作负载,后面会看到它如何支配整机吞吐。

显存账本:MoE 省不出 VRAM

先看一张 H100 80GB 上按官方命令启动后的真实可用空间。README 给的参数是 --gpu-memory-utilization 0.94,即预算 75.2 GB。BF16 权重占 67.5 GB,占掉 89.8%,剩余约 7.7 GB 要给激活、工作区、CUDA graph、音频缓冲和所有序列的缓存状态。

再看缓存侧。KV 只发生在 6 层全注意力上,每 token 每层存 K 和 V、各 2 个头、每头 128 维、BF16:

6 层 × 2 (K/V) × 2 头 × 128 维 × 2 字节 = 6 KB/token
65,536 token × 6 KB ≈ 384 MB(单序列满上下文)
45,000 音频 token × 6 KB ≈ 270 MB(单条 1 小时音频)

也就是说,即便把上下文顶满,KV 也只是百 MB 量级——这正是 23 层 Mamba-2 换来的好处:只有 6 层参与二次增长的注意力缓存。

但 Mamba 层不是免费午餐,它换的是“与长度无关、却与并发强相关”的状态。按 mamba_num_heads: 64、mamba_head_dim: 64、ssm_state_size: 128、mamba_ssm_cache_dtype: float32 估算,单层 SSM 状态约 64×64×128×4 ≈ 2 MiB,23 层合计约 46 MiB/序列,且不随音频长短变化。它与 --max-num-seqs 192 是同一个数量级的约束:192 × 46 MiB ≈ 8.6 GB。

这就解释了启动命令里那个容易被忽略的组合:--use-replayssm --mamba-backend flashinfer --mamba-cache-mode none。缓存模式设为 none,意味着它选择不长期驻留这些状态,而是在需要时用 ReplaySSM 重放重建。这是一次赤裸裸的交换——用重复计算换显存。它同时也回答了本文标题的一半:在这个模型里,“省显存”的手动开关从来不是 MoE,而是缓存策略。

真正把权重体积压下去的,是精度而不是稀疏度。README 的硬件兼容表本身就是证据:

精度 权重体积(估算) 80GB 卡剩余预算 官方列出的可落地硬件
BF16 67.5 GB 约 7.7 GB A100 80GB、H100、H200、B200
FP8 约 33.7 GB 约 41 GB 追加 L40S 48GB
NVFP4 约 16.9 GB 约 58 GB 追加 RTX PRO 6000、DGX Spark、Jetson Thor、RTX 5090(32GB)

注意最后一行:RTX 5090 只出现在 NVFP4 一列。一张 32GB 消费卡能跑 33.7B 模型,靠的是把每个参数压到 4 bit,而不是靠“只激活 4B”。如果只激活就能省显存,BF16 那 67.5 GB 就没必要存在了。

时间账本:单流撞带宽,批量才兑现稀疏

解码阶段每生成一个 token,都要把当前激活的那部分权重从 HBM 搬进 SM。激活 4.3B、BF16,即 8.6 GB/步。H100 的 HBM3 带宽约 3.35 TB/s,单流理论上限:

3.35 TB/s ÷ 8.6 GB ≈ 390 token/s

这是“batch = 1”的天花板,且是带宽墙,不是算力墙——此时算术强度只有约 1 FLOP/Byte,SM 大部分时间在等数据。MoE 在这一步的作用是把 8.6 GB 而不是 67.5 GB 搬一遍,收益是实打实的 7.8 倍访存量削减。这就是稀疏真正兑现的地方。

但只有批起来,算力才会成为新瓶颈。batch 增大后权重读取被摊薄,吞吐才会向算力上限爬升。问题回到上一节:BF16 下单卡只剩 7.7 GB 余量,batch 根本批不大。用 RTFx 反推一下量级——英语 ASR 大约每秒音频产出 3 个多 token,410 RTFx 对应约 1,300 token/s 的聚合速率,相对 390 token/s 的单流上限,等价并发只有个位数。稀疏把门开得很大,显存把门框卡得很死。

再看预填充侧的量级。按 2 × 激活参数 × token 数粗算:

  • 45,000 音频 token 的预填充 ≈ 2 × 4.3B × 45,000 ≈ 387 TFLOP
  • 20,000 步解码 ≈ 2 × 4.3B × 20,000 ≈ 172 TFLOP

总浮点量差不多,但形态完全不同:前者是一次可以打满 Tensor Core 的大矩阵乘,后者是两万次“搬 8.6 GB、算一点点”的访存循环。转写这种任务的耗时结构,天生偏向解码侧,因此 MoE 对它的加速效果,远不如对“长上下文、短输出”的对话类负载那么夸张。

音频编码器的账也要算:config.json 里编码器 d_model: 1280、ff_expansion: 4、32 层,每 token 约 1.26 GFLOP,1 小时音频(45,000 token)合计约 57 TFLOP,只相当于预填充的 15% 左右。而且这段计算是不可稀疏的稠密前段,只能靠 30 秒分块(encoder_chunk_size_seconds: 30.0)与 packed_encoder_sequences: true 做流水线重叠,没法靠 MoE 加速。

真实瓶颈:解码步数,而不是稀疏度

RTX PRO 6000 Blackwell 上 Nemotron Transcribe NIM 的吞吐与中位延迟曲线,覆盖 BF16/FP8/NVFP4 与关闭/开启投机解码

这张图里藏着全文最反直觉的事实。横轴是中位请求延迟,纵轴是吞吐(RTFx),左上角更优。图例分成两层:颜色是精度,线型是投机解码策略(none / MTP 8 tokens / DFlash2 15 tokens)。可以读出的三件事:

第一,精度是最强的单一变量。BF16(绿)在两条子图上都趴在最低一档,约 400 RTFx 封顶;FP8(蓝)与 NVFP4(橙)几乎重合,抬到 1,500–1,800 RTFx。同一份权重、同一张卡,只换数值格式就是 4 倍量级的差距——原因还是那条:解码受 HBM 带宽约束,权重体积减半,每步搬运就减半。

第二,批大小沿着曲线向右上移动。图注写明数据点是并发 1、4、16、64、128、256。低并发段曲线几乎垂直上升(延迟不变、吞吐线性涨),说明此时算力大量闲置、加批几乎免费;到了 64–256 区间曲线转平,进入算力饱和区。这正是 MoE 优势的兑现窗口,也是显存最先告急的地方。

第三,也是最关键的:投机解码不是越多越好。README 给出的 H100 BF16 实测:

解码模式 近似 BF16 RTFx
MTP2 410
MTP8 270
DFlash2 K=7 340
DFlash2 K=15 260

把每步提议的 token 从 2 个加到 8 个,吞吐掉了三分之一;DFlash2 从 K=7 加到 K=15 同样掉二成多。原因不难推:投机解码的收益是“减少解码步数”,代价是“每步验证变贵 + 接受率衰减”。批量场景下验证成本随 B×K 增长,而第 7、第 8 个草稿 token 的接受概率已经很低,净收益转负。所以官方推荐的是 MTP2 或 DFlash2 K=7,而不是更大的 K。

这也修正了关于“瓶颈”的直觉:真正卡住转写吞吐的既不是稀疏度,也不是浮点峰值,而是解码步数 × 每步权重搬运量 × 可承受并发这三者的乘积。--speculative-config '{"method":"mtp","num_speculative_tokens":8}' 写在启动命令里是官方示例,但在 H100 上它并不是最快的那一档。

还有一个必须点明的落差:README 的 Efficiency 一节给出的 2,238 RTFx、30 秒音频 0.13 秒返回,是在 **RTX PRO 6000 Blackwell 上跑 NIM 的优化实现(NVFP4 + DFlash2)**测得的,而“release day 随 NeMo Speech 发布的 vLLM 集成约慢 2 倍”。同一份权重、同一张卡,纯软件栈差异就是 2 倍——这再次说明瓶颈在调度、kernel 与缓存策略,而不在模型有多少专家。

把账算到自己机器上

官方单卡启动命令里有几个参数,每一个都对应上面某一笔账,值得逐条对上:

export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600   # 默认 600s,只放行 10 分钟音频
export VLLM_MAX_AUDIO_CLIP_FILESIZE_MB=180
export VLLM_USE_V2_MODEL_RUNNER=0              # 词级时间戳依赖 V1 runner
vllm serve ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B \
  --dtype bfloat16 --gpu-memory-utilization 0.94 \
  --max-model-len 65536 --max-num-batched-tokens 4096 --max-num-seqs 192 \
  --enable-chunked-prefill --no-enable-prefix-caching \
  --use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
  --speculative-config '{"method":"mtp","num_speculative_tokens":8}'
  • --max-model-len 65536:不是随便取的,它对应“1 小时音频 = 45,000 音频 token + 提示词 + 输出”的上界。想处理更长的录音,只能外部分段,而不是调大这个值。
  • --max-num-batched-tokens 4096:一条 1 小时录音的 45,000 个音频 token 要切成约 11 个预填充块。块越小,首字延迟越低,但吞吐越差——这是又一处时间换时间的旋钮。
  • --max-num-seqs 192:与前面估算的 Mamba 状态(约 46 MiB/序列)量级吻合,是显存而不是算力在决定这个数。
  • --no-enable-prefix-caching:转写请求之间几乎没有公共前缀(每条音频都是新 token),开了只浪费元数据开销。
  • --mamba-cache-mode none + --use-replayssm:明确选择“不缓存状态、按需重放”,用时间换显存。

如果目标是吞吐而不是单卡验证,README 给了专家并行的走法:

--data-parallel-size 8 --api-server-count 8 \
--enable-expert-parallel --disable-custom-all-reduce

这一行才是“用稀疏度省显存”的唯一正确姿势:128 个路由专家被切分到 8 张卡上(TP=1、DP=8、EP=8),每张卡只驻留 1/8 的专家权重。张量并行切不了专家维度,只有专家并行能把 67.5 GB 摊到 8 张卡上。单卡谈 MoE 省显存,本质上谈错了对象。

如果只有一张 24–48GB 的卡,路径也很清晰:换 FP8 或 NVFP4 权重,而不是指望激活比例。这也是硬件表把 L40S 48GB 限定在 FP8、把 RTX 5090 限定在 NVFP4 的原因。

结论:省下的是“每 token 的时间”,前提是“显存先够”

把两条账并排放,问题就结束了:

维度 MoE/稀疏专家带来的变化 实际决定因素
权重驻留 无变化,33.7B 全量驻留 参数量 × 精度;想省显存靠 FP8/NVFP4 或 EP 切分
KV 缓存 间接受益(只有 6 层全注意力) 层数 × KV 头数 × 上下文长度
Mamba 状态 无变化,约 46 MiB/序列且与长度无关 并发数;可用 mamba-cache-mode none 换显存
每 token 算力 降低约 7.8 倍(8.6 GB vs 67.5 GB 访存) 激活参数 4.3B
单流延迟 明显受益(带宽墙被推低) HBM 带宽 ÷ 激活权重字节数
批量吞吐 需要足够显存才能兑现 剩余显存 → max-num-seqs → 可批大小
解码步数 与稀疏无关,靠投机解码压缩 MTP2 / DFlash2 K=7 优于更大 K

所以标题里的问题有一个不含糊的答案:稀疏专家省下的是时间——准确地说是每个 token 的权重搬运时间;它一分显存都没省。 而这份时间收益能不能兑现,取决于你有没有先把 33.7B 装进去、并留出足够的余量把 batch 批起来。

这解释了为什么同一份权重在不同硬件上表现差异如此之大:A100 80GB 只能 BF16,几乎没余量批处理;L40S 48GB 用 FP8 反而更从容;RTX PRO 6000 用 NVFP4 加 DFlash2 能跑到 2,238 RTFx。模型没变,稀疏度没变,变的只是“权重占多少、剩下多少留给并发”。

对工程落地的直接建议只有三条:先把精度降下来腾出显存,再用 MTP2 或 DFlash2 K=7 压解码步数,最后才去调 max-num-seqs 和 max-num-batched-tokens 找吞吐拐点。把顺序倒过来,就会得到一台“激活只有 4B、但一张 80GB 卡只能跑个位数并发”的机器。

登录后查看全文
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B