33.7B 总参只激活 4B:稀疏转写省下的到底是显存还是时间
33.7B 总参只激活 4B:稀疏转写省下的到底是显存还是时间
“30B 级模型、4B 级激活”这句话在语音转写赛道已经变成了标准宣传语。听起来像是把一张 80GB 显卡的账单砍到了 24GB 显卡的水平。但如果把 model.safetensors 的 LFS 元数据、config.json 的层结构和 README.md 里的 RTFx 表放在一起核算,结论会很不客气:稀疏专家省下的是每个 token 的算力预算,不是权重驻留的显存预算。33.7B 参数一个字节都不能少地躺在卡上,激活 4.3B 只决定了它能算多快,不决定它能不能装下。
这篇文章用仓库里的真实配置把这个账算清楚:钱(显存)花在哪里,时间(吞吐)漏在哪里,以及为什么把投机 token 从 2 个加到 8 个,吞吐反而从 410 RTFx 掉到 270 RTFx。
先把三个数字钉死
标题里的 33.7B 不是估值,是文件大小反推出来的。仓库里的权重指针写明 size 67496013734,即 67.50 GB。BF16 每参数 2 字节,67,496,013,734 ÷ 2 ≈ 33.75B,且这个数字包含音频编码器、说话人编码器与 CTC 头,与 README 中 “34B (4.3B active), including the audio encoder” 的口径一致。标题取 33.7B,是把十进制 GB 换算成参数量后的精确值。
激活侧 README 给的是 4.3B,其中语言主干约 3.5B、联合音频编码器约 800M。换句话说:
- 稀疏度(按激活占比)= 4.3 / 33.75 ≈ 12.7%
- 路由专家的稀疏度 = top-6 / 128 ≈ 4.7%
这两个数字经常被混用。4.7% 只是 MoE 层内部的门控稀疏,12.7% 才是整机口径,因为 Mamba 层、注意力层、共享专家、embedding 和输出头都是稠密计算的,躲不开。
稀疏专家的落点:编码侧稠密,解码侧稀疏
architecture.png 把落点画得很清楚:稀疏只发生在右侧的生成主干,左侧的音频通路是纯稠密计算。
按 config.json 与 llm_backbone/config.json 逐项核对:
| 模块 | 结构 | 参数量级 | 是否稀疏 |
|---|---|---|---|
| ASR 编码器 | 32 层 Transformer,d_model=1280,10 头,8× 下采样 |
约 600M | 稠密 |
| 说话人编码器(Sortformer) | 31 层,d_model=512,8 个 speaker slot,freeze_diar: true |
约 99M | 稠密、冻结 |
| CTC 时间戳头 | 2 层、upsampling_factor: 2、词表 23863 |
约 47M | 稠密 |
| 语言主干 | 52 层 = 23 Mamba-2 + 23 MoE + 6 Attention | 约 33B | MoE 稀疏 |
语言主干里只有 6 层是全注意力(num_key_value_heads: 2、head_dim: 128),23 层是 Mamba-2 状态空间层,23 层是 MoE。MoE 的配置是 n_routed_experts: 128、num_experts_per_tok: 6、n_shared_experts: 1、routed_scaling_factor: 2.5,共享专家中间维 3712 恰好是路由专家 moe_intermediate_size: 1856 的两倍。
这个结构对成本的含义是单向的:音频进来先过一段完全稠密、不可稀疏化的编码,然后才进入可以被稀疏化的自回归解码。所以“激活 4B”这句话在时序上只覆盖了后半段。
顺带把 token 预算算出来,后面所有的账都要用它。processor_config.json 里 hop_length: 160、sampling_rate: 16000,即每 100ms 一个 mel 帧;subsampling_factor: 8 之后是 80ms 一个音频 token,也就是 12.5 token/秒:
- 30 秒音频 → 375 个音频 token(正好对上 config.json 的
encoder_chunk_size_seconds: 30.0) - 1 小时音频 → 45,000 个音频 token
max_position_embeddings: 262144,但训练与部署实际锚定在 65,536
README 提到“密集的一小时对话可能需要约 20,000 个输出 token”。于是单条长音频的输入输出比约 45,000 : 20,000 ≈ 2.25 : 1。这个比例决定了它是一份“预填充少、解码多”的工作负载,后面会看到它如何支配整机吞吐。
显存账本:MoE 省不出 VRAM
先看一张 H100 80GB 上按官方命令启动后的真实可用空间。README 给的参数是 --gpu-memory-utilization 0.94,即预算 75.2 GB。BF16 权重占 67.5 GB,占掉 89.8%,剩余约 7.7 GB 要给激活、工作区、CUDA graph、音频缓冲和所有序列的缓存状态。
再看缓存侧。KV 只发生在 6 层全注意力上,每 token 每层存 K 和 V、各 2 个头、每头 128 维、BF16:
6 层 × 2 (K/V) × 2 头 × 128 维 × 2 字节 = 6 KB/token
65,536 token × 6 KB ≈ 384 MB(单序列满上下文)
45,000 音频 token × 6 KB ≈ 270 MB(单条 1 小时音频)
也就是说,即便把上下文顶满,KV 也只是百 MB 量级——这正是 23 层 Mamba-2 换来的好处:只有 6 层参与二次增长的注意力缓存。
但 Mamba 层不是免费午餐,它换的是“与长度无关、却与并发强相关”的状态。按 mamba_num_heads: 64、mamba_head_dim: 64、ssm_state_size: 128、mamba_ssm_cache_dtype: float32 估算,单层 SSM 状态约 64×64×128×4 ≈ 2 MiB,23 层合计约 46 MiB/序列,且不随音频长短变化。它与 --max-num-seqs 192 是同一个数量级的约束:192 × 46 MiB ≈ 8.6 GB。
这就解释了启动命令里那个容易被忽略的组合:--use-replayssm --mamba-backend flashinfer --mamba-cache-mode none。缓存模式设为 none,意味着它选择不长期驻留这些状态,而是在需要时用 ReplaySSM 重放重建。这是一次赤裸裸的交换——用重复计算换显存。它同时也回答了本文标题的一半:在这个模型里,“省显存”的手动开关从来不是 MoE,而是缓存策略。
真正把权重体积压下去的,是精度而不是稀疏度。README 的硬件兼容表本身就是证据:
| 精度 | 权重体积(估算) | 80GB 卡剩余预算 | 官方列出的可落地硬件 |
|---|---|---|---|
| BF16 | 67.5 GB | 约 7.7 GB | A100 80GB、H100、H200、B200 |
| FP8 | 约 33.7 GB | 约 41 GB | 追加 L40S 48GB |
| NVFP4 | 约 16.9 GB | 约 58 GB | 追加 RTX PRO 6000、DGX Spark、Jetson Thor、RTX 5090(32GB) |
注意最后一行:RTX 5090 只出现在 NVFP4 一列。一张 32GB 消费卡能跑 33.7B 模型,靠的是把每个参数压到 4 bit,而不是靠“只激活 4B”。如果只激活就能省显存,BF16 那 67.5 GB 就没必要存在了。
时间账本:单流撞带宽,批量才兑现稀疏
解码阶段每生成一个 token,都要把当前激活的那部分权重从 HBM 搬进 SM。激活 4.3B、BF16,即 8.6 GB/步。H100 的 HBM3 带宽约 3.35 TB/s,单流理论上限:
3.35 TB/s ÷ 8.6 GB ≈ 390 token/s
这是“batch = 1”的天花板,且是带宽墙,不是算力墙——此时算术强度只有约 1 FLOP/Byte,SM 大部分时间在等数据。MoE 在这一步的作用是把 8.6 GB 而不是 67.5 GB 搬一遍,收益是实打实的 7.8 倍访存量削减。这就是稀疏真正兑现的地方。
但只有批起来,算力才会成为新瓶颈。batch 增大后权重读取被摊薄,吞吐才会向算力上限爬升。问题回到上一节:BF16 下单卡只剩 7.7 GB 余量,batch 根本批不大。用 RTFx 反推一下量级——英语 ASR 大约每秒音频产出 3 个多 token,410 RTFx 对应约 1,300 token/s 的聚合速率,相对 390 token/s 的单流上限,等价并发只有个位数。稀疏把门开得很大,显存把门框卡得很死。
再看预填充侧的量级。按 2 × 激活参数 × token 数粗算:
- 45,000 音频 token 的预填充 ≈ 2 × 4.3B × 45,000 ≈ 387 TFLOP
- 20,000 步解码 ≈ 2 × 4.3B × 20,000 ≈ 172 TFLOP
总浮点量差不多,但形态完全不同:前者是一次可以打满 Tensor Core 的大矩阵乘,后者是两万次“搬 8.6 GB、算一点点”的访存循环。转写这种任务的耗时结构,天生偏向解码侧,因此 MoE 对它的加速效果,远不如对“长上下文、短输出”的对话类负载那么夸张。
音频编码器的账也要算:config.json 里编码器 d_model: 1280、ff_expansion: 4、32 层,每 token 约 1.26 GFLOP,1 小时音频(45,000 token)合计约 57 TFLOP,只相当于预填充的 15% 左右。而且这段计算是不可稀疏的稠密前段,只能靠 30 秒分块(encoder_chunk_size_seconds: 30.0)与 packed_encoder_sequences: true 做流水线重叠,没法靠 MoE 加速。
真实瓶颈:解码步数,而不是稀疏度
这张图里藏着全文最反直觉的事实。横轴是中位请求延迟,纵轴是吞吐(RTFx),左上角更优。图例分成两层:颜色是精度,线型是投机解码策略(none / MTP 8 tokens / DFlash2 15 tokens)。可以读出的三件事:
第一,精度是最强的单一变量。BF16(绿)在两条子图上都趴在最低一档,约 400 RTFx 封顶;FP8(蓝)与 NVFP4(橙)几乎重合,抬到 1,500–1,800 RTFx。同一份权重、同一张卡,只换数值格式就是 4 倍量级的差距——原因还是那条:解码受 HBM 带宽约束,权重体积减半,每步搬运就减半。
第二,批大小沿着曲线向右上移动。图注写明数据点是并发 1、4、16、64、128、256。低并发段曲线几乎垂直上升(延迟不变、吞吐线性涨),说明此时算力大量闲置、加批几乎免费;到了 64–256 区间曲线转平,进入算力饱和区。这正是 MoE 优势的兑现窗口,也是显存最先告急的地方。
第三,也是最关键的:投机解码不是越多越好。README 给出的 H100 BF16 实测:
| 解码模式 | 近似 BF16 RTFx |
|---|---|
| MTP2 | 410 |
| MTP8 | 270 |
| DFlash2 K=7 | 340 |
| DFlash2 K=15 | 260 |
把每步提议的 token 从 2 个加到 8 个,吞吐掉了三分之一;DFlash2 从 K=7 加到 K=15 同样掉二成多。原因不难推:投机解码的收益是“减少解码步数”,代价是“每步验证变贵 + 接受率衰减”。批量场景下验证成本随 B×K 增长,而第 7、第 8 个草稿 token 的接受概率已经很低,净收益转负。所以官方推荐的是 MTP2 或 DFlash2 K=7,而不是更大的 K。
这也修正了关于“瓶颈”的直觉:真正卡住转写吞吐的既不是稀疏度,也不是浮点峰值,而是解码步数 × 每步权重搬运量 × 可承受并发这三者的乘积。--speculative-config '{"method":"mtp","num_speculative_tokens":8}' 写在启动命令里是官方示例,但在 H100 上它并不是最快的那一档。
还有一个必须点明的落差:README 的 Efficiency 一节给出的 2,238 RTFx、30 秒音频 0.13 秒返回,是在 **RTX PRO 6000 Blackwell 上跑 NIM 的优化实现(NVFP4 + DFlash2)**测得的,而“release day 随 NeMo Speech 发布的 vLLM 集成约慢 2 倍”。同一份权重、同一张卡,纯软件栈差异就是 2 倍——这再次说明瓶颈在调度、kernel 与缓存策略,而不在模型有多少专家。
把账算到自己机器上
官方单卡启动命令里有几个参数,每一个都对应上面某一笔账,值得逐条对上:
export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600 # 默认 600s,只放行 10 分钟音频
export VLLM_MAX_AUDIO_CLIP_FILESIZE_MB=180
export VLLM_USE_V2_MODEL_RUNNER=0 # 词级时间戳依赖 V1 runner
vllm serve ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B \
--dtype bfloat16 --gpu-memory-utilization 0.94 \
--max-model-len 65536 --max-num-batched-tokens 4096 --max-num-seqs 192 \
--enable-chunked-prefill --no-enable-prefix-caching \
--use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
--speculative-config '{"method":"mtp","num_speculative_tokens":8}'
--max-model-len 65536:不是随便取的,它对应“1 小时音频 = 45,000 音频 token + 提示词 + 输出”的上界。想处理更长的录音,只能外部分段,而不是调大这个值。--max-num-batched-tokens 4096:一条 1 小时录音的 45,000 个音频 token 要切成约 11 个预填充块。块越小,首字延迟越低,但吞吐越差——这是又一处时间换时间的旋钮。--max-num-seqs 192:与前面估算的 Mamba 状态(约 46 MiB/序列)量级吻合,是显存而不是算力在决定这个数。--no-enable-prefix-caching:转写请求之间几乎没有公共前缀(每条音频都是新 token),开了只浪费元数据开销。--mamba-cache-mode none+--use-replayssm:明确选择“不缓存状态、按需重放”,用时间换显存。
如果目标是吞吐而不是单卡验证,README 给了专家并行的走法:
--data-parallel-size 8 --api-server-count 8 \
--enable-expert-parallel --disable-custom-all-reduce
这一行才是“用稀疏度省显存”的唯一正确姿势:128 个路由专家被切分到 8 张卡上(TP=1、DP=8、EP=8),每张卡只驻留 1/8 的专家权重。张量并行切不了专家维度,只有专家并行能把 67.5 GB 摊到 8 张卡上。单卡谈 MoE 省显存,本质上谈错了对象。
如果只有一张 24–48GB 的卡,路径也很清晰:换 FP8 或 NVFP4 权重,而不是指望激活比例。这也是硬件表把 L40S 48GB 限定在 FP8、把 RTX 5090 限定在 NVFP4 的原因。
结论:省下的是“每 token 的时间”,前提是“显存先够”
把两条账并排放,问题就结束了:
| 维度 | MoE/稀疏专家带来的变化 | 实际决定因素 |
|---|---|---|
| 权重驻留 | 无变化,33.7B 全量驻留 | 参数量 × 精度;想省显存靠 FP8/NVFP4 或 EP 切分 |
| KV 缓存 | 间接受益(只有 6 层全注意力) | 层数 × KV 头数 × 上下文长度 |
| Mamba 状态 | 无变化,约 46 MiB/序列且与长度无关 | 并发数;可用 mamba-cache-mode none 换显存 |
| 每 token 算力 | 降低约 7.8 倍(8.6 GB vs 67.5 GB 访存) | 激活参数 4.3B |
| 单流延迟 | 明显受益(带宽墙被推低) | HBM 带宽 ÷ 激活权重字节数 |
| 批量吞吐 | 需要足够显存才能兑现 | 剩余显存 → max-num-seqs → 可批大小 |
| 解码步数 | 与稀疏无关,靠投机解码压缩 | MTP2 / DFlash2 K=7 优于更大 K |
所以标题里的问题有一个不含糊的答案:稀疏专家省下的是时间——准确地说是每个 token 的权重搬运时间;它一分显存都没省。 而这份时间收益能不能兑现,取决于你有没有先把 33.7B 装进去、并留出足够的余量把 batch 批起来。
这解释了为什么同一份权重在不同硬件上表现差异如此之大:A100 80GB 只能 BF16,几乎没余量批处理;L40S 48GB 用 FP8 反而更从容;RTX PRO 6000 用 NVFP4 加 DFlash2 能跑到 2,238 RTFx。模型没变,稀疏度没变,变的只是“权重占多少、剩下多少留给并发”。
对工程落地的直接建议只有三条:先把精度降下来腾出显存,再用 MTP2 或 DFlash2 K=7 压解码步数,最后才去调 max-num-seqs 和 max-num-batched-tokens 找吞吐拐点。把顺序倒过来,就会得到一台“激活只有 4B、但一张 80GB 卡只能跑个位数并发”的机器。

