Qwen3-ASR、Voxtral 与 Nemotron 同台:流式转写谁先把延迟压下来
Qwen3-ASR、Voxtral 与 Nemotron 同台:流式转写谁先把延迟压下来
过去两周,"本地 ASR 三强同台"的说法在社区里被反复引用:一个叫 audio.cpp 的纯 C++ 推理引擎,把阿里 Qwen3-ASR、Mistral 的 Voxtral Realtime 和英伟达 Nemotron 系模型塞进同一个测试环境,得到的结论是转写速度有 2×~9× 的加速比、输出与官方 Python 版本"逐字节一致"、流式延迟不打折。这三个数字很好看,也很容易被拼成一句话:开源本地方案已经追上甚至反超了。
但真正值得写一篇拆解的,不是这三个数字本身,而是它们被拼在一起时丢掉的坐标系。本文以仓库 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B 的模型卡、配置与实测曲线为基准,把"延迟"这笔账重新拆开算一遍:哪些数字属于模型、哪些属于引擎、哪些属于特定硬件与特定闭源服务实现,以及在实际部署里,究竟还有多少优化空间。
一、这场"同台"比的其实是引擎,不是模型
先说清楚比赛规则。audio.cpp 的定位是"语音界的 llama.cpp":零 Python 依赖、GGUF 量化、CUDA/Metal/Vulkan/纯 CPU 多后端,三家模型共用一套运行时。这意味着当它宣称"快 2 到 9 倍"时,改变的是推理引擎与权重格式,而不是模型结构本身——同一份模型权重,换引擎、换量化、换内存布局,速度自然不同。这类对比对工程选型很有价值,但它回答的问题是"同一张显卡上哪套运行时更省时间",而不是"哪个模型天生延迟更低"。
第二个容易混淆的地方是命名。社区情报里反复出现三个不同的 Nemotron:
| 名字 | 参数量 | 定位 | 被引用的延迟数字 |
|---|---|---|---|
| Nemotron-3-Diarization | 约 1 亿 | 说话人分离 | 0.32 s |
| Nemotron 3.5 ASR(社区所称 0.6B) | 约 6 亿 | 流式语音识别 | 未给出权威单请求延迟 |
| Nemotron-3.5-Transcribe-30B-A4B(本仓库) | 34B 总参 / 4.3B 激活 | 离线转录、翻译、说话人标注 | 30 秒音频 0.13 s;峰值 2,238 RTFx |
0.32 秒来自说话人分离模型,衡量的是"多久能判定谁在说话";2×~9× 来自引擎替换;0.13 秒与 2,238 RTFx 来自英伟达自家的 NIM 服务实现。三条数字分属三个坐标系,混在一起就变成了"英伟达把流式延迟压到了 0.13 秒"。
模型卡对此其实有明确否认,而且否认得很直接:
This is an offline model. Internal audio chunking does not make it a real-time streaming ASR service.
以及关于输入规格的那一条:
The encoder uses 30-second post-feature chunks. This is an internal processing choice, not a 30-second recording limit or a streaming latency claim.
也就是说,本仓库这个 30B-A4B 的模型,官方定位就是离线整段处理。把它放进"流式转写谁最快"的赛道上,本身就是一次跨赛道的引用。这不是文字游戏,而是有硬性架构原因,后文第三节会从图纸上说明。
二、复现实测条件:引擎、量化、硬件三件套
要谈延迟,必须先把环境钉死。仓库给出的运行时矩阵比社区转述的要细得多:
| 运行时 | 版本 | 能做到什么 | 做不到什么 |
|---|---|---|---|
| vLLM + NeMo Speech 插件 | vLLM 0.32.0 + main 分支 | OpenAI 兼容接口、词级时间戳、MTP/DFlash2 投机解码 | 需 VLLM_PLUGINS=nemo_speechlm,配置项多 |
| SGLang-Omni | 0.2.0(pin SGLang 0.5.22) | /v1/audio/transcriptions 整文件转写,单卡跑 BF16/FP8 |
无词级时间戳、无说话人归属、无翻译、无投机解码 |
| Hugging Face Transformers | main 源码 | 进程内推理,return_word_timestamp_logits=True 拿对齐 logits |
无批量服务能力 |
| GGML | — | RTX 5090 / RTX PRO 6000 上原生 Windows 也能跑 | 量化路径独立,需另行验证精度 |
硬件与精度的对应关系是另一道硬门槛:默认参考配置是 1×H100 80GB + BF16;FP8 覆盖 H100/H200/B200/GB200/GB300/DGX Spark/Jetson Thor/RTX PRO 6000 与 L40S;NVFP4 只在 Blackwell 上可用,而且 RTX 5090 在 vLLM 路径下只支持 NVFP4,L40S 只支持 FP8。这意味着社区里那句"消费级显卡也能跑",成立与否取决于你手上是哪一代卡——把 RTX 30 系的体验外推到这张 34B 的 MoE 上,会得到完全错误的结论。
仓库给出的参考启动命令值得完整看一遍,因为几乎所有延迟相关的开关都在里面:
export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600
export VLLM_MAX_AUDIO_CLIP_FILESIZE_MB=180
export VLLM_USE_V2_MODEL_RUNNER=0 # 词级时间戳依赖 V1 runner
vllm serve ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B \
--served-model-name nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B \
--trust-remote-code --dtype bfloat16 --gpu-memory-utilization 0.94 \
--max-model-len 65536 --max-num-batched-tokens 4096 --max-num-seqs 192 \
--enable-chunked-prefill --no-enable-prefix-caching \
--use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
--speculative-config '{"method":"mtp","num_speculative_tokens":8}' \
--middleware nemo.collections.speechlm2.vllm.salm.ctc_serving.ctc_timestamp_middleware
--no-enable-prefix-caching 这一项乍看反直觉:既然要压延迟,为什么不复用 KV?答案在架构里——下一节展开。
三、把延迟拆开:prefill、decode、后处理各占多少
端到端延迟不是一个数,而是三段之和:音频编码与前填充、自回归解码、解码后的对齐后处理。这个模型的三段都有可查的常量。
第一段,音频 token 密度。 processor_config.json 里 feature_extractor_type 为 NemotronAsrStreamingFeatureExtractor,hop_length=160、sampling_rate=16000,即 10 ms 一帧、128 维 log-mel;模型卡的输入规格写明编码器特征步长约为 80 ms 一个音频 token。据此可以算出:
- 30 秒音频 ≈ 375 个音频 token;
- 1 小时音频 ≈ 45,000 个音频 token。
第二段,上下文预算。 --max-model-len 65536 与"最长 1 小时录音"是配套设计的:45,000 个音频 token 之后还剩约 20,000 个 token 给输出,而模型卡里恰好写着"一段信息密集的一小时对话可能需要约 20,000 个输出 token"。两个数字咬合得这么紧,说明这条上下文上限不是随便填的,而是按"1 小时输入 + 完整逐字稿"倒推出来的。
第三段,为什么它是离线的。 architecture.png 把答案画在了图的最外层。
图中有两条关键信息:
- 音频侧是 32 层 Transformer 编码器(d=1280、RoPE、8× 帧堆叠、80 ms/帧)与一个 冻结的 Sortformer 说话人编码器(8 个 speaker slot) 并联,经由 1280→2688 的线性投影并入语言主干;而 log-mel 特征是切成互相独立的 30 秒块送进去的。块与块之间没有因果注意力,这就解释了为什么
--no-enable-prefix-caching在整文件转写里几乎不亏——前缀本来就不复用。 - 左侧蓝色框的 CTC 时间戳头(2 层 Transformer + CTC 输出层,约 47M 参数) 标注为 "applied after generation",上方虚线注明 "generated transcript, force-aligned after decoding"。时间戳是在整段文本生成完之后,用完整音频与完整文本做强制对齐得到的。这个设计在原理上就与"边说边出带时间戳的字"互斥:流式场景下你还没有完整文本。
语言主干侧的结构同样影响延迟形态。据 llm_backbone/config.json,52 层按 mamba / moe / mamba / moe … 交错,其中 mamba 23 层、moe 23 层、attention 仅 6 层,128 个路由专家、top-6 激活、1 个共享专家,注意力头 32 个而 KV 头只有 2 个(GQA)。这套组合的收益是解码期每个 token 的状态更新成本与序列长度基本无关,且 KV 缓存极小;代价是 mamba_ssm_cache_dtype 为 float32、SSM 状态需要常驻,所以仓库要配 --use-replayssm 与 --mamba-cache-mode none 才能把显存压住。
有了这些常量,就能给"0.13 秒"定位了。30 秒音频、约 80~100 个英文词、0.13 秒返回,折算下来解码速率大致在 600~900 token/s 量级——这是 4.3B 激活参数的 MoE 在 Blackwell 上配合投机解码可以达到的水平,并不神奇。但把它按同一速率外推到 1 小时录音的 20,000 个输出 token,端到端就是 20~35 秒量级;模型卡的 10 分钟音频曲线在单请求下约 3.5 秒,也大致落在同一斜率上。换句话说:这个模型的延迟主要由输出长度决定,而不是由音频长度决定。 这也是"离线 SALM"与"流式 ASR"最本质的差别——后者可以在你说话时就把前置成本摊掉,前者必须等音频齐了再开始写。
顺带一个部署层面的坑:仓库的 chat_template.jinja 里 enable_thinking 的默认值是 True。如果请求里不带 chat_template_kwargs: {"enable_thinking": false},转录任务会先走一段思考再输出,延迟直接翻倍且格式错乱。所有延迟对比在复现时都必须先确认这一项,否则测出来的不是模型差异,而是提示词差异。
四、加速比与输出一致性如何同时成立
社区结论里最"反常识"的两条是:加速 2×~9× 的同时,输出还能逐字节一致。这件事要成立,必须同时满足三个前提。
前提一:解码是确定性的。 模型卡把转录、翻译、语种识别的解码参数钉死为 temperature 0、top_p 1.0、seed 0、关闭思考。greedy 解码在计算路径固定的前提下是可复现的,这时"换引擎不改输出"才是一个可以验证的命题,而不是营销话术。
前提二:权重来源相同。 如果基准测与优化测用的是同一份权重的两种运行时(而非 BF16 对 NVFP4),字节一致才有意义。一旦把量化变量引进来,argmax 就可能翻转,一致性就不再是必然。这一点在本仓库里有旁证:所有公开指标(英文 4.71、多语种 4.62、长音频 10.98)都是在 H100 + vLLM 0.28.0 + MTP2 的 BF16 环境下取得的,NVFP4 变体并没有给出对应的 WER 复测。所以"量化不掉点"在这个模型上没有证据,只有"量化能提速"的证据。
前提三:长解码不会失控。 greedy 解码的经典风险是陷入重复循环,仓库专门给了一个后处理护栏:
import re
CHAR_RUN = re.compile(r"(.)\1{20,}", re.DOTALL)
BLOCK_RUN = re.compile(r"(.{1,4096}?)\1{19,}", re.DOTALL)
def cleanup_generation_loops(text: str) -> str:
text = CHAR_RUN.sub(lambda m: m.group(1), text) # 单字符重复 ≥21 次折叠为 1 份
return BLOCK_RUN.sub(lambda m: m.group(1), text) # 1–4096 字符的块重复 ≥20 次折叠为 1 份
这段代码本身还是二次分发的产物:THIRD_PARTY_NOTICES.md 说明它改写自 Qwen3-ASR 的 detect_and_fix_repetitions,把可折叠块长度从 20 字符放宽到 4,096 字符,许可证是 Apache-2.0 而非模型权重的 OpenMDW-1.1。一家公司把竞品的去重函数写进自家模型卡,并明确标注来源与许可证,这个细节比任何排名都更能说明当下开源 ASR 生态的互相借力程度。
那么"加速比"到底是从哪来的?看 serving_performance.png,横轴是中位请求延迟(对数刻度),纵轴是 RTFx,两条竖排子图分别是 30 秒音频与 10 分钟音频,曲线上的方框数字是并发请求数(1、4、16、64、128、256)。
从图中可以直接读出三件事:
- 精度带来的吞吐差最大。 30 秒子图里 BF16 稳定在 400 RTFx 附近,FP8 到 780 左右,NVFP4 抬到 1,800 上下,配上 DFlash2 K=15 后在 256 并发处摸到约 2,300 RTFx——与模型卡宣称的 2,238 RTFx 一致。从 400 到 2,238,约合 5.6 倍,这条曲线撑得起"数量级"级别的说法。
- 并发才是吞吐的来源,不是单请求优化。 曲线在并发 1→4 之间几乎垂直上升,说明单卡上真正的吞吐红利来自批处理;谈"快 9 倍"如果不说是单请求还是批量,等于没谈。
- 10 分钟音频那一侧整体下移。 同样 NVFP4,30 秒能到 1,800 RTFx,10 分钟只有 1,000 出头;BF16 更是从 400 掉到 200。音频越长,单位时间能处理的音频秒数越少,原因是输出 token 变多而解码是串行的。
还有一处与直觉相反、但很值钱的细节。仓库给出的 H100 + BF16 吞吐对照表是这样的:
| 解码模式 | 近似 BF16 RTFx |
|---|---|
| MTP2 | 410 |
| MTP8 | 270 |
| DFlash2 K=7 | 340 |
| DFlash2 K=15 | 260 |
投机 2 个 token 反而比投机 8 个更快。 原因不难推:ASR 的输出极短、极规整,投机深度越大,被主模型否决的草稿 token 越多,验证开销吃掉收益;DFlash2 的 K=15 也同理输给 K=7。所以"投机解码一定更快"是错的,正确的说法是"在给定工作负载的接受率下更快"。仓库把 MTP8 写进默认启动命令,是因为它面向的是高并发批处理下的吞吐权衡,而不是单请求首字延迟——这两者经常互相矛盾。
五、结论的适用边界:哪些数字不能搬到你的机器上
把上面的证据收拢,可以给出一份很具体的"不可迁移清单"。
第一,0.13 秒与 2,238 RTFx 不属于开源版本。 模型卡写得很清楚:这组数字来自 NIM 里经过优化的 vLLM 实现,而这些服务侧优化"尚未包含在开源发布中",随 NeMo Speech 一起发布的 vLLM 集成"预计大约慢两倍"。也就是说,照抄仓库命令跑出来的,是 0.13 秒那条曲线的二分之一处,而不是终点。
第二,词级时间戳与 DFlash2 加速是互斥的。 时间戳中间件要求 VLLM_USE_V2_MODEL_RUNNER=0(V1 runner),而 DFlash2 只能在 V2 runner 上运行,且启用 DFlash2 时必须用 --hf-overrides '{"ctc_timestamps":{"enabled":false}}' 关掉 CTC 对齐。想要"带时间戳的会议纪要",就得放弃最快的解码路径;想要最低延迟,就得接受输出里没有时间戳和说话人映射。
第三,功能集随运行时缩水。 SGLang-Omni 路径虽然部署最轻(sgl-omni serve 两条命令起服务),但不含词级时间戳、说话人归属、翻译和投机解码,只做整文件转写。把它的延迟和 vLLM 全功能路径放在一起比,等于拿裸奔配置比全功能配置。
第四,硬件决定了你能开哪一档精度。 NVFP4 是这套吞吐数字的前提,而它只在 Blackwell 上可用;H100 只能上 BF16/FP8,L40S 只有 FP8,RTX 5090 在 vLLM 下只有 NVFP4。社区里"消费级显卡也能跑"的说法,指的是另一条产品线(6 亿参数的流式 ASR 与 1 亿参数的说话人分离),不是这张 34B 的 MoE。
第五,1 小时 / 65,536 token 是训练上限,不是工程上限。 模型卡明确写了超出这个范围"不保证泛化"。而现实里的长会议录音往往需要切块(评测里长音频就是按 55 分钟切、5 秒重叠跑的),切块会引入边界重复与上下文断裂,这部分误差不会出现在任何 RTFx 数字里。
最后还有一个容易被忽略的边界:微调能迁移的是准确率,不是延迟。 finetune_gains.png 展示的是同一基座在领域数据上微调后的变化——FLEURS 斯瓦希里语 ASR 的 WER 从 73.7 降到 20.8,反欺骗检测的 EER 从 26.9 降到 0.9,口音英语 WER 从 16.2 降到 15.9,代码切换 ASCEND 的 MER 从 19.9 降到 11.9。
这些增益全部发生在"识别得对不对"这条轴上。而延迟由权重精度、专家激活量、解码策略、批大小决定,微调一个 checkpoint 并不会让 4.3B 激活参数变少,也不会让自回归解码变成并行。把"微调后效果大幅提升"读成"微调后更快",是这类对比文章里最常见的误读。
回到标题那个问题:谁先把延迟压下来?如果"延迟"指的是首字出现的时间,那么 Voxtral Realtime 这类原生流式模型在定义上就赢了——它不需要等音频结束;如果指的是单位算力能处理多少音频,那么这张 34B 的 MoE 配上 NVFP4 与投机解码,在 Blackwell 上确实把 RTFx 抬到了四位数;如果指的是多久能拿到一份带说话人标签、带词级时间戳的完整逐字稿,那么这个模型压根没打算参加前两种比赛,它优化的是最后一段——而这恰恰是会议纪要、字幕归档、客服复盘真正要的东西。
选型的第一步从来不是看谁的数字大,而是先确认自己量的是哪一段延迟。仓库里那句 "This is an offline model" 之所以重要,不是因为它谦虚,而是因为它是唯一一句能防止你拿错坐标系的话。


