上下文词表让准确率飙升:NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 上下文偏置转录完整教程
上下文词表让准确率飙升:NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 上下文偏置转录完整教程
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 是英伟达开源的 40 语言语音转录大模型的 FP8 量化版,支持最长 1 小时录音与 65536 token 上下文。本文完整演示如何利用它的**上下文偏置(Context Biasing)**能力——在提示词里附上一份"上下文词表",就能把人名、产品名等专有名词的转写错误率最多压降约 82%。无需微调,改一行提示词即可生效。
什么是上下文偏置?为什么词表能让准确率飙升
传统语音识别(ASR)模型遇到"陌生词"很容易翻车:会议里提到的人名、公司财报里的产品代号、客服录音里的品牌名,都可能被听成发音相近的错误词。
**上下文偏置转录(Contextual Transcription)**的思路很直接:既然你知道录音里大概率会出现哪些词,那就把这份词表通过提示词告诉模型。模型生成文本时会参考词表,把"发音相似但语义陌生"的词纠正为正确写法。
Nemotron 3.5 Transcribe 在训练阶段就用大量"细粒度/粗粒度/干扰项/负样本"等多种上下文变体数据(详见 README.md 的训练数据章节)专门训练过这项能力,因此效果显著且对无关干扰词不敏感。
官方基准中的真实差距(WER 越低越好 ↓):
| 测试集 | 无上下文 | 加上下文词表 | 提升幅度 |
|---|---|---|---|
| ContextASR-Bench | 3.33% | 1.71%(fine 词表) | WER 降低约 49% |
| Contextual Earnings22(财报通话) | 12.54% | 9.58%(local 词表) | WER 降低约 24% |
| Preference-ASR | 7.56% | 6.16%(fine 词表) | WER 降低约 18% |
更直观的指标是专有名词(Named Entity)WER:从 12.21% 降到 2.20%,名词漏检率从 14.99% 降到 1.32%;在财报通话场景中,关键词召回率从 58.16% 提升到 96.05%。也就是说,加一份词表,"听错专名"的概率被削掉了近九成。
模型核心参数一览:30B 总参数、4.3B 激活、FP8 量化
先快速认识一下这个模型,判断它是否适合你的场景:
| 项目 | 规格 |
|---|---|
| 总参数 / 激活参数 | 34B / 约 4.3B(含音频编码器) |
| 架构 | Mamba-2–Transformer 混合 MoE 语言模型 + Transformer ASR 编码器 |
| 精度 | FP8(ModelOpt 训练后量化,BF16 模型的量化版本) |
| 上下文 | 65,536 tokens,支持最长 1 小时录音 |
| 语言 | 40 种,覆盖英语、中文、西语、日语、阿语等 |
| 任务 | 逐字/书面转录、上下文偏置转录、说话人分离、语音翻译、语种识别、音频问答 |
| 部署门槛 | 单卡 1× RTX PRO 6000 Blackwell(96 GB) |
| 许可证 | OpenMDW-1.1 |
架构要点(对应上图):音频先经 32 层 Transformer ASR 分支编码,叠加说话人编码信息后投影到 2688 维,再与文本提示一起送入 Nemotron 3.5 Lightning 30B-A3B 语言骨干自回归生成文本;解码完成后可选地用 CTC 头部做词级时间戳对齐。语言骨干的详细层配置见 llm_backbone/config.json,整体超参见 config.json。
⚠️ FP8 版本说明:该 checkpoint 是 BF16 模型的量化版,官方基准数字基于 BF16 模型测得,FP8 版本平均误差率相对高约 1.0%。量化配置(8bit 浮点、KV Cache 量化、豁免量化的模块清单)记录在 hf_quant_config.json 中。
上下文偏置转录实操教程
第一步:下载模型并准备推理环境
本仓库为只读模型权重仓库,可直接作为 vLLM 的模型目录使用。核心文件包括 4 个分片的权重文件(如 model-00001-of-00004.safetensors)、感知模块权重 perception.safetensors、CTC 时间戳头权重 model-ctc-bf16.safetensors、分片索引 model.safetensors.index.json 和词表 tokenizer.json。
推荐环境:vLLM 0.32.0 + NeMo Speech 最新 main 分支(提供该模型的 vLLM 插件),Python 3.13。FP8 算子还要求 CUDA 13 工具包的 nvcc 在 PATH 中。vLLM 的许可证见 licenses/vLLM-LICENSE.txt。
# 用 hf 命令行把模型下载到本地目录(仓库只读,勿修改)
hf download nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 \
--local-dir ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8
第二步:启动 vLLM 转录服务
官方在单卡 RTX PRO 6000 Blackwell(96 GB)上验证过的启动命令如下(完整参数与逐项解释见 README.md 的 "Start the Server" 小节):
export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600 # 允许解码最长 1 小时录音
vllm serve ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 \
--served-model-name nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 \
--trust-remote-code --dtype bfloat16 --kv-cache-dtype auto \
--gpu-memory-utilization 0.85 --max-model-len 65536 \
--use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
--speculative-config '{"method":"mtp","num_speculative_tokens":8}' \
--reasoning-parser nemotron_v3
几个新手容易踩的坑:
--kv-cache-dtype auto不要改,让 vLLM 自动识别 ModelOpt 的 FP8 KV Cache 方案;--max-model-len 65536是 1 小时长录音的前提,别缩小;--speculative-config是 MTP 投机解码(多 token 预测),追求低延迟可保留,不需要可整行删除;- 服务默认监听
127.0.0.1:8000。
第三步:在提示词中加入 Context terms 词表(核心操作)
这是整篇文章的精华。官方推荐的上下文偏置转录提示词模板只有一句话:
Transcribe with punctuation and capitalization. Context terms: <names and terms>.
把 <names and terms> 换成你的词表即可,例如:
Transcribe with punctuation and capitalization. Context terms: Granary, DiPCo, NeMo, Blackwell, Earnings22.
使用规则(官方 Prompt Guide 的要点):
- system 提示词保持为空,把指令连同音频一起放在 user 消息里;
- 词表直接拼在
Context terms:之后,用逗号分隔人名、公司名、产品名、术语; - 不需要其他额外参数——模型会在生成时自动参考词表。
第四步:采样参数建议
转录类任务(含上下文偏置转录、翻译、语种识别)推荐:temperature 0、关闭推理模式(chat_template_kwargs 中 enable_thinking: False),即贪心解码,保证结果稳定可复现。音频理解类问答才需要开启推理模式(temperature 0.6、top_p 0.95)。推理开关由聊天模板控制,模板见 chat_template.jinja。
微调收益与性能表现:词表之外的两条提速路线
上下文词表不够用时,可以微调
如果你的场景是长期固定的垂直领域(医疗、客服、特定语种),除了每次传词表,还可以用 NeMo Speech 的微调工具链对模型做领域适配。仓库中的收益对比图展示了基础模型(灰点)与微调后(绿点)在多个任务上的差距,例如 FLEURS 斯瓦希里语 ASR 的 WER 从 73.7 降到 20.8,抗欺骗检测 EER 从 26.9 降到 0.9:
FP8 单卡推理性能:吞吐与延迟
官方 NIM 服务在单张 RTX PRO 6000 Blackwell 上测得的吞吐—延迟曲线如下(绿色 BF16、蓝色 FP8、橙色 NVFP4;虚线为启用 MTP/DFlash2 投机解码):30 秒音频在 NVFP4 + DFlash2 下最高可达每秒处理约 256 路并发、每秒转写超过 2000 秒音频,30 秒录音的转写延迟可低至 0.13 秒:
开源渠道(NeMo Speech 中的 vLLM 集成)主要用于模型开发,速度约为优化后 NIM 的一半;--no-enable-prefix-caching、--use-replayssm 等参数需按官方命令保留,以保证 Mamba 混合架构的长录音正确性。
常见问题与避坑指南
| 问题 | 说明与建议 |
|---|---|
| 上下文词表会"带偏"普通词吗? | 官方训练时专门加入了干扰项/负上下文变体,普通词几乎不受影响(ContextASR-Bench 粗粒度词表下 WER 3.34% ≈ 无词表 3.33%) |
| 支持实时流式转录吗? | 不支持。这是离线模型,编码器内部的 30 秒分块只是处理手段,不代表流式延迟 |
| 录音超过 1 小时怎么办? | 训练上限即 1 小时、65536 token 上下文,超出后效果不保证,建议自行分段并保留少量重叠 |
| 生成陷入重复循环? | 官方建议在输出返回前跑一次重复块清理函数(README "Generation-Loop Guardrail" 小节) |
输出里 <spk:N>、<ev:*> 标签是什么? |
说话人/事件特殊标签。需要保留标签时设置 skip_special_tokens=false;词级时间戳需按 README 启用 capture_ctc_timestamps |
| 中文能用到上下文偏置吗? | 可以。中文在 40 种支持语言之列,词表直接填中文专名即可 |
仓库文件导览
| 文件 | 用途 |
|---|---|
| README.md | 模型卡全文:基准结果、完整推理命令、所有评测提示词 |
| config.json | 模型总配置:架构、MTP、CTC 时间戳词表(23862 类)、FP8 量化清单 |
| llm_backbone/config.json | 语言骨干(NemotronH)层结构:Mamba/MoE/Attention 交替排布 |
| hf_quant_config.json | FP8 量化算法、KV Cache 量化与豁免模块列表 |
| chat_template.jinja | 聊天模板,控制推理开关(enable_thinking) |
| model-ctc-bf16.safetensors | CTC 时间戳头权重,用于词级时间戳与说话人对齐 |
| perception.safetensors | 音频感知模块(ASR 编码器 + 说话人编码器)权重 |
| licenses/Qwen3-ASR-LICENSE.txt、licenses/vLLM-LICENSE.txt | 第三方组件许可证 |
小结
- 上下文偏置转录 = 在提示词里加一句
Context terms: ...,零成本让专有名词 WER 最高降约 82%; - 部署门槛明确:单卡 RTX PRO 6000 Blackwell(96 GB)+ vLLM 0.32.0 + NeMo Speech,FP8 精度接近 BF16 质量;
- 转录任务记得:空 system 提示、temperature 0、关闭推理模式;
- 词表解决"陌生词",微调解决"长期垂直领域",两者可组合使用。
掌握这几点,你就能把 Nemotron 3.5 Transcribe FP8 变成一个"听得懂你行业黑话"的转录服务。


