上下文词表让准确率飙升:NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 上下文偏置转录完整教程

原创2026-11-08 17:55:372,886 阅读

上下文词表让准确率飙升:NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 上下文偏置转录完整教程

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 是英伟达开源的 40 语言语音转录大模型的 FP8 量化版,支持最长 1 小时录音与 65536 token 上下文。本文完整演示如何利用它的**上下文偏置(Context Biasing)**能力——在提示词里附上一份"上下文词表",就能把人名、产品名等专有名词的转写错误率最多压降约 82%。无需微调,改一行提示词即可生效。

什么是上下文偏置?为什么词表能让准确率飙升

传统语音识别(ASR)模型遇到"陌生词"很容易翻车:会议里提到的人名、公司财报里的产品代号、客服录音里的品牌名,都可能被听成发音相近的错误词。

**上下文偏置转录(Contextual Transcription)**的思路很直接:既然你知道录音里大概率会出现哪些词,那就把这份词表通过提示词告诉模型。模型生成文本时会参考词表,把"发音相似但语义陌生"的词纠正为正确写法。

Nemotron 3.5 Transcribe 在训练阶段就用大量"细粒度/粗粒度/干扰项/负样本"等多种上下文变体数据(详见 README.md 的训练数据章节)专门训练过这项能力,因此效果显著且对无关干扰词不敏感。

官方基准中的真实差距(WER 越低越好 ↓):

测试集 无上下文 加上下文词表 提升幅度
ContextASR-Bench 3.33% 1.71%(fine 词表) WER 降低约 49%
Contextual Earnings22(财报通话) 12.54% 9.58%(local 词表) WER 降低约 24%
Preference-ASR 7.56% 6.16%(fine 词表) WER 降低约 18%

更直观的指标是专有名词(Named Entity)WER:从 12.21% 降到 2.20%,名词漏检率从 14.99% 降到 1.32%;在财报通话场景中,关键词召回率从 58.16% 提升到 96.05%。也就是说,加一份词表,"听错专名"的概率被削掉了近九成。

模型核心参数一览:30B 总参数、4.3B 激活、FP8 量化

先快速认识一下这个模型,判断它是否适合你的场景:

项目 规格
总参数 / 激活参数 34B / 约 4.3B(含音频编码器)
架构 Mamba-2–Transformer 混合 MoE 语言模型 + Transformer ASR 编码器
精度 FP8(ModelOpt 训练后量化,BF16 模型的量化版本)
上下文 65,536 tokens,支持最长 1 小时录音
语言 40 种,覆盖英语、中文、西语、日语、阿语等
任务 逐字/书面转录、上下文偏置转录、说话人分离、语音翻译、语种识别、音频问答
部署门槛 单卡 1× RTX PRO 6000 Blackwell(96 GB)
许可证 OpenMDW-1.1

NVIDIA Nemotron 3.5 Transcribe 上下文偏置转录模型的 Mamba-Transformer MoE 混合架构图

架构要点(对应上图):音频先经 32 层 Transformer ASR 分支编码,叠加说话人编码信息后投影到 2688 维,再与文本提示一起送入 Nemotron 3.5 Lightning 30B-A3B 语言骨干自回归生成文本;解码完成后可选地用 CTC 头部做词级时间戳对齐。语言骨干的详细层配置见 llm_backbone/config.json,整体超参见 config.json。

⚠️ FP8 版本说明:该 checkpoint 是 BF16 模型的量化版,官方基准数字基于 BF16 模型测得,FP8 版本平均误差率相对高约 1.0%。量化配置(8bit 浮点、KV Cache 量化、豁免量化的模块清单)记录在 hf_quant_config.json 中。

上下文偏置转录实操教程

第一步:下载模型并准备推理环境

本仓库为只读模型权重仓库,可直接作为 vLLM 的模型目录使用。核心文件包括 4 个分片的权重文件(如 model-00001-of-00004.safetensors)、感知模块权重 perception.safetensors、CTC 时间戳头权重 model-ctc-bf16.safetensors、分片索引 model.safetensors.index.json 和词表 tokenizer.json。

推荐环境:vLLM 0.32.0 + NeMo Speech 最新 main 分支(提供该模型的 vLLM 插件),Python 3.13。FP8 算子还要求 CUDA 13 工具包的 nvcc 在 PATH 中。vLLM 的许可证见 licenses/vLLM-LICENSE.txt。

# 用 hf 命令行把模型下载到本地目录(仓库只读,勿修改)
hf download nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 \
  --local-dir ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8

第二步:启动 vLLM 转录服务

官方在单卡 RTX PRO 6000 Blackwell(96 GB)上验证过的启动命令如下(完整参数与逐项解释见 README.md 的 "Start the Server" 小节):

export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600   # 允许解码最长 1 小时录音
vllm serve ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 \
  --served-model-name nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 \
  --trust-remote-code --dtype bfloat16 --kv-cache-dtype auto \
  --gpu-memory-utilization 0.85 --max-model-len 65536 \
  --use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
  --speculative-config '{"method":"mtp","num_speculative_tokens":8}' \
  --reasoning-parser nemotron_v3

几个新手容易踩的坑:

  • --kv-cache-dtype auto 不要改,让 vLLM 自动识别 ModelOpt 的 FP8 KV Cache 方案;
  • --max-model-len 65536 是 1 小时长录音的前提,别缩小;
  • --speculative-config 是 MTP 投机解码(多 token 预测),追求低延迟可保留,不需要可整行删除;
  • 服务默认监听 127.0.0.1:8000。

第三步:在提示词中加入 Context terms 词表(核心操作)

这是整篇文章的精华。官方推荐的上下文偏置转录提示词模板只有一句话:

Transcribe with punctuation and capitalization. Context terms: <names and terms>.

把 <names and terms> 换成你的词表即可,例如:

Transcribe with punctuation and capitalization. Context terms: Granary, DiPCo, NeMo, Blackwell, Earnings22.

使用规则(官方 Prompt Guide 的要点):

  1. system 提示词保持为空,把指令连同音频一起放在 user 消息里;
  2. 词表直接拼在 Context terms: 之后,用逗号分隔人名、公司名、产品名、术语;
  3. 不需要其他额外参数——模型会在生成时自动参考词表。

第四步:采样参数建议

转录类任务(含上下文偏置转录、翻译、语种识别)推荐:temperature 0、关闭推理模式(chat_template_kwargs 中 enable_thinking: False),即贪心解码,保证结果稳定可复现。音频理解类问答才需要开启推理模式(temperature 0.6、top_p 0.95)。推理开关由聊天模板控制,模板见 chat_template.jinja。

微调收益与性能表现:词表之外的两条提速路线

上下文词表不够用时,可以微调

如果你的场景是长期固定的垂直领域(医疗、客服、特定语种),除了每次传词表,还可以用 NeMo Speech 的微调工具链对模型做领域适配。仓库中的收益对比图展示了基础模型(灰点)与微调后(绿点)在多个任务上的差距,例如 FLEURS 斯瓦希里语 ASR 的 WER 从 73.7 降到 20.8,抗欺骗检测 EER 从 26.9 降到 0.9:

Nemotron 3.5 Transcribe 微调前后各任务准确率收益对比图(灰点为基座模型,绿点为微调后)

FP8 单卡推理性能:吞吐与延迟

官方 NIM 服务在单张 RTX PRO 6000 Blackwell 上测得的吞吐—延迟曲线如下(绿色 BF16、蓝色 FP8、橙色 NVFP4;虚线为启用 MTP/DFlash2 投机解码):30 秒音频在 NVFP4 + DFlash2 下最高可达每秒处理约 256 路并发、每秒转写超过 2000 秒音频,30 秒录音的转写延迟可低至 0.13 秒:

Nemotron 3.5 Transcribe 在 RTX PRO 6000 上 BF16/FP8/NVFP4 三种精度下 30 秒与 10 分钟音频的吞吐量与延迟对比图

开源渠道(NeMo Speech 中的 vLLM 集成)主要用于模型开发,速度约为优化后 NIM 的一半;--no-enable-prefix-caching、--use-replayssm 等参数需按官方命令保留,以保证 Mamba 混合架构的长录音正确性。

常见问题与避坑指南

问题 说明与建议
上下文词表会"带偏"普通词吗? 官方训练时专门加入了干扰项/负上下文变体,普通词几乎不受影响(ContextASR-Bench 粗粒度词表下 WER 3.34% ≈ 无词表 3.33%)
支持实时流式转录吗? 不支持。这是离线模型,编码器内部的 30 秒分块只是处理手段,不代表流式延迟
录音超过 1 小时怎么办? 训练上限即 1 小时、65536 token 上下文,超出后效果不保证,建议自行分段并保留少量重叠
生成陷入重复循环? 官方建议在输出返回前跑一次重复块清理函数(README "Generation-Loop Guardrail" 小节)
输出里 <spk:N>、<ev:*> 标签是什么? 说话人/事件特殊标签。需要保留标签时设置 skip_special_tokens=false;词级时间戳需按 README 启用 capture_ctc_timestamps
中文能用到上下文偏置吗? 可以。中文在 40 种支持语言之列,词表直接填中文专名即可

仓库文件导览

文件 用途
README.md 模型卡全文:基准结果、完整推理命令、所有评测提示词
config.json 模型总配置:架构、MTP、CTC 时间戳词表(23862 类)、FP8 量化清单
llm_backbone/config.json 语言骨干(NemotronH)层结构:Mamba/MoE/Attention 交替排布
hf_quant_config.json FP8 量化算法、KV Cache 量化与豁免模块列表
chat_template.jinja 聊天模板,控制推理开关(enable_thinking)
model-ctc-bf16.safetensors CTC 时间戳头权重,用于词级时间戳与说话人对齐
perception.safetensors 音频感知模块(ASR 编码器 + 说话人编码器)权重
licenses/Qwen3-ASR-LICENSE.txt、licenses/vLLM-LICENSE.txt 第三方组件许可证

小结

  • 上下文偏置转录 = 在提示词里加一句 Context terms: ...,零成本让专有名词 WER 最高降约 82%;
  • 部署门槛明确:单卡 RTX PRO 6000 Blackwell(96 GB)+ vLLM 0.32.0 + NeMo Speech,FP8 精度接近 BF16 质量;
  • 转录任务记得:空 system 提示、temperature 0、关闭推理模式;
  • 词表解决"陌生词",微调解决"长期垂直领域",两者可组合使用。

掌握这几点,你就能把 Nemotron 3.5 Transcribe FP8 变成一个"听得懂你行业黑话"的转录服务。

登录后查看全文
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8