NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 语音转文字实战:一条命令,把 1 小时录音变成精准文字稿
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 语音转文字实战:一条命令,把 1 小时录音变成精准文字稿
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 是 NVIDIA 开源的离线语音识别(ASR)大模型 FP8 量化版,支持最长 1 小时录音、40 种语言和多说话人转写。本文带你用一条 vllm serve 命令把它跑起来:从下载模型、启动服务到发出第一条转写请求,跟着做 10 分钟即可把会议录音变成带时间戳的精准文字稿。
为什么选 Nemotron 3.5 Transcribe 做语音转文字?
先看清它的核心规格,判断是否满足你的场景:
| 参数 | 说明 |
|---|---|
| 总参数量 | 34B(每次推理仅激活约 4.3B,MoE 架构) |
| 架构 | Mamba-2–Transformer 混合 + Mixture of Experts(MoE) |
| 支持语言 | 40 种(中文、英语、日语、韩语、西语等,含混合语言) |
| 最长录音 | 1 小时(65,536 token 上下文) |
| 精度 | FP8(ModelOpt 训练后量化,精度接近 BF16) |
| 部署门槛 | 单卡 1× RTX PRO 6000 Blackwell(96 GB) |
它的卖点不只是"转写":
- ⏱️ 1 小时长录音:官方按最长 1 小时录音训练,长音频平均 WER 10.98%,领先同类开源模型;
- 🗣️ 多说话人转写:自动标注
<spk:0>、<spk:1>,配合说话人分离结果; - 🔤 词级时间戳:内置 CTC 对齐头,每个词带起止秒数;
- 🌍 不止转写:语音翻译、语言识别、音频问答一个模型全搞定;
- ⚡ FP8 量化:权重体积和显存占用减半,平均错误率仅比 BF16 版相对高约 1.0%。
部署前:硬件与软件清单
不同 GPU 支持的精度不同,FP8 版本建议 Blackwell 或 Hopper 架构显卡:
| GPU 架构 | 代表型号 | 支持精度 |
|---|---|---|
| Blackwell | RTX PRO 6000、B200、GB200/GB300、DGX Spark | BF16 / FP8 / NVFP4 |
| Hopper | H100 / H200 | BF16 / FP8 |
| Ampere | A100 80GB | BF16 |
| Lovelace | L40S 48GB | FP8 |
软件侧需要三个组件:
- vLLM 0.32.0(推理引擎);
- NeMo Speech(提供本模型的 vLLM 插件,负责加载 FP8 权重与 CTC 时间戳中间件);
- CUDA 13 工具包的
nvcc(首次启动编译量化注意力内核用,需加入PATH)。
💡 提示:首次启动会 JIT 编译 FlashInfer 内核,需要几分钟;把
FLASHINFER_WORKSPACE_BASE指向持久目录可避免重启后重复编译。
三步启动语音识别服务(Quick Start)
第一步:获取模型文件
git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8
cd NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8
第二步:一条命令启动服务
export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600 # 允许解码最长 1 小时录音
export VLLM_MAX_AUDIO_CLIP_FILESIZE_MB=180
export VLLM_USE_V2_MODEL_RUNNER=0 # 词级时间戳需要 V1 runner
export VLLM_DISABLED_KERNELS=FlashInferFP8ScaledMMLinearKernel
vllm serve . \
--served-model-name nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 \
--trust-remote-code --dtype bfloat16 --kv-cache-dtype auto \
--gpu-memory-utilization 0.85 --max-model-len 65536 \
--max-num-batched-tokens 4096 --max-num-seqs 64 \
--enable-chunked-prefill --no-enable-prefix-caching \
--use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
--mm-processor-cache-gb 0 --no-async-scheduling \
--limit-mm-per-prompt '{"audio":{"count":1,"length":57600000}}' \
--speculative-config '{"method":"mtp","num_speculative_tokens":8}' \
--reasoning-parser nemotron_v3 --trust-request-mm-kwargs \
--middleware nemo.collections.speechlm2.vllm.salm.ctc_serving.ctc_timestamp_middleware
几个关键参数解释:
--max-model-len 65536:对齐模型 65,536 token 的训练上下文;--speculative-config:启用 MTP 多 token 预测投机解码(一次预测 8 个 token),显著提速;--middleware ...ctc_timestamp_middleware:开启词级时间戳能力,客户端可按需索取。
第三步:发送第一条转写请求
服务启动后监听 127.0.0.1:8000,使用 OpenAI 兼容客户端即可:
import base64
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
audio = base64.b64encode(open("audio.wav", "rb").read()).decode()
response = client.chat.completions.create(
model="nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8",
messages=[{"role": "user", "content": [
{"type": "text", "text": "Transcribe the following audio."},
{"type": "audio_url", "audio_url": {"url": f"data:audio/wav;base64,{audio}"}},
]}],
temperature=0,
extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(response.choices[0].message.content)
要点:
- 转写任务用 temperature 0 + 关闭推理(
enable_thinking: False),贪心解码最稳; - 长录音会消耗大量输出 token(1 小时密集对话约需 2 万 token),记得调大
max_tokens避免截断; - 音频支持
.wav、.flac、.mp3、.ogg等可解码为 PCM 的格式,按 16 kHz 单声道处理。
选对提示词 = 选对转写风格
这个模型是"语音语言模型":转写风格由 user 消息里的指令决定,system prompt 保持为空。常用指令速查:
| 你想要的效果 | 提示词(user message) | 适用场景 |
|---|---|---|
| 逐字转写(保留口癖、重复) | Audio transcription. Language: as spoken. Wording: verbatim, including fillers and repetitions. Formatting: punctuation and capitalization. Output: transcript only. |
研究语料、精细审校 |
| 干净可读的文字稿 | 将上一句的 wording 换成 omit fillers and accidental repetitions; keep the remaining spoken wording unchanged |
字幕、笔记、可检索录音 |
| 领域词汇偏置 | Transcribe with punctuation and capitalization. Context terms: <人名与术语列表>. |
财报电话、客服录音、技术讨论 |
| 说话人 + 词级时间戳 | Transcribe this audio with punctuation and capitalization. ... Put speaker tags <spk:0> <spk:1> <spk:2> <spk:3> on the transcription.(请求中再加 capture_ctc_timestamps: True) |
会议回顾、剪辑工作流 |
| 只转写近场说话人 | ... Transcribe only the speaker nearest to the microphone. Do not transcribe any other voices. |
带背景人声的听写场景 |
| 语音翻译 | Please translate the given speech to <目标语言>. |
多语言媒体、本地化 |
| 音频问答 | 直接提问,并开启推理(enable_thinking: True,temperature 0.6) |
音频检索与理解 |
开启时间戳后,响应会附带一个 ctc_timestamps 对象:words(每词的起止秒数与说话人标签)、diarization(说话人活动片段)和 error(使用前先检查该字段是否为 null)。
1 小时录音要花多久?实测性能
在单张 RTX PRO 6000 Blackwell(Server Edition)上:
- 官方 NIM 优化版(NVFP4 + DFlash2 投机解码)每秒可转写 2,238 秒音频,约 37 倍实时速度;
- 30 秒录音的转写结果 0.13 秒返回;
- 精度越高延迟越敏感:BF16 吞吐明显低于 FP8/NVFP4,而 FP8 与 BF16 的精度差距极小,是兼顾成本与质量的选择。
⚠️ 注意:开源仓库配套的 vLLM 集成面向模型开发,速度约为 NIM 优化版的 1/2;上面的曲线来自优化后的 NIM,开源部署时请以实测为准。
想更贴合业务?微调提升效果一览
官方通过 NeMo Speech 提供的微调工具链,可以用很少的数据把模型调成"领域专家",例如:
- 斯瓦希里语 ASR:WER 从 73.7% 降到 20.8%;
- 反语音欺骗检测:EER 从 26.9% 降到 0.9%;
- 情绪识别(CREMA-D):准确率 38.3% → 75.5%。
如果你的录音涉及专有名词(产品代号、人名、术语),优先尝试更轻量的上下文偏置(Context terms 提示词),效果不达标再考虑微调。
模型内部一览:架构与仓库文件
数据流一句话概括:16 kHz 音频 → Log-mel 特征(切 30 秒块)→ Parallel Expert Encoder(32 层 Transformer ASR 编码器 + Sortformer 说话人编码器,说话人分支冻结)→ 线性投影 1280→2688 → Nemotron 3.5 Lightning 30B-A3B 混合 Mamba-2/MoE 语言模型逐 token 生成文字;生成结束后,独立的 CTC 时间戳头(47M 参数)把文字稿强制对齐回音频,得到词级时间戳。
仓库里每个文件的作用,方便你按需取用:
| 文件 | 说明 |
|---|---|
| config.json | 模型总配置:架构、30 秒音频分块、MTP 与 FP8 量化配置 |
| llm_backbone/config.json | 语言骨干配置(128 专家、Mamba/Attention 层排布) |
| hf_quant_config.json | Hugging Face 生态的量化配置 |
| tokenizer.json、tokenizer_config.json | 分词器文件(131k 词表) |
| model-00001-of-00004.safetensors 等 4 个分片 | 主模型权重(FP8) |
| model-ctc-bf16.safetensors | CTC 时间戳头(保留 BF16,保证对齐精度) |
| model-mtp-fp8.safetensors | MTP 多 token 预测头(投机解码用) |
| model.safetensors.index.json | 权重分片索引 |
| perception.safetensors | 音频感知模块(编码器 + 说话人编码器) |
| chat_template.jinja | 对话模板,支持 enable_thinking 推理开关 |
| generation_config.json | 生成参数默认值 |
| licenses/Qwen3-ASR-LICENSE.txt、licenses/vLLM-LICENSE.txt | 第三方组件许可证 |
| THIRD_PARTY_NOTICES.md、CONTRIBUTING.md | 第三方声明与贡献指南 |
常见问题 FAQ
Q1:这是实时流式语音识别吗? 不是。它是离线(offline)模型,30 秒分块是内部编码策略,不代表 30 秒延迟,也不能当流式 ASR 服务用。
Q2:FP8 量化会损失多少精度? 官方数据:转写基准平均错误率比 BF16 版相对高约 1.0%,换来的是约一半的显存与更高的吞吐,性价比很高。
Q3:为什么 CTC 头单独用 BF16 存储? 词级时间戳依赖 CTC 对齐的数值稳定性,量化会放大对齐误差,因此该模块保留 BF16。
Q4:能商用吗? 可以。模型遵循 OpenMDW-1.1 许可,商用与非商用均可,但需遵守许可条款及 licenses/ 中列出的第三方许可。
Q5:音频问答等其他语言可靠吗? 转写与翻译覆盖 40 种语言;但音频理解、推理和口语指令目前只验证了英语,其他语言不保证效果。
总结
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 把"大模型语音识别"的门槛拉到了单卡级别:一条 vllm serve 命令启动服务,一段 OpenAI 兼容请求即可完成转写,还白送了 40 语言支持、1 小时长录音、多说话人标注和词级时间戳。如果你是会议记录、客服质检、媒体字幕或播客转写的开发者,值得先拿一段 1 小时录音实测它的精度与速度。


