NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 语音转文字实战:一条命令,把 1 小时录音变成精准文字稿

原创2026-11-08 18:04:222,167 阅读

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 语音转文字实战:一条命令,把 1 小时录音变成精准文字稿

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 是 NVIDIA 开源的离线语音识别(ASR)大模型 FP8 量化版,支持最长 1 小时录音、40 种语言和多说话人转写。本文带你用一条 vllm serve 命令把它跑起来:从下载模型、启动服务到发出第一条转写请求,跟着做 10 分钟即可把会议录音变成带时间戳的精准文字稿。

为什么选 Nemotron 3.5 Transcribe 做语音转文字?

先看清它的核心规格,判断是否满足你的场景:

参数 说明
总参数量 34B(每次推理仅激活约 4.3B,MoE 架构)
架构 Mamba-2–Transformer 混合 + Mixture of Experts(MoE)
支持语言 40 种(中文、英语、日语、韩语、西语等,含混合语言)
最长录音 1 小时(65,536 token 上下文)
精度 FP8(ModelOpt 训练后量化,精度接近 BF16)
部署门槛 单卡 1× RTX PRO 6000 Blackwell(96 GB)

它的卖点不只是"转写":

  • ⏱️ 1 小时长录音:官方按最长 1 小时录音训练,长音频平均 WER 10.98%,领先同类开源模型;
  • 🗣️ 多说话人转写:自动标注 <spk:0>、<spk:1>,配合说话人分离结果;
  • 🔤 词级时间戳:内置 CTC 对齐头,每个词带起止秒数;
  • 🌍 不止转写:语音翻译、语言识别、音频问答一个模型全搞定;
  • ⚡ FP8 量化:权重体积和显存占用减半,平均错误率仅比 BF16 版相对高约 1.0%。

部署前:硬件与软件清单

不同 GPU 支持的精度不同,FP8 版本建议 Blackwell 或 Hopper 架构显卡:

GPU 架构 代表型号 支持精度
Blackwell RTX PRO 6000、B200、GB200/GB300、DGX Spark BF16 / FP8 / NVFP4
Hopper H100 / H200 BF16 / FP8
Ampere A100 80GB BF16
Lovelace L40S 48GB FP8

软件侧需要三个组件:

  1. vLLM 0.32.0(推理引擎);
  2. NeMo Speech(提供本模型的 vLLM 插件,负责加载 FP8 权重与 CTC 时间戳中间件);
  3. CUDA 13 工具包的 nvcc(首次启动编译量化注意力内核用,需加入 PATH)。

💡 提示:首次启动会 JIT 编译 FlashInfer 内核,需要几分钟;把 FLASHINFER_WORKSPACE_BASE 指向持久目录可避免重启后重复编译。

三步启动语音识别服务(Quick Start)

第一步:获取模型文件

git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8
cd NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8

第二步:一条命令启动服务

export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600   # 允许解码最长 1 小时录音
export VLLM_MAX_AUDIO_CLIP_FILESIZE_MB=180
export VLLM_USE_V2_MODEL_RUNNER=0              # 词级时间戳需要 V1 runner
export VLLM_DISABLED_KERNELS=FlashInferFP8ScaledMMLinearKernel

vllm serve . \
  --served-model-name nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 \
  --trust-remote-code --dtype bfloat16 --kv-cache-dtype auto \
  --gpu-memory-utilization 0.85 --max-model-len 65536 \
  --max-num-batched-tokens 4096 --max-num-seqs 64 \
  --enable-chunked-prefill --no-enable-prefix-caching \
  --use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
  --mm-processor-cache-gb 0 --no-async-scheduling \
  --limit-mm-per-prompt '{"audio":{"count":1,"length":57600000}}' \
  --speculative-config '{"method":"mtp","num_speculative_tokens":8}' \
  --reasoning-parser nemotron_v3 --trust-request-mm-kwargs \
  --middleware nemo.collections.speechlm2.vllm.salm.ctc_serving.ctc_timestamp_middleware

几个关键参数解释:

  • --max-model-len 65536:对齐模型 65,536 token 的训练上下文;
  • --speculative-config:启用 MTP 多 token 预测投机解码(一次预测 8 个 token),显著提速;
  • --middleware ...ctc_timestamp_middleware:开启词级时间戳能力,客户端可按需索取。

第三步:发送第一条转写请求

服务启动后监听 127.0.0.1:8000,使用 OpenAI 兼容客户端即可:

import base64
from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
audio = base64.b64encode(open("audio.wav", "rb").read()).decode()

response = client.chat.completions.create(
    model="nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Transcribe the following audio."},
        {"type": "audio_url", "audio_url": {"url": f"data:audio/wav;base64,{audio}"}},
    ]}],
    temperature=0,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(response.choices[0].message.content)

要点:

  • 转写任务用 temperature 0 + 关闭推理(enable_thinking: False),贪心解码最稳;
  • 长录音会消耗大量输出 token(1 小时密集对话约需 2 万 token),记得调大 max_tokens 避免截断;
  • 音频支持 .wav、.flac、.mp3、.ogg 等可解码为 PCM 的格式,按 16 kHz 单声道处理。

选对提示词 = 选对转写风格

这个模型是"语音语言模型":转写风格由 user 消息里的指令决定,system prompt 保持为空。常用指令速查:

你想要的效果 提示词(user message) 适用场景
逐字转写(保留口癖、重复) Audio transcription. Language: as spoken. Wording: verbatim, including fillers and repetitions. Formatting: punctuation and capitalization. Output: transcript only. 研究语料、精细审校
干净可读的文字稿 将上一句的 wording 换成 omit fillers and accidental repetitions; keep the remaining spoken wording unchanged 字幕、笔记、可检索录音
领域词汇偏置 Transcribe with punctuation and capitalization. Context terms: <人名与术语列表>. 财报电话、客服录音、技术讨论
说话人 + 词级时间戳 Transcribe this audio with punctuation and capitalization. ... Put speaker tags <spk:0> <spk:1> <spk:2> <spk:3> on the transcription.(请求中再加 capture_ctc_timestamps: True) 会议回顾、剪辑工作流
只转写近场说话人 ... Transcribe only the speaker nearest to the microphone. Do not transcribe any other voices. 带背景人声的听写场景
语音翻译 Please translate the given speech to <目标语言>. 多语言媒体、本地化
音频问答 直接提问,并开启推理(enable_thinking: True,temperature 0.6) 音频检索与理解

开启时间戳后,响应会附带一个 ctc_timestamps 对象:words(每词的起止秒数与说话人标签)、diarization(说话人活动片段)和 error(使用前先检查该字段是否为 null)。

1 小时录音要花多久?实测性能

NVIDIA Nemotron 3.5 Transcribe 语音转文字服务的吞吐量与延迟性能曲线:BF16、FP8、NVFP4 三种精度在 30 秒与 10 分钟音频下的表现

在单张 RTX PRO 6000 Blackwell(Server Edition)上:

  • 官方 NIM 优化版(NVFP4 + DFlash2 投机解码)每秒可转写 2,238 秒音频,约 37 倍实时速度;
  • 30 秒录音的转写结果 0.13 秒返回;
  • 精度越高延迟越敏感:BF16 吞吐明显低于 FP8/NVFP4,而 FP8 与 BF16 的精度差距极小,是兼顾成本与质量的选择。

⚠️ 注意:开源仓库配套的 vLLM 集成面向模型开发,速度约为 NIM 优化版的 1/2;上面的曲线来自优化后的 NIM,开源部署时请以实测为准。

想更贴合业务?微调提升效果一览

Nemotron 3.5 Transcribe 语音识别微调前后对比图:新增语言 ASR、反欺骗、口音识别等多任务准确率显著提升

官方通过 NeMo Speech 提供的微调工具链,可以用很少的数据把模型调成"领域专家",例如:

  • 斯瓦希里语 ASR:WER 从 73.7% 降到 20.8%;
  • 反语音欺骗检测:EER 从 26.9% 降到 0.9%;
  • 情绪识别(CREMA-D):准确率 38.3% → 75.5%。

如果你的录音涉及专有名词(产品代号、人名、术语),优先尝试更轻量的上下文偏置(Context terms 提示词),效果不达标再考虑微调。

模型内部一览:架构与仓库文件

NVIDIA Nemotron 3.5 Transcribe 语音转文字模型架构图:16kHz 音频经 Parallel Expert Encoder(ASR 分支与说话人分离分支)与 MoE 语言模型生成转写,再由 CTC 头对齐词级时间戳

数据流一句话概括:16 kHz 音频 → Log-mel 特征(切 30 秒块)→ Parallel Expert Encoder(32 层 Transformer ASR 编码器 + Sortformer 说话人编码器,说话人分支冻结)→ 线性投影 1280→2688 → Nemotron 3.5 Lightning 30B-A3B 混合 Mamba-2/MoE 语言模型逐 token 生成文字;生成结束后,独立的 CTC 时间戳头(47M 参数)把文字稿强制对齐回音频,得到词级时间戳。

仓库里每个文件的作用,方便你按需取用:

文件 说明
config.json 模型总配置:架构、30 秒音频分块、MTP 与 FP8 量化配置
llm_backbone/config.json 语言骨干配置(128 专家、Mamba/Attention 层排布)
hf_quant_config.json Hugging Face 生态的量化配置
tokenizer.json、tokenizer_config.json 分词器文件(131k 词表)
model-00001-of-00004.safetensors 等 4 个分片 主模型权重(FP8)
model-ctc-bf16.safetensors CTC 时间戳头(保留 BF16,保证对齐精度)
model-mtp-fp8.safetensors MTP 多 token 预测头(投机解码用)
model.safetensors.index.json 权重分片索引
perception.safetensors 音频感知模块(编码器 + 说话人编码器)
chat_template.jinja 对话模板,支持 enable_thinking 推理开关
generation_config.json 生成参数默认值
licenses/Qwen3-ASR-LICENSE.txt、licenses/vLLM-LICENSE.txt 第三方组件许可证
THIRD_PARTY_NOTICES.md、CONTRIBUTING.md 第三方声明与贡献指南

常见问题 FAQ

Q1:这是实时流式语音识别吗? 不是。它是离线(offline)模型,30 秒分块是内部编码策略,不代表 30 秒延迟,也不能当流式 ASR 服务用。

Q2:FP8 量化会损失多少精度? 官方数据:转写基准平均错误率比 BF16 版相对高约 1.0%,换来的是约一半的显存与更高的吞吐,性价比很高。

Q3:为什么 CTC 头单独用 BF16 存储? 词级时间戳依赖 CTC 对齐的数值稳定性,量化会放大对齐误差,因此该模块保留 BF16。

Q4:能商用吗? 可以。模型遵循 OpenMDW-1.1 许可,商用与非商用均可,但需遵守许可条款及 licenses/ 中列出的第三方许可。

Q5:音频问答等其他语言可靠吗? 转写与翻译覆盖 40 种语言;但音频理解、推理和口语指令目前只验证了英语,其他语言不保证效果。

总结

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 把"大模型语音识别"的门槛拉到了单卡级别:一条 vllm serve 命令启动服务,一段 OpenAI 兼容请求即可完成转写,还白送了 40 语言支持、1 小时长录音、多说话人标注和词级时间戳。如果你是会议记录、客服质检、媒体字幕或播客转写的开发者,值得先拿一段 1 小时录音实测它的精度与速度。

登录后查看全文
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8