单卡Blackwell部署语音转写服务:NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 vLLM推理全攻略
单卡Blackwell部署语音转写服务:NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 vLLM推理全攻略
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 是 NVIDIA 开源的 NVFP4 量化版语音转写模型,40 种语言离线转写、最长支持 1 小时录音,只需 1 张 Blackwell 显卡(如 RTX PRO 6000 96GB)即可用 vLLM 跑起高吞吐推理服务。本文面向新手,带你一步步完成环境准备、服务器启动和第一次转写请求。
一、模型核心卖点:为什么选它?
一句话概括:30B 总参数、仅 4.3B 激活参数 的 Mamba-2 + Transformer 混合 MoE 语音模型,NVFP4 量化后显存占用更低、吞吐更高,是 Blackwell 平台上性价比最高的转写方案之一。
| 关键指标 | 参数 |
|---|---|
| 总参数 / 激活参数 | 34B(约 4.3B 激活,含音频编码器) |
| 精度 | NVFP4 解码器 + FP8 Mamba 层 / 音频编码器 / MTP 头 |
| 上下文长度 | 65,536 tokens,录音最长 1 小时 |
| 支持语言 | 40 种(含中、英、日、韩、法等) |
| 硬件要求 | 仅支持 Blackwell GPU(RTX 5090、RTX PRO 6000、B200、GB200 等) |
| 推理引擎 | vLLM 0.32.0 + NeMo Speech 插件 |
| 许可证 | OpenMDW-1.1,可商用 |
⚠️ 小提示:NVFP4 版的平均错误率比 BF16 版相对高约 3.6%(官方基准均为 BF16 模型测得),换来的是最低的显存占用和最高的吞吐,适合对成本敏感的生产环境。
上图:官方在 1× RTX PRO 6000 Blackwell 上测得的吞吐/延迟曲线。NVFP4(橙色)配合投机解码,在 30 秒音频上最高可达 2,500+ 秒/秒吞吐,远超 BF16 与 FP8。
二、架构速览:30B 大模型为何跑得像 4B
上图:模型整体架构。左侧 Parallel Expert Encoder 负责 ASR 与说话人分离,中间接入 Nemotron 3.5 Lightning 30B-A3B 混合 MoE 主干,顶部 LM head 与 MTP 模块支持投机解码,CTC 头用于词级时间戳对齐。
对部署最相关的三个设计:
- MoE 稀疏激活:每 token 只激活约 4.3B 参数,解码速度接近小模型;
- 原生 MTP(多 token 预测):推理时可一次"猜" 8 个 token,无需额外草稿模型即可提速;
- CTC 时间戳头:随 checkpoint 一起打包(见 model-ctc-bf16.safetensors),开启后即可输出逐词时间戳和说话人标签。
三、部署环境准备:硬件与软件清单
硬件要求
NVFP4 量化内核 只运行在 Blackwell 架构 上,常见可选机型:
| 硬件 | 说明 |
|---|---|
| RTX PRO 6000 Blackwell(96GB) | 官方验证平台,单卡即可跑满全部配置 |
| RTX 5090 | 消费级可部署(仅 NVFP4) |
| B200 / GB200 / GB300 / DGX Spark / Jetson Thor | 数据中心与边缘均可 |
软件要求
- Linux 系统(Windows 可走 WSL2);
- vLLM 0.32.0(版本需精确匹配);
- NeMo Speech 最新 main 分支(提供该模型的 vLLM 插件,安装后设置
VLLM_PLUGINS=nemo_speechlm); - CUDA 13 工具包的
nvcc在PATH中——FlashInfer 首次运行要即时编译量化注意力内核。
完整的依赖安装流程(含 uv 环境搭建、下载 checkpoint 命令)见 README.md 的 "Quantized Runtime and Environment" 一节,建议按文档顺序执行。
四、vLLM 一键启动命令
下载好模型目录后,在模型根目录执行以下命令(官方单卡配置,已验证于 1× RTX PRO 6000 96GB):
export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600 # 允许解码最长1小时录音
export VLLM_MAX_AUDIO_CLIP_FILESIZE_MB=180
export VLLM_USE_V2_MODEL_RUNNER=0 # 词级时间戳需要 V1 模型运行器
export VLLM_DISABLED_KERNELS=FlashInferFP8ScaledMMLinearKernel
vllm serve ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 \
--served-model-name nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 \
--trust-remote-code --dtype bfloat16 --kv-cache-dtype fp8 \
--gpu-memory-utilization 0.85 \
--max-model-len 65536 --max-num-batched-tokens 4096 --max-num-seqs 64 \
--enable-chunked-prefill --no-enable-prefix-caching \
--use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
--mm-processor-cache-gb 0 --no-async-scheduling \
--limit-mm-per-prompt '{"audio":{"count":1,"length":57600000}}' \
--speculative-config '{"method":"mtp","num_speculative_tokens":8}' \
--reasoning-parser nemotron_v3 --trust-request-mm-kwargs \
--middleware nemo.collections.speechlm2.vllm.salm.ctc_serving.ctc_timestamp_middleware
完整命令与注释见 README.md。服务器默认监听 127.0.0.1:8000。
关键参数速查表
| 参数 | 作用 | 新手建议 |
|---|---|---|
--dtype bfloat16 |
指定计算精度,不会把量化权重还原成 BF16 | 保持默认,勿改动 |
--kv-cache-dtype fp8 |
显式启用 FP8 KV 缓存 | 必须手动设置,auto 不会选中 |
--max-model-len 65536 |
上下文上限,决定可处理录音长度 | 显存紧张时可下调 |
--speculative-config |
MTP 投机解码,一次猜 8 个 token | 追求更低延迟可去掉(不推荐) |
--middleware ... |
开启词级时间戳与说话人分离 | 需要时间戳时保留 |
VLLM_USE_V2_MODEL_RUNNER=0 |
切换 V1 运行器 | 用时间戳功能时必需 |
✅ 启动成功的标志:日志中应出现 quantization=modelopt_mixed 和 128 个 FP8 音频编码器线性层 的加载信息,说明量化配置(声明在 hf_quant_config.json 中)被正确识别。
五、发送第一条转写请求
服务器启动后,用任意 OpenAI 兼容客户端调用 /v1/chat/completions 即可:
import base64
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
audio = base64.b64encode(open("audio.wav", "rb").read()).decode()
response = client.chat.completions.create(
model="nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4",
messages=[{"role": "user", "content": [
{"type": "text", "text": "Transcribe the following audio."},
{"type": "audio_url", "audio_url": {"url": f"data:audio/wav;base64,{audio}"}},
]}],
temperature=0,
extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(response.choices[0].message.content)
三条新手必知规则:
- 纯转写任务用
temperature=0且关闭推理(enable_thinking=False); - 音频理解/问答任务改用
temperature=0.6, top_p=0.95并开启推理; - 长录音(如 1 小时密集对话)可能需要约 2 万输出 token,记得调大
max_tokens防止截断。
更多任务(说话人分离、语音翻译、语言识别、上下文偏置转写)的推荐提示词模板,见 README.md 的 "Prompt Recommendations" 表格。
六、性能调优与常见问题
冷启动慢?那是内核在编译
首次启动要花费数分钟——FlashInfer 在即时编译量化内核。把 FLASHINFER_WORKSPACE_BASE 指到一个持久化目录(如容器 bind 挂载),重启后就不用重复编译了(详见 README.md 的 "Kernel Cache" 一节)。
想要更高吞吐:投机解码
- 默认 MTP8(模型内置,零额外显存)即可明显提速;
- 追求极致低延迟可换 DFlash2 草稿模型(一次猜 15 个 token),官方测得 NVFP4 + DFlash2 下单卡可达 2,238 秒音频/秒,30 秒录音 0.13 秒 出结果;注意 DFlash2 与 MTP 二选一,且不可用词级时间戳。
常见问题速查
| 现象 | 原因与解决 |
|---|---|
| 启动卡住数分钟 | 首次编译内核,属正常;设置 FLASHINFER_WORKSPACE_BASE 复用 |
| 启动报错/量化不生效 | 确认 vLLM 版本恰为 0.32.0,NeMo Speech 为最新 main 分支 |
| 想改量化方式被报错 | 让 vLLM 从 config.json 自动检测 ModelOpt 量化,不要手动覆盖 |
| 时间戳缺失 | 检查 VLLM_USE_V2_MODEL_RUNNER=0 与 --middleware 是否都设置 |
七、模型文件与延伸阅读
本仓库即完整 checkpoint,主要文件:
- model.safetensors.index.json:权重索引(分片文件
model-00001-of-00002.safetensors、model-00002-of-00002.safetensors) - hf_quant_config.json:NVFP4/FP8 逐层量化映射
- llm_backbone/config.json:30B-A3B 语言主干结构配置
- chat_template.jinja:聊天模板(控制
enable_thinking推理开关) - tokenizer.json / tokenizer_config.json:分词器
- LICENSE:OpenMDW-1.1 许可协议
上图:在 NeMo Speech 微调工具链下,基座模型经过领域微调后语言识别、情绪识别、抗欺骗检测等任务的大幅收益——如果你的业务涉及专业词汇或新语言,微调是官方推荐的下一步。
总结
- 一台 Blackwell 单卡(96GB 级)+ vLLM 0.32.0 + NeMo Speech,即可获得 40 语言、1 小时长录音的开源语音转写服务;
- 牢记四个"必须":显式 FP8 KV 缓存、V1 运行器(要时间戳)、CUDA 13
nvcc、精确的 vLLM 版本; - 转写用贪心解码、理解开推理;MTP 投机解码默认开启,免费提速。
按本文流程走完,你应该已经能收到第一段转写结果了。🎉


