单卡Blackwell部署语音转写服务:NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 vLLM推理全攻略

原创2026-11-07 19:56:152,132 阅读

单卡Blackwell部署语音转写服务:NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 vLLM推理全攻略

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 是 NVIDIA 开源的 NVFP4 量化版语音转写模型,40 种语言离线转写、最长支持 1 小时录音,只需 1 张 Blackwell 显卡(如 RTX PRO 6000 96GB)即可用 vLLM 跑起高吞吐推理服务。本文面向新手,带你一步步完成环境准备、服务器启动和第一次转写请求。

一、模型核心卖点:为什么选它?

一句话概括:30B 总参数、仅 4.3B 激活参数 的 Mamba-2 + Transformer 混合 MoE 语音模型,NVFP4 量化后显存占用更低、吞吐更高,是 Blackwell 平台上性价比最高的转写方案之一。

关键指标 参数
总参数 / 激活参数 34B(约 4.3B 激活,含音频编码器)
精度 NVFP4 解码器 + FP8 Mamba 层 / 音频编码器 / MTP 头
上下文长度 65,536 tokens,录音最长 1 小时
支持语言 40 种(含中、英、日、韩、法等)
硬件要求 仅支持 Blackwell GPU(RTX 5090、RTX PRO 6000、B200、GB200 等)
推理引擎 vLLM 0.32.0 + NeMo Speech 插件
许可证 OpenMDW-1.1,可商用

⚠️ 小提示:NVFP4 版的平均错误率比 BF16 版相对高约 3.6%(官方基准均为 BF16 模型测得),换来的是最低的显存占用和最高的吞吐,适合对成本敏感的生产环境。

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 单卡吞吐与延迟性能对比图

上图:官方在 1× RTX PRO 6000 Blackwell 上测得的吞吐/延迟曲线。NVFP4(橙色)配合投机解码,在 30 秒音频上最高可达 2,500+ 秒/秒吞吐,远超 BF16 与 FP8。

二、架构速览:30B 大模型为何跑得像 4B

NVIDIA Nemotron 3.5 Transcribe 语音转写模型架构图

上图:模型整体架构。左侧 Parallel Expert Encoder 负责 ASR 与说话人分离,中间接入 Nemotron 3.5 Lightning 30B-A3B 混合 MoE 主干,顶部 LM head 与 MTP 模块支持投机解码,CTC 头用于词级时间戳对齐。

对部署最相关的三个设计:

  • MoE 稀疏激活:每 token 只激活约 4.3B 参数,解码速度接近小模型;
  • 原生 MTP(多 token 预测):推理时可一次"猜" 8 个 token,无需额外草稿模型即可提速;
  • CTC 时间戳头:随 checkpoint 一起打包(见 model-ctc-bf16.safetensors),开启后即可输出逐词时间戳和说话人标签。

三、部署环境准备:硬件与软件清单

硬件要求

NVFP4 量化内核 只运行在 Blackwell 架构 上,常见可选机型:

硬件 说明
RTX PRO 6000 Blackwell(96GB) 官方验证平台,单卡即可跑满全部配置
RTX 5090 消费级可部署(仅 NVFP4)
B200 / GB200 / GB300 / DGX Spark / Jetson Thor 数据中心与边缘均可

软件要求

  1. Linux 系统(Windows 可走 WSL2);
  2. vLLM 0.32.0(版本需精确匹配);
  3. NeMo Speech 最新 main 分支(提供该模型的 vLLM 插件,安装后设置 VLLM_PLUGINS=nemo_speechlm);
  4. CUDA 13 工具包的 nvcc 在 PATH 中——FlashInfer 首次运行要即时编译量化注意力内核。

完整的依赖安装流程(含 uv 环境搭建、下载 checkpoint 命令)见 README.md 的 "Quantized Runtime and Environment" 一节,建议按文档顺序执行。

四、vLLM 一键启动命令

下载好模型目录后,在模型根目录执行以下命令(官方单卡配置,已验证于 1× RTX PRO 6000 96GB):

export VLLM_PLUGINS=nemo_speechlm
export VLLM_MAX_AUDIO_DECODE_DURATION_S=3600   # 允许解码最长1小时录音
export VLLM_MAX_AUDIO_CLIP_FILESIZE_MB=180
export VLLM_USE_V2_MODEL_RUNNER=0              # 词级时间戳需要 V1 模型运行器
export VLLM_DISABLED_KERNELS=FlashInferFP8ScaledMMLinearKernel

vllm serve ./NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 \
  --served-model-name nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4 \
  --trust-remote-code --dtype bfloat16 --kv-cache-dtype fp8 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 65536 --max-num-batched-tokens 4096 --max-num-seqs 64 \
  --enable-chunked-prefill --no-enable-prefix-caching \
  --use-replayssm --mamba-backend flashinfer --mamba-cache-mode none \
  --mm-processor-cache-gb 0 --no-async-scheduling \
  --limit-mm-per-prompt '{"audio":{"count":1,"length":57600000}}' \
  --speculative-config '{"method":"mtp","num_speculative_tokens":8}' \
  --reasoning-parser nemotron_v3 --trust-request-mm-kwargs \
  --middleware nemo.collections.speechlm2.vllm.salm.ctc_serving.ctc_timestamp_middleware

完整命令与注释见 README.md。服务器默认监听 127.0.0.1:8000。

关键参数速查表

参数 作用 新手建议
--dtype bfloat16 指定计算精度,不会把量化权重还原成 BF16 保持默认,勿改动
--kv-cache-dtype fp8 显式启用 FP8 KV 缓存 必须手动设置,auto 不会选中
--max-model-len 65536 上下文上限,决定可处理录音长度 显存紧张时可下调
--speculative-config MTP 投机解码,一次猜 8 个 token 追求更低延迟可去掉(不推荐)
--middleware ... 开启词级时间戳与说话人分离 需要时间戳时保留
VLLM_USE_V2_MODEL_RUNNER=0 切换 V1 运行器 用时间戳功能时必需

✅ 启动成功的标志:日志中应出现 quantization=modelopt_mixed 和 128 个 FP8 音频编码器线性层 的加载信息,说明量化配置(声明在 hf_quant_config.json 中)被正确识别。

五、发送第一条转写请求

服务器启动后,用任意 OpenAI 兼容客户端调用 /v1/chat/completions 即可:

import base64
from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
audio = base64.b64encode(open("audio.wav", "rb").read()).decode()

response = client.chat.completions.create(
    model="nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Transcribe the following audio."},
        {"type": "audio_url", "audio_url": {"url": f"data:audio/wav;base64,{audio}"}},
    ]}],
    temperature=0,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(response.choices[0].message.content)

三条新手必知规则:

  1. 纯转写任务用 temperature=0 且关闭推理(enable_thinking=False);
  2. 音频理解/问答任务改用 temperature=0.6, top_p=0.95 并开启推理;
  3. 长录音(如 1 小时密集对话)可能需要约 2 万输出 token,记得调大 max_tokens 防止截断。

更多任务(说话人分离、语音翻译、语言识别、上下文偏置转写)的推荐提示词模板,见 README.md 的 "Prompt Recommendations" 表格。

六、性能调优与常见问题

冷启动慢?那是内核在编译

首次启动要花费数分钟——FlashInfer 在即时编译量化内核。把 FLASHINFER_WORKSPACE_BASE 指到一个持久化目录(如容器 bind 挂载),重启后就不用重复编译了(详见 README.md 的 "Kernel Cache" 一节)。

想要更高吞吐:投机解码

  • 默认 MTP8(模型内置,零额外显存)即可明显提速;
  • 追求极致低延迟可换 DFlash2 草稿模型(一次猜 15 个 token),官方测得 NVFP4 + DFlash2 下单卡可达 2,238 秒音频/秒,30 秒录音 0.13 秒 出结果;注意 DFlash2 与 MTP 二选一,且不可用词级时间戳。

常见问题速查

现象 原因与解决
启动卡住数分钟 首次编译内核,属正常;设置 FLASHINFER_WORKSPACE_BASE 复用
启动报错/量化不生效 确认 vLLM 版本恰为 0.32.0,NeMo Speech 为最新 main 分支
想改量化方式被报错 让 vLLM 从 config.json 自动检测 ModelOpt 量化,不要手动覆盖
时间戳缺失 检查 VLLM_USE_V2_MODEL_RUNNER=0 与 --middleware 是否都设置

七、模型文件与延伸阅读

本仓库即完整 checkpoint,主要文件:

Nemotron 3.5 Transcribe 微调前后各任务收益对比图

上图:在 NeMo Speech 微调工具链下,基座模型经过领域微调后语言识别、情绪识别、抗欺骗检测等任务的大幅收益——如果你的业务涉及专业词汇或新语言,微调是官方推荐的下一步。

总结

  • 一台 Blackwell 单卡(96GB 级)+ vLLM 0.32.0 + NeMo Speech,即可获得 40 语言、1 小时长录音的开源语音转写服务;
  • 牢记四个"必须":显式 FP8 KV 缓存、V1 运行器(要时间戳)、CUDA 13 nvcc、精确的 vLLM 版本;
  • 转写用贪心解码、理解开推理;MTP 投机解码默认开启,免费提速。

按本文流程走完,你应该已经能收到第一段转写结果了。🎉

登录后查看全文
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-NVFP4