Nemotron 3.5 Transcribe 30B GGUF 语音转写部署指南:audio.cpp CLI 参数、API 路由与服务化实战

原创2026-11-11 17:01:222,167 阅读
文章标签:语音本地部署模型量化人工智能音频大模型

Nemotron 3.5 Transcribe 30B GGUF 语音转写部署指南:audio.cpp CLI 参数、API 路由与服务化实战

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF 是 NVIDIA Nemotron 3.5 语音转写大模型的社区量化 GGUF 版本,配合 audio.cpp 运行时可实现本地离线语音转写(ASR)、翻译、说话人分离与时间戳等功能。本文给出从构建运行环境到 CLI 参数调用的完整部署路径。

一、这套模型是什么?

  • 底座模型:NVIDIA 的 Nemotron 3.5 Transcribe 30B-A4B(MoE 架构,30B 总参数、约 4B 激活参数),从官方 BF16 检查点直接量化而来
  • 支持任务:离线转写(ASR)、翻译、音频问答(audio QA)、语言识别、源词时间戳、说话人标签
  • 支持语言:英文、日文(多语言精度以官方评测为准)
  • 重要提示:这是社区转换的实验性模型,与官方小型 Nemotron RNNT ASR 模型不是同一个东西

📦 仓库文件清单

文件 大小 说明
nemotron-transcribe-30b-a4b-experts-IQ4_NL.gguf 约 19.9 GB 无填充 4-bit 专家,体积最小
nemotron-transcribe-30b-a4b-experts-Q4_K_S.gguf 约 20.7 GB Q4_K 专家(256 元素行填充)
nemotron-transcribe-30b-a4b-experts-Q3_K_S.gguf 约 16.1 GB Q3_K 专家,显存更省
nemotron-transcribe-30b-a4b-experts-Q2_K.gguf 约 13.0 GB Q2_K 专家,精度最低档
mmproj-NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf 约 1.6 GB 必选的共享语音编码器(F16 权重 + F32 CTC 头)
quantization.json — 逐张量量化格式与维度清单

⚠️ mmproj- 前缀容易让人误以为是"16-bit 独立模型",它其实是音频编码器/投影侧车文件。每个解码器都必须搭配它使用,缺一不可。

二、如何挑选量化档位?

各档位的量化策略(详见 quantization.json):

  • 专家(routed experts):分别为 IQ4_NL / Q4_K / Q3_K / Q2_K
  • 稠密线性层:统一使用 Q8_0
  • 嵌入、输出投影、路由、归一化、循环参数:保留浮点原始精度,运行时按需以 F32 加载

选择建议:

  1. 显存充足(如 RTX 5090 24GB):优先 Q4_K_S,精度与体积平衡最佳
  2. 显存紧张:Q3_K_S 或 Q2_K 可显著降低峰值占用
  3. 想要最小下载体积:IQ4_NL 是唯一无填充的 4-bit 方案(K 系列因 256 元素对齐填充反而更大)

注意:比特数更低不等于在所有录音上精度一定更高,请以自己的音频实测为准。

三、一键构建 audio.cpp 运行时

模型支持已合入 audio.cpp 上游(2026-10-31 合并),使用合并提交 ad14f0c4 或更新的版本即可。以 CUDA 为例:

git clone https://github.com/0xShug0/audio.cpp.git
cd audio.cpp
git checkout ad14f0c4dbd5b12b7711bb7b46abb8d94f78f067
cmake -S . -B build/nemotron -DAUDIOCPP_MODEL_SET=custom \
  -DAUDIOCPP_MODELS=nemotron_transcribe -DAUDIOCPP_DEPLOYMENT_BUILD=ON \
  -DENGINE_ENABLE_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=native
cmake --build build/nemotron --target audiocpp_cli --parallel 4

CPU 构建:省略 ENGINE_ENABLE_CUDA 相关参数即可,运行时改用 --backend cpu。 Windows:在 x64 Visual Studio 开发者命令行中构建,可执行文件带 .exe 后缀。

四、下载模型并首次转写

将所选解码器与共享编码器下载到同一目录(README.md 中的示例命令):

hf download Jmica/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF \
  nemotron-transcribe-30b-a4b-experts-Q4_K_S.gguf \
  mmproj-NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf \
  --local-dir models/nemotron-transcribe

首次转写命令:

audiocpp_cli --task asr --family nemotron_transcribe --backend cuda \
  --model models/nemotron-transcribe/nemotron-transcribe-30b-a4b-experts-Q4_K_S.gguf \
  --audio recording.wav --request-option language=ja --text-out transcript.txt

五、audio.cpp CLI 核心参数速查

参数 作用 示例值
--task 任务类型 asr
--family 模型族,决定加载器 nemotron_transcribe
--backend 推理后端 cuda / vulkan / cpu
--model 解码器 gguf 路径 见上方命令
--audio 输入音频文件 recording.wav
--request-option 请求级选项,可多次出现 language=ja、return_timestamps=true
--text-out 转写结果输出文件 transcript.txt

常用 request-option 组合:

  • language=en / language=ja:指定输入语言
  • return_timestamps=true:输出 CTC 源词级时间戳
  • diarization=true:输出说话人标签
  • template_name=translation:翻译任务
  • 音频问答、语言识别:使用 audio_qa、language_id 任务

六、长音频处理与服务化实战

长录音分段策略

模型前端按约 30 秒为一个处理窗口,长录音建议由调用方自行切分:

  • 每段的时间戳要加上该段的起始偏移
  • 切分可能把单词切开,且跨请求不保留说话人身份
  • 运行时能接受的输入长度是容量上限,不等于该长度下的识别质量保证

API 路由与服务化

audio.cpp 的 deployment 构建(-DAUDIOCPP_DEPLOYMENT_BUILD=ON)除 CLI 外还暴露 HTTP API 路由,将 CLI 中的 --task、--request-option 对应为接口字段即可接入上层应用。完整的 API 路由清单、支持的输入音频格式与已知限制,以运行时内置的 nemotron_transcribe 模型指南为准(构建产物与上游 docs 中均可查阅)。

一个典型的服务化流程:

  1. 用 deployment 构建启动服务,加载 Q4_K_S 解码器 + 共享编码器
  2. 上游应用把长音频切成 ≤30 秒的片段
  3. 逐段请求 ASR 路由,携带 return_timestamps=true / diarization=true
  4. 客户端按片段偏移拼接时间戳与说话人标签

七、性能参考:显存与实时性

官方记录的实测数据(Q4_K_S 专家解码器 + F16 编码器 + RTX 5090,含 CPU offloading):

指标 数值
峰值显存(CUDA) 约 6.7 GB
峰值显存(Vulkan) 约 6.0 GB
实时性能(CUDA) 17.5× 实时
实时性能(Vulkan) 12.9× 实时

英语小样本检查(含词级时间戳,不含模型加载时间):

场景 音频时长 处理耗时 实时因子 匹配词数
短英语,CUDA 7.330 s 0.556 s 0.076 15/15
短英语,CPU 4 线程 7.330 s 6.250 s 0.853 15/15
双说话人英语,CUDA 49.055 s 1.232 s 0.025 129/129

以上是小规模合成检查,不是精度或吞吐量的普遍结论。

八、常见问题排查

1. Vulkan 下报 encoder contains unsupported backend op 'NORM'

旧版运行时会拒绝该编码器。升级到含合并提交 ad14f0c4 的 audio.cpp 并重新构建即可,模型文件无需重新下载。

2. 报缺少编码器 / 加载失败

确认 mmproj-NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf 与解码器在同一目录。新加载器同时接受 mmproj- 名称与原生命名编码器文件名。

3. 想用 NeMo-Speech.cpp 或原生 llama.cpp 加载

Q4_K_S / Q3_K_S / Q2_K 三种带填充的 K 布局只支持 audio.cpp 社区模型适配器,其他运行时无法加载。

4. 已知局限

CTC 词级时间戳在停顿处可能漂移、可能与其他说话人重叠;MTP、DFlash、流式与原生 batching 不在本移植范围内。

九、许可证与合规

  • 权重遵循 OpenMDW-1.1 许可(见 LICENSE),上游模型作者为 NVIDIA,本仓库为社区转换
  • 附带组件声明见 THIRD_PARTY_NOTICES.md,其中引用的 Qwen3-ASR 代码示例为 Apache-2.0(licenses/Qwen3-ASR-LICENSE.txt)
  • 商用前请自行核对 OpenMDW-1.1 条款与第三方声明

总结:下载解码器 + 共享编码器 → 构建合并版 audio.cpp → 用 audiocpp_cli 验证 → 部署构建接入 API 路由,四步即可完成 Nemotron 3.5 Transcribe 30B 的本地语音转写服务。显存 8GB 级别的 GPU 即可流畅运行 Q4_K_S 档位,是私有化部署语音转写的一个高性价比选择。

登录后查看全文
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF