Nemotron 3.5 Transcribe 30B GGUF 语音转写部署指南:audio.cpp CLI 参数、API 路由与服务化实战
Nemotron 3.5 Transcribe 30B GGUF 语音转写部署指南:audio.cpp CLI 参数、API 路由与服务化实战
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF 是 NVIDIA Nemotron 3.5 语音转写大模型的社区量化 GGUF 版本,配合 audio.cpp 运行时可实现本地离线语音转写(ASR)、翻译、说话人分离与时间戳等功能。本文给出从构建运行环境到 CLI 参数调用的完整部署路径。
一、这套模型是什么?
- 底座模型:NVIDIA 的 Nemotron 3.5 Transcribe 30B-A4B(MoE 架构,30B 总参数、约 4B 激活参数),从官方 BF16 检查点直接量化而来
- 支持任务:离线转写(ASR)、翻译、音频问答(audio QA)、语言识别、源词时间戳、说话人标签
- 支持语言:英文、日文(多语言精度以官方评测为准)
- 重要提示:这是社区转换的实验性模型,与官方小型 Nemotron RNNT ASR 模型不是同一个东西
📦 仓库文件清单
| 文件 | 大小 | 说明 |
|---|---|---|
| nemotron-transcribe-30b-a4b-experts-IQ4_NL.gguf | 约 19.9 GB | 无填充 4-bit 专家,体积最小 |
| nemotron-transcribe-30b-a4b-experts-Q4_K_S.gguf | 约 20.7 GB | Q4_K 专家(256 元素行填充) |
| nemotron-transcribe-30b-a4b-experts-Q3_K_S.gguf | 约 16.1 GB | Q3_K 专家,显存更省 |
| nemotron-transcribe-30b-a4b-experts-Q2_K.gguf | 约 13.0 GB | Q2_K 专家,精度最低档 |
| mmproj-NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf | 约 1.6 GB | 必选的共享语音编码器(F16 权重 + F32 CTC 头) |
| quantization.json | — | 逐张量量化格式与维度清单 |
⚠️
mmproj-前缀容易让人误以为是"16-bit 独立模型",它其实是音频编码器/投影侧车文件。每个解码器都必须搭配它使用,缺一不可。
二、如何挑选量化档位?
各档位的量化策略(详见 quantization.json):
- 专家(routed experts):分别为 IQ4_NL / Q4_K / Q3_K / Q2_K
- 稠密线性层:统一使用 Q8_0
- 嵌入、输出投影、路由、归一化、循环参数:保留浮点原始精度,运行时按需以 F32 加载
选择建议:
- 显存充足(如 RTX 5090 24GB):优先 Q4_K_S,精度与体积平衡最佳
- 显存紧张:Q3_K_S 或 Q2_K 可显著降低峰值占用
- 想要最小下载体积:IQ4_NL 是唯一无填充的 4-bit 方案(K 系列因 256 元素对齐填充反而更大)
注意:比特数更低不等于在所有录音上精度一定更高,请以自己的音频实测为准。
三、一键构建 audio.cpp 运行时
模型支持已合入 audio.cpp 上游(2026-10-31 合并),使用合并提交 ad14f0c4 或更新的版本即可。以 CUDA 为例:
git clone https://github.com/0xShug0/audio.cpp.git
cd audio.cpp
git checkout ad14f0c4dbd5b12b7711bb7b46abb8d94f78f067
cmake -S . -B build/nemotron -DAUDIOCPP_MODEL_SET=custom \
-DAUDIOCPP_MODELS=nemotron_transcribe -DAUDIOCPP_DEPLOYMENT_BUILD=ON \
-DENGINE_ENABLE_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=native
cmake --build build/nemotron --target audiocpp_cli --parallel 4
CPU 构建:省略 ENGINE_ENABLE_CUDA 相关参数即可,运行时改用 --backend cpu。
Windows:在 x64 Visual Studio 开发者命令行中构建,可执行文件带 .exe 后缀。
四、下载模型并首次转写
将所选解码器与共享编码器下载到同一目录(README.md 中的示例命令):
hf download Jmica/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF \
nemotron-transcribe-30b-a4b-experts-Q4_K_S.gguf \
mmproj-NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf \
--local-dir models/nemotron-transcribe
首次转写命令:
audiocpp_cli --task asr --family nemotron_transcribe --backend cuda \
--model models/nemotron-transcribe/nemotron-transcribe-30b-a4b-experts-Q4_K_S.gguf \
--audio recording.wav --request-option language=ja --text-out transcript.txt
五、audio.cpp CLI 核心参数速查
| 参数 | 作用 | 示例值 |
|---|---|---|
--task |
任务类型 | asr |
--family |
模型族,决定加载器 | nemotron_transcribe |
--backend |
推理后端 | cuda / vulkan / cpu |
--model |
解码器 gguf 路径 | 见上方命令 |
--audio |
输入音频文件 | recording.wav |
--request-option |
请求级选项,可多次出现 | language=ja、return_timestamps=true |
--text-out |
转写结果输出文件 | transcript.txt |
常用 request-option 组合:
language=en/language=ja:指定输入语言return_timestamps=true:输出 CTC 源词级时间戳diarization=true:输出说话人标签template_name=translation:翻译任务- 音频问答、语言识别:使用
audio_qa、language_id任务
六、长音频处理与服务化实战
长录音分段策略
模型前端按约 30 秒为一个处理窗口,长录音建议由调用方自行切分:
- 每段的时间戳要加上该段的起始偏移
- 切分可能把单词切开,且跨请求不保留说话人身份
- 运行时能接受的输入长度是容量上限,不等于该长度下的识别质量保证
API 路由与服务化
audio.cpp 的 deployment 构建(-DAUDIOCPP_DEPLOYMENT_BUILD=ON)除 CLI 外还暴露 HTTP API 路由,将 CLI 中的 --task、--request-option 对应为接口字段即可接入上层应用。完整的 API 路由清单、支持的输入音频格式与已知限制,以运行时内置的 nemotron_transcribe 模型指南为准(构建产物与上游 docs 中均可查阅)。
一个典型的服务化流程:
- 用 deployment 构建启动服务,加载 Q4_K_S 解码器 + 共享编码器
- 上游应用把长音频切成 ≤30 秒的片段
- 逐段请求 ASR 路由,携带
return_timestamps=true/diarization=true - 客户端按片段偏移拼接时间戳与说话人标签
七、性能参考:显存与实时性
官方记录的实测数据(Q4_K_S 专家解码器 + F16 编码器 + RTX 5090,含 CPU offloading):
| 指标 | 数值 |
|---|---|
| 峰值显存(CUDA) | 约 6.7 GB |
| 峰值显存(Vulkan) | 约 6.0 GB |
| 实时性能(CUDA) | 17.5× 实时 |
| 实时性能(Vulkan) | 12.9× 实时 |
英语小样本检查(含词级时间戳,不含模型加载时间):
| 场景 | 音频时长 | 处理耗时 | 实时因子 | 匹配词数 |
|---|---|---|---|---|
| 短英语,CUDA | 7.330 s | 0.556 s | 0.076 | 15/15 |
| 短英语,CPU 4 线程 | 7.330 s | 6.250 s | 0.853 | 15/15 |
| 双说话人英语,CUDA | 49.055 s | 1.232 s | 0.025 | 129/129 |
以上是小规模合成检查,不是精度或吞吐量的普遍结论。
八、常见问题排查
1. Vulkan 下报 encoder contains unsupported backend op 'NORM'
旧版运行时会拒绝该编码器。升级到含合并提交 ad14f0c4 的 audio.cpp 并重新构建即可,模型文件无需重新下载。
2. 报缺少编码器 / 加载失败
确认 mmproj-NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf 与解码器在同一目录。新加载器同时接受 mmproj- 名称与原生命名编码器文件名。
3. 想用 NeMo-Speech.cpp 或原生 llama.cpp 加载
Q4_K_S / Q3_K_S / Q2_K 三种带填充的 K 布局只支持 audio.cpp 社区模型适配器,其他运行时无法加载。
4. 已知局限
CTC 词级时间戳在停顿处可能漂移、可能与其他说话人重叠;MTP、DFlash、流式与原生 batching 不在本移植范围内。
九、许可证与合规
- 权重遵循 OpenMDW-1.1 许可(见 LICENSE),上游模型作者为 NVIDIA,本仓库为社区转换
- 附带组件声明见 THIRD_PARTY_NOTICES.md,其中引用的 Qwen3-ASR 代码示例为 Apache-2.0(licenses/Qwen3-ASR-LICENSE.txt)
- 商用前请自行核对 OpenMDW-1.1 条款与第三方声明
总结:下载解码器 + 共享编码器 → 构建合并版 audio.cpp → 用 audiocpp_cli 验证 → 部署构建接入 API 路由,四步即可完成 Nemotron 3.5 Transcribe 30B 的本地语音转写服务。显存 8GB 级别的 GPU 即可流畅运行 Q4_K_S 档位,是私有化部署语音转写的一个高性价比选择。