NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF快速上手:从构建audio.cpp到10分钟跑通第一条语音转录
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF快速上手:从构建audio.cpp到10分钟跑通第一条语音转录
本仓库 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF 提供 NVIDIA Nemotron 3.5 Transcribe 30B-A4B 语音转录大模型的 GGUF 量化权重,配合 audio.cpp 推理运行时,即可在自己的电脑(CUDA / Vulkan / CPU)上本地完成语音转文字(ASR)、翻译、音频问答、语言识别、词级时间戳与说话人标注。本文带你从构建 audio.cpp 开始,10 分钟跑通第一条语音转录。
一、它是什么?为什么选择本地部署 Nemotron 转录模型
Nemotron 3.5 Transcribe 是 NVIDIA 推出的 30B 参数(MoE 架构、激活约 4B)语音转录模型。这个社区仓库把 BF16 完整检查点转换成了 GGUF 格式的 4 档量化解码器,让消费级显卡甚至纯 CPU 也能跑起来。
相比在线转录服务,本地部署的核心收益:
- 🔒 隐私可控:录音文件不出本机,适合会议录音、访谈整理等敏感场景
- ⚡ 速度可观:官方实测中,RTX 5090 + Q4_K_S 解码器 + F16 编码器,峰值显存仅约 6.7 GB(CUDA)/ 6.0 GB(Vulkan),并保持 17.5× / 12.9× 实时性能
- 🗣️ 功能完整:离线转录、翻译、音频问答、语言识别、源词时间戳、说话人标签,一个运行时全覆盖
支持的音频语言以 英语(en)和日语(ja) 为主(见 README.md 的元信息)。
⚠️ 注意:这是实验性社区转换包,与 NVIDIA 的 NVFP4 官方发布和更小的 Nemotron RNNT ASR 模型相互独立。
二、仓库文件清单:4 档量化解码器 + 1 个共享编码器
每个解码器都必须搭配同一个共享语音编码器一起下载,缺一不可。各文件说明如下:
| 文件 | 大小 | 特点 |
|---|---|---|
| nemotron-transcribe-30b-a4b-experts-IQ4_NL.gguf | 约 19.4 GB | 4-bit 无填充,体积最紧凑 |
| nemotron-transcribe-30b-a4b-experts-Q4_K_S.gguf | 约 20.7 GB | 4-bit K 档,质量与体积均衡 |
| nemotron-transcribe-30b-a4b-experts-Q3_K_S.gguf | 约 16.5 GB | 3-bit K 档,显存更省 |
| nemotron-transcribe-30b-a4b-experts-Q2_K.gguf | 约 13.3 GB | 2-bit K 档,最低配置可用 |
| mmproj-NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf | 约 1.6 GB | 必需的 F16 语音编码器 + F32 CTC 时间戳头 |
几点新手常见疑问:
mmproj-前缀只是标记"音频编码器/投影旁挂文件",不是一个独立的 16-bit 模型;- 文件名中的
_S后缀是为让仓库选择器识别 Q3_K / Q4_K 专家文件而起的自定义混合量化档,张量数据本身不受影响; - 张量级别的精确量化格式(BF16 / F32 / Q8_0 / IQ4_NL / Q2_K 等)全部记录在 quantization.json 中,可深入查阅。
📌 选型建议:显存 ≥ 8 GB 选 Q4_K_S(默认推荐);显存紧张选 Q2_K;追求更小体积且不介意 K 档填充开销选 IQ4_NL。量化位数越低不保证单调的质量排名,建议以自己的录音实测。
三、5 步构建 audio.cpp:语音转录运行时一键配置
Nemotron 转录支持已合并进上游 audio.cpp(2026-10-31 合并),使用合并提交 ad14f0c4 或之后的版本即可,无需再找单独的 PR 分支。
第 1 步:克隆 audio.cpp 源码(从其官方源码仓库获取),并切换到包含本模型支持的版本:
git clone <audio.cpp 官方仓库地址>
cd audio.cpp
git checkout ad14f0c4dbd5b12b7711bb7b46abb8d94f78f067
第 2 步:配置 CMake 构建(以 CUDA 为例):
cmake -S . -B build/nemotron -DAUDIOCPP_MODEL_SET=custom \
-DAUDIOCPP_MODELS=nemotron_transcribe -DAUDIOCPP_DEPLOYMENT_BUILD=ON \
-DENGINE_ENABLE_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=native
💡 纯 CPU 构建请省略上面两个 CUDA 参数;Windows 用户请在 x64 Visual Studio 开发者命令行中执行,可执行文件带 .exe 后缀。
第 3 步:编译出 audiocpp_cli 命令行工具:
cmake --build build/nemotron --target audiocpp_cli --parallel 4
第 4 步:把生成的 audiocpp_cli 放到 PATH 中,或在输出目录里直接调用。
第 5 步:验证构建成功(见下一节)。
四、下载权重并跑通第一条转录
下载:任选一个解码器,把它与共享编码器放到同一目录:
hf download Jmica/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF \
nemotron-transcribe-30b-a4b-experts-Q4_K_S.gguf \
mmproj-NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-Encoder-F16.gguf \
--local-dir models/nemotron-transcribe
也可以直接通过 gitcode 仓库页面 手动下载这两个 .gguf 文件到本地任意目录。
运行:对一条 recording.wav 发起转录(示例指定日语,英语可省略或改为 language=en):
audiocpp_cli --task asr --family nemotron_transcribe --backend cuda \
--model models/nemotron-transcribe/nemotron-transcribe-30b-a4b-experts-Q4_K_S.gguf \
--audio recording.wav --request-option language=ja --text-out transcript.txt
CPU 用户把 --backend cuda 换成 --backend cpu 即可。执行完成后,transcript.txt 里就是识别出的文字——你的第一条 Nemotron 语音转录就跑通了 ✅
官方参考数据(CUDA 后端,短英文样本):7.3 秒音频仅需约 0.56 秒处理,实时因子 0.076,且 15/15 参考词全部命中;49 秒双人对话 1.23 秒处理完成,129/129 词命中。
五、解锁进阶功能:时间戳、说话人标签与翻译
audio.cpp 运行时对本模型暴露了完整任务矩阵,只需切换参数:
| 功能 | 关键参数 | 说明 |
|---|---|---|
| 词级时间戳 | return_timestamps=true |
输出 CTC 源词时间 |
| 说话人分离 | diarization=true |
为不同说话人打标签 |
| 语音翻译 | template_name=translation |
转写同时翻译 |
| 音频问答 | template_name=audio_qa |
就音频内容直接提问 |
| 语言识别 | template_name=language_id |
自动判别音频语言 |
⏱️ 长录音处理技巧:源处理器以 30 秒为分片单位,长音频建议按此长度自行切片,再把每片的时间戳按片内偏移量平移。注意切分可能截断词语,且不同请求之间不保留说话人身份。
六、常见问题排查(附报错原文)
| 现象 | 原因与解法 |
|---|---|
Vulkan 下报 encoder contains unsupported backend op 'NORM' |
audio.cpp 版本过旧。旧运行时会拒绝该编码器;升级到合并 ad14f0c4 之后的版本并重新构建即可,权重无需重新下载 |
| K 档(Q2_K/Q3_K_S/Q4_K_S)加载失败 | 三个填充式 K 布局依赖 audio.cpp 的社区模型适配器,标准 NeMo-Speech.cpp / llama.cpp 推理无法加载 |
| 显存不足 | 换更低的量化档(Q4_K_S → Q3_K_S → Q2_K),或开启 CPU offloading(PR #1154 已支持混合卸载) |
| 识别结果偶发重复/漂移 | 已知限制:CTC 词时间在停顿处可能漂移、可能与其他说话人重叠;属实验性模型的正常表现 |
🔗 完整的选项清单、输入格式与 API 路由说明,请参阅 README 中引用的上游模型指南;仓库内的 THIRD_PARTY_NOTICES.md 也记录了 licenses/Qwen3-ASR-LICENSE.txt、licenses/vLLM-LICENSE.txt 等第三方组件来源。
总结:你的本地语音转录工作流已经就绪
回看这条 10 分钟路径:
- ✅ 构建 audio.cpp(含
nemotron_transcribe模型支持) - ✅ 下载 1 个解码器 + 1 个共享编码器(同一目录)
- ✅
audiocpp_cli --task asr跑通第一条转录 - ✅ 按需开启时间戳、说话人标签、翻译等进阶能力
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-GGUF 让 30B 级语音转录模型走进了消费级硬件,权重遵循 OpenMDW-1.1 许可(详见 LICENSE),NVIDIA 为上游模型作者,本仓库为社区转换。现在,录一段 30 秒的音频,开始你的第一条 Nemotron 语音转录吧!