40种语言、中英混说也能转:NVIDIA Nemotron 3.5 Transcribe多语言支持矩阵全解读
40种语言、中英混说也能转:NVIDIA Nemotron 3.5 Transcribe多语言支持矩阵全解读
NVIDIA Nemotron 3.5 Transcribe 是一款开源权重的离线多语言语音转写(Speech-to-Text)模型,支持 40 种语言的语音识别、中英混说(Code-switching)转写,并内置语音翻译与语言识别能力。本文完整解读它的多语言支持矩阵:哪些语言能转、转得多好、中英混说怎么处理,以及如何在单卡上部署。
30秒看懂:这是什么多语言语音转写模型?
Nemotron 3.5 Transcribe(模型名 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B)是 NVIDIA 训练的语音增强语言模型(SALM),把音频编码器与 Mamba-2–Transformer 混合专家(MoE)语言骨干结合:总参数 34B,每次推理只激活约 4.3B,兼顾了多语言精度与推理效率。
| 关键项 | 说明 |
|---|---|
| 支持语言 | 40 种(含美/英/印度英语、巴西/葡萄牙语等地区变体) |
| 录音长度 | 最长 1 小时(65,536 token 上下文) |
| 核心能力 | 逐字/整洁转写、上下文转写、多说话人归属、语音翻译、语言识别、音频问答 |
| 权重精度 | BF16 / FP8 / NVFP4 三档可选 |
| 代码切换(混说) | 40 种语言全部在矩阵中标记支持 |
模型结构参数见 config.json,生成采样设置见 generation_config.json,完整说明以 README.md 为准。
如上图,左侧是处理 16 kHz 音频的感知模块(ASR 编码器 + 说话人编码器 + CTC 时间戳头),右侧是负责生成文本的语言骨干——这套"感知 + 生成"结构,正是"一个模型转 40 种语言"的底气所在。
🌐 40种语言支持矩阵怎么看:3档质量 × 4个能力维度
官方文档中的 Language Support Matrix 用 4 个维度描述每种语言:
- ASR:语音识别
- Translation ↔ English:与英文双向语音翻译
- Multispeaker ASR:多说话人转写(区分"谁说了什么")
- Code-switching:混语言转写(如中英夹杂)
质量则分为三档:
| 档位 | 含义 |
|---|---|
| Leading | 开箱即达到最先进水平,可直接生产 |
| Production-ready | 生产级质量 |
| Supported | 已支持,建议微调后使用效果更佳 |
括号中的地区变体(如法语含法国/加拿大、西班牙语含美国/西班牙)计入其所属语言。矩阵共列出 41 种语言,其中 40 种支持 ASR;挪威语仅被列出、四项能力均未标记(—)。
第一档 Leading:13 种语言可直接上手
捷克语、荷兰语、英语(美/印/英)、法语(法/加)、德语、印地语、意大利语、韩语、波兰语、葡萄牙语(葡/巴)、俄语、斯洛伐克语、西班牙语(美/西)。其中英语、法语、德语、印地语、意大利语、韩语、葡萄牙语、俄语、西班牙语这 9 种还支持多说话人转写。
第二档 Production-ready:15 种语言达到生产级
保加利亚语、克罗地亚语、丹麦语、爱沙尼亚语、芬兰语、匈牙利语、日语、拉脱维亚语、立陶宛语、罗马尼亚语、斯洛文尼亚语、瑞典语、泰语、土耳其语、乌克兰语。日语和泰语还支持多说话人转写;土耳其语暂不支持与英文的翻译。
第三档 Supported:12 种语言,微调后更好用
阿拉伯语、孟加拉语、中文(普通话)、希腊语、希伯来语、印尼语、马耳他语、马拉地语、他加禄语、泰米尔语、泰卢固语、越南语。官方定位是"已支持、可能需微调",其中中文和阿拉伯语还额外支持多说话人转写。
🔍 中文用户重点看:中文转得怎么样?
中文(Mandarin)在矩阵中 4 项能力(ASR、翻译、多说话人、混说)全部打 ✓,质量档位为 Supported。官方基准成绩如下:
| 测试项 | 数据集 | 结果 |
|---|---|---|
| 中文转写 | FLEURS | CER 8.62% |
| 中文转写 | CoVoST2 | CER 9.74% |
| 语言识别(中文) | FLEURS / VoxLingua107 | 100% / 100% |
| 中文多说话人会议 | AISHELL-4 | cpCER 32.91% |
| 中文多说话人会议 | AliMeeting | cpCER 34.95% |
| 中→英语音翻译 | FLEURS | BLEU 21.88 |
| 英→中语音翻译 | FLEURS | BLEU 38.51 |
中文的 "Supported" 标签不代表开箱不能用,而是官方明确"微调后能显著更好"。下图是基座模型与微调后的对比:
注意图下半部分的 "Code-switched ASR · ASCEND (MER)" 一行——这正是中英混说测试,微调后混合错误率从 19.9 降到 11.9,几乎减半;"New language ASR" 一行也说明微调可以把新语言的转写错误率从 73.7 压到 20.8。
中英混说(Code-switching)场景怎么用?
Code-switching 指同一段录音里自然切换多种语言,比如 "The deadline 这周五给到我"。矩阵中 40 种支持语言全部标记了混说能力,官方目前实测混说成绩集中在以下几组:
| 基准测试 | 语言对 | 结果 |
|---|---|---|
| ASCEND | 中文–英文 | 混合错误率 18.74% |
| MUCS 2021 | 印地语–英文 | WER 19.28% |
| MUCS 2021 | 孟加拉语–英文 | WER 35.46% |
💡 实用技巧:转写混说语音时,使用官方推荐"保留原语言"的提示词(见 README.md 中 ASCEND 基准提示词),明确要求"中文写简体中文、英文写拉丁字母,保留原文措辞、不翻译不总结"。这样模型会中文部分保留中文、英文部分保留英文,而不是自作主张地"翻译统一"。
另外两个多语言技能:语音翻译与语言识别
矩阵中还有两列能力同样值得关注:
- 语音翻译:32 种语言支持与英文双向互译(土耳其语、孟加拉语、印尼语、马拉地语、他加禄语、泰米尔语、泰卢固语、越南语暂无)。已测方向中,葡萄牙语(FLEURS→英文 BLEU 44.33)、德语(39.96)领先,中文→英文为 21.88。
- 语言识别:FLEURS 与 VoxLingua107 上多数语言识别准确率超过 97%,德语、西班牙语、法语、日语、中文、泰语等均达 100%。
⚠️ 一个提醒:音频问答、推理和口述指令遵循仅在英文上做过评测,其他语言可能不稳定;转写、翻译、语言识别才覆盖矩阵里的全部 40 种语言。
⚡ 单卡部署 40 语言转写:硬件与性能
这是一个离线模型(内部分块处理,不是实时流式服务),推荐单卡部署:
- 参考配置:1× H100 80 GB(BF16),vLLM 0.32.0
- 轻量方案:RTX 5090 可跑 NVFP4 量化权重
- 服务框架:vLLM、SGLang-Omni、Hugging Face Transformers 均可
单张 RTX PRO 6000 Blackwell Server Edition 上的吞吐与延迟对比(RTFx 越高越快):
官方数据显示,NVFP4 + DFlash2 投机解码下单卡每秒最多可转写 2,238 秒音频,30 秒录音 0.13 秒即可返回文本——40 种语言的多语言能力与快速响应可以兼得。
总结:选对语言档位,选对任务
- Leading 13 种语言(英、法、德、西等):可直接用于生产;
- Production-ready 15 种语言(日语、泰语等):生产级稳定;
- Supported 12 种语言(中文、越南语、阿拉伯语等):建议先用领域数据微调再上线;
- 中英混说:有官方基准成绩,微调后错误率近乎减半。
想深入细节,可以从 README.md(完整基准数据与提示词)、config.json(模型结构参数)、alignment_tokenizer/(词级时间戳对齐分词器)和 licenses/(第三方许可说明)入手。


