40种语言、中英混说也能转:NVIDIA Nemotron 3.5 Transcribe多语言支持矩阵全解读

原创2026-10-30 16:26:141,822 阅读
文章标签:人工智能大模型语音音频多模态深度学习

40种语言、中英混说也能转:NVIDIA Nemotron 3.5 Transcribe多语言支持矩阵全解读

NVIDIA Nemotron 3.5 Transcribe 是一款开源权重的离线多语言语音转写(Speech-to-Text)模型,支持 40 种语言的语音识别、中英混说(Code-switching)转写,并内置语音翻译与语言识别能力。本文完整解读它的多语言支持矩阵:哪些语言能转、转得多好、中英混说怎么处理,以及如何在单卡上部署。

30秒看懂:这是什么多语言语音转写模型?

Nemotron 3.5 Transcribe(模型名 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B)是 NVIDIA 训练的语音增强语言模型(SALM),把音频编码器与 Mamba-2–Transformer 混合专家(MoE)语言骨干结合:总参数 34B,每次推理只激活约 4.3B,兼顾了多语言精度与推理效率。

关键项 说明
支持语言 40 种(含美/英/印度英语、巴西/葡萄牙语等地区变体)
录音长度 最长 1 小时(65,536 token 上下文)
核心能力 逐字/整洁转写、上下文转写、多说话人归属、语音翻译、语言识别、音频问答
权重精度 BF16 / FP8 / NVFP4 三档可选
代码切换(混说) 40 种语言全部在矩阵中标记支持

模型结构参数见 config.json,生成采样设置见 generation_config.json,完整说明以 README.md 为准。

NVIDIA Nemotron 3.5 Transcribe多语言语音转写架构图:音频编码器连接混合MoE语言骨干

如上图,左侧是处理 16 kHz 音频的感知模块(ASR 编码器 + 说话人编码器 + CTC 时间戳头),右侧是负责生成文本的语言骨干——这套"感知 + 生成"结构,正是"一个模型转 40 种语言"的底气所在。

🌐 40种语言支持矩阵怎么看:3档质量 × 4个能力维度

官方文档中的 Language Support Matrix 用 4 个维度描述每种语言:

  • ASR:语音识别
  • Translation ↔ English:与英文双向语音翻译
  • Multispeaker ASR:多说话人转写(区分"谁说了什么")
  • Code-switching:混语言转写(如中英夹杂)

质量则分为三档:

档位 含义
Leading 开箱即达到最先进水平,可直接生产
Production-ready 生产级质量
Supported 已支持,建议微调后使用效果更佳

括号中的地区变体(如法语含法国/加拿大、西班牙语含美国/西班牙)计入其所属语言。矩阵共列出 41 种语言,其中 40 种支持 ASR;挪威语仅被列出、四项能力均未标记(—)。

第一档 Leading:13 种语言可直接上手

捷克语、荷兰语、英语(美/印/英)、法语(法/加)、德语、印地语、意大利语、韩语、波兰语、葡萄牙语(葡/巴)、俄语、斯洛伐克语、西班牙语(美/西)。其中英语、法语、德语、印地语、意大利语、韩语、葡萄牙语、俄语、西班牙语这 9 种还支持多说话人转写。

第二档 Production-ready:15 种语言达到生产级

保加利亚语、克罗地亚语、丹麦语、爱沙尼亚语、芬兰语、匈牙利语、日语、拉脱维亚语、立陶宛语、罗马尼亚语、斯洛文尼亚语、瑞典语、泰语、土耳其语、乌克兰语。日语和泰语还支持多说话人转写;土耳其语暂不支持与英文的翻译。

第三档 Supported:12 种语言,微调后更好用

阿拉伯语、孟加拉语、中文(普通话)、希腊语、希伯来语、印尼语、马耳他语、马拉地语、他加禄语、泰米尔语、泰卢固语、越南语。官方定位是"已支持、可能需微调",其中中文和阿拉伯语还额外支持多说话人转写。

🔍 中文用户重点看:中文转得怎么样?

中文(Mandarin)在矩阵中 4 项能力(ASR、翻译、多说话人、混说)全部打 ✓,质量档位为 Supported。官方基准成绩如下:

测试项 数据集 结果
中文转写 FLEURS CER 8.62%
中文转写 CoVoST2 CER 9.74%
语言识别(中文) FLEURS / VoxLingua107 100% / 100%
中文多说话人会议 AISHELL-4 cpCER 32.91%
中文多说话人会议 AliMeeting cpCER 34.95%
中→英语音翻译 FLEURS BLEU 21.88
英→中语音翻译 FLEURS BLEU 38.51

中文的 "Supported" 标签不代表开箱不能用,而是官方明确"微调后能显著更好"。下图是基座模型与微调后的对比:

Nemotron 3.5 Transcribe微调收益对比:中英混说转写ASCEND指标从19.9降到11.9

注意图下半部分的 "Code-switched ASR · ASCEND (MER)" 一行——这正是中英混说测试,微调后混合错误率从 19.9 降到 11.9,几乎减半;"New language ASR" 一行也说明微调可以把新语言的转写错误率从 73.7 压到 20.8。

中英混说(Code-switching)场景怎么用?

Code-switching 指同一段录音里自然切换多种语言,比如 "The deadline 这周五给到我"。矩阵中 40 种支持语言全部标记了混说能力,官方目前实测混说成绩集中在以下几组:

基准测试 语言对 结果
ASCEND 中文–英文 混合错误率 18.74%
MUCS 2021 印地语–英文 WER 19.28%
MUCS 2021 孟加拉语–英文 WER 35.46%

💡 实用技巧:转写混说语音时,使用官方推荐"保留原语言"的提示词(见 README.md 中 ASCEND 基准提示词),明确要求"中文写简体中文、英文写拉丁字母,保留原文措辞、不翻译不总结"。这样模型会中文部分保留中文、英文部分保留英文,而不是自作主张地"翻译统一"。

另外两个多语言技能:语音翻译与语言识别

矩阵中还有两列能力同样值得关注:

  • 语音翻译:32 种语言支持与英文双向互译(土耳其语、孟加拉语、印尼语、马拉地语、他加禄语、泰米尔语、泰卢固语、越南语暂无)。已测方向中,葡萄牙语(FLEURS→英文 BLEU 44.33)、德语(39.96)领先,中文→英文为 21.88。
  • 语言识别:FLEURS 与 VoxLingua107 上多数语言识别准确率超过 97%,德语、西班牙语、法语、日语、中文、泰语等均达 100%。

⚠️ 一个提醒:音频问答、推理和口述指令遵循仅在英文上做过评测,其他语言可能不稳定;转写、翻译、语言识别才覆盖矩阵里的全部 40 种语言。

⚡ 单卡部署 40 语言转写:硬件与性能

这是一个离线模型(内部分块处理,不是实时流式服务),推荐单卡部署:

  • 参考配置:1× H100 80 GB(BF16),vLLM 0.32.0
  • 轻量方案:RTX 5090 可跑 NVFP4 量化权重
  • 服务框架:vLLM、SGLang-Omni、Hugging Face Transformers 均可

单张 RTX PRO 6000 Blackwell Server Edition 上的吞吐与延迟对比(RTFx 越高越快):

Nemotron Transcribe多语言语音转写推理性能:BF16、FP8、NVFP4单卡吞吐与延迟曲线

官方数据显示,NVFP4 + DFlash2 投机解码下单卡每秒最多可转写 2,238 秒音频,30 秒录音 0.13 秒即可返回文本——40 种语言的多语言能力与快速响应可以兼得。

总结:选对语言档位,选对任务

  • Leading 13 种语言(英、法、德、西等):可直接用于生产;
  • Production-ready 15 种语言(日语、泰语等):生产级稳定;
  • Supported 12 种语言(中文、越南语、阿拉伯语等):建议先用领域数据微调再上线;
  • 中英混说:有官方基准成绩,微调后错误率近乎减半。

想深入细节,可以从 README.md(完整基准数据与提示词)、config.json(模型结构参数)、alignment_tokenizer/(词级时间戳对齐分词器)和 licenses/(第三方许可说明)入手。

登录后查看全文
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B