40 种语言是卖点还是负担:多语种转写的真实收益边界
40 种语言是卖点还是负担:多语种转写的真实收益边界
2026 年 10 月 28 日,NVIDIA 把 Nemotron 3.5 Transcribe 以开放权重形式放了出来:34B 总参数、约 4.3B 激活参数、单条录音最长 1 小时、65,536 token 上下文、40 种语言。参数表里"40 种语言"这一行被反复转发,几乎成了这个模型唯一被记住的标签。
但对一个以中文为主的团队来说,问题不是"它支不支持 40 种语言",而是"为了这 40 种语言,我付了什么,又拿到了什么"。这两个问题的答案都不在宣传语里,而在仓库的三份文件里:语言支持矩阵、benchmark 明细表,以及 config.json 里的 MoE 与上下文配置。本文把这三处证据摊开,试图给出一个可操作的收益边界。
顺带要做一次事实纠正。社区里流传的"8 人说话人分离、0.32 秒延迟、1 亿参数、消费级显卡就能跑"描述的其实是 Nemotron-3-Diarization 这一独立模型,本文讨论的这个 30B-A3B 是离线模型。仓库 README.md 写得很直白:This is an offline model. Internal audio chunking does not make it a real-time streaming ASR service. 它的说话人能力来自被冻结后并入感知模块的 99M 参数 Sortformer 编码器,而不是一个可以单独流式部署的分离服务。部署门槛也不是"一张游戏显卡",而是 1×H100 80GB 起步。把两者混为一谈,会导致选型从第一步就走偏。
先把"40 种语言"拆成可验证的四列
README 的 Language Support Matrix 并不是一张"支持/不支持"的表,而是一张六列表:语种、ASR、翻译、多人转写、语码转换、质量档位。40 行里,能力分布非常不均匀。
| 档位 | 语种数 | 代表语种 |
|---|---|---|
| Leading | 13 | 英、法、德、西、意、葡、俄、荷、捷、波、斯洛伐克、韩、印地 |
| Production-ready | 14 | 日、泰、土耳其、乌克兰、北欧与波罗的语种等 |
| Supported | 13 | 中文普通话、阿拉伯语、希伯来语、越南语、孟加拉语、泰米尔语、泰卢固语、马拉地语等 |
中文普通话落在第三档 Supported,README 对这一档的定义是"支持,可能需要微调"。这不是文字游戏——同一份文档在 Benchmark 章节给出了对应的数字。
更值得注意的是矩阵里两处自相矛盾,它们恰好说明"40"是个传播口径而非工程口径:
- 挪威语在矩阵里被标为
Supported,但 ASR、翻译、多人、语码转换四列全是—;而 FLEURS 结果表里又给出了挪威语 63.76% 的 WER。一个语种同时"不支持 ASR"和"有 WER 分数",只能说明它参与了评测但没进正式支持清单。 - 文件开头的 YAML
language:列表是 40 项,里面没有挪威语;矩阵却有 41 行。也就是说"40 种语言"这个整数,取决于你数的是哪张表。
选型时应该数的不是语种数量,而是"我的语种 × 我的任务"这个笛卡尔积里有几个格子真的打了勾。翻译列缺失的语种有土耳其语、孟加拉语、印尼语、马拉地语、他加禄语、泰米尔语、泰卢固语、越南语;多人转写列缺失的更多,中文是少数同时具备 ASR、翻译、多人、语码转换四项的语种之一,这一点比"40"更有价值。
中文在这张矩阵里的真实坐标
把 README 里所有与中文相关的数字抽出来,会得到一个相当清晰的画像:
| 场景 | 指标 | 数值 |
|---|---|---|
| FLEURS 中文 | CER | 8.62 |
| CoVoST2 中文 | CER | 9.74 |
| ASCEND 中英混说 | MER | 18.74 |
| AISHELL-4 会议 | cpCER(含说话人归属) | 32.91 |
| AliMeeting 会议 | cpCER | 34.95 |
| 中文语音→英文文本 | BLEU | 21.88 |
| 英文语音→中文文本 | BLEU | 38.51 |
| 中文语种识别 | FLEURS / VoxLingua107 | 100.00 / 100.00 |
三件事立刻浮出来。
第一,单语干净朗读和真实会议之间有一条鸿沟。 FLEURS 中文 CER 8.62%,而 AISHELL-4、AliMeeting 的 cpCER 是 32.91% 和 34.95%。后两个数字不仅包含字错,还包含说话人归属错误,但作为对比:英文 AMI 耳机麦克风条件下 cpWER 只有 10.29%,单远场麦克风 17.34%。中文会议场景的难度和英文不在一个量级,而这正是国内团队最常用的场景。
第二,中英混说是它的强项而非弱项。 ASCEND 的 MER 是 18.74%,看起来不低,但中文单语 FLEURS 的 CER 就有 8.62%——混说带来的额外损失并没有想象中大。对一个需要处理"这个方案先 hold 一下"这类句子的团队,这是实打实的收益。
第三,翻译是单向的。 英文→中文 BLEU 38.51,中文→英文只有 21.88。同一张表里德语→英文是 39.96,葡萄牙语→英文 44.33。如果你的业务是把中文内容输出到海外,这个方向的翻译质量需要单独验证,不能拿"支持 40 种语言翻译"一笔带过。
还有一处容易被忽略:矩阵里"中文"那一行的多人转写打了勾,但 README 的多人 benchmark 只覆盖 AMI、CALLHOME、Mixer 6、NOTSOFAR-1 四个英文集,中文多人结果只以 cpCER 形式出现在 AISHELL-4 和 AliMeeting 上,没有中文 IHM/SDM 的对照。想拿它做中文会议纪要,必须自己准备一套带 RTTM 标注的验证集。
语种自动识别的成本:问题不在"识别错",而在"标签集里没有你的语言"
多语种模型最隐蔽的成本是语种决策权被交了出去。这个模型的默认转写提示词写在 processor_config.json 里:
"default_transcription_prompt": "Audio transcription. Language: as spoken. Wording: verbatim, including fillers and repetitions. Formatting: punctuation and capitalization. Output: transcript only."
Language: as spoken 意味着每一段音频都要先做一次语种判定,而这个判定是被 prompt 驱动的,不是硬性约束。文档里给出的接口也没有 language 参数——OpenAI 兼容请求里只有文本指令和音频。
真正的风险在 LID 任务本身。README 的评测提示词给出了 FLEURS LID 的完整标签集,我数了一下,是 36 个 locale 标签:
ar_eg, bg_bg, cmn_hans_cn, hr_hr, cs_cz, da_dk, nl_nl, en_us, et_ee, fil_ph, fi_fi, fr_fr, de_de, el_gr,
he_il, hi_in, hu_hu, id_id, it_it, ja_jp, ko_kr, lv_lv, lt_lt, mt_mt, pl_pl, pt_br, ro_ro, ru_ru, sk_sk,
sl_si, es_419, sv_se, th_th, tr_tr, uk_ua, vi_vn
这份标签集和"40 种语言"的差距是可量化的:孟加拉语、马拉地语、泰米尔语、泰卢固语四个语种有 ASR 支持,却不在 LID 标签集里;阿拉伯语被收窄成 ar_eg 一个埃及方言标签。当一段音频是泰米尔语而标签集里根本没有泰米尔语时,模型的输出必然是 36 个标签之一——这是结构性的误判,不是概率性的误判。
即便在标签集覆盖的语种里,准确率也不齐。FLEURS 上中文、日语、韩语、德语、法语、西班牙语都是 100.00,但印地语只有 94.02;VoxLingua107 上拉脱维亚语 80.49、斯洛文尼亚语 55.56。也就是说,跨数据集、跨信道时 LID 的稳定性会明显下降,而 README 自己也把它列进了风险项:Errors include substitutions, deletions, repetitions, hallucinated speech, incorrect language choice, and speaker attribution errors.
仓库里还有一处证据能说明"语言决策"对输出形态的影响有多大:ASCEND 和 Monsoon 的评测提示词都必须显式钉死书写系统——"Write Mandarin in simplified Chinese characters"、"Use Devanagari for Hindi words, never romanized Hindi"。这反过来说明,如果不指定,模型存在输出罗马化或脚本漂移的可能。
对一个 95% 音频都是中文普通话的团队,这笔成本完全可以消掉:不要用 Language: as spoken,直接钉死语种和脚本。提示词沿用官方 Language: <lang>, in its standard writing system 的句式即可:
Audio transcription. Language: Chinese Mandarin, in simplified Chinese characters.
Wording: verbatim, including fillers and repetitions.
Formatting: punctuation and capitalization.
Output: transcript only.
这一行改动把"模型猜语种"变成"模型执行语种",是单语团队从多语种模型上能拿到的最低成本收益。反过来,如果业务确实会收到无法预判语种的音频,就别省这一步——加一层前置 LID,并且把候选标签集裁剪到你的真实语种库存,比让模型在 36 个标签里自由选择安全得多。
算力与上下文:多语种到底让你多付了什么
很多人默认"支持 40 种语言 = 推理更贵"。在这个模型上,这个直觉只对了一半。
不贵的部分:激活算力与语种数量无关。 config.json 里的语言骨干是 nemotron_h:128 个路由专家、每 token 激活 6 个、1 个共享专家(moe_shared_expert_intermediate_size: 3712)。MoE 的稀疏激活意味着语种知识分散在不同专家里,你说中文时不会去算那些服务斯瓦希里语的专家。同一个 4.3B 激活预算,服务 1 种语言和 40 种语言的单 token 成本是一样的。这是 MoE 相对稠密模型在多语种场景下最实际的优势。
贵的部分:词汇表是所有人平摊的固定开销。 词表 131,072,隐藏维度 2,688,tie_word_embeddings: false:
- 输入嵌入 131072 × 2688 ≈ 3.52 亿参数
- 输出 LM head 同样 ≈ 3.52 亿参数
- BF16 下合计约 1.4 GB 显存,占 34B 总参数的 2% 左右
再加上 architecture.png 标注的 CTC 时间戳头(2 层 Transformer + CTC 输出层,47M 参数,23,862 个类别,其中包含 <spk:0> 到 <spk:15> 及 <ev:*>、<sty:*> 特殊标记)。这些是"多语种 + 富转写"能力的固定税,无论你只用中文都要付。
真正吃紧的是上下文预算。 音频特征 10ms 一帧、8 倍下采样,即 80ms 一个音频 token,换算下来:
- 1 分钟音频 = 750 token
- 1 小时音频 = 45,000 token
而模型上下文是 65,536。README 明确提示"一段信息密集的一小时对话可能需要约 20,000 个输出 token"——45,000 加 20,000 正好把 65,536 吃满。这是一条没有余量的设计:要么接受长录音必须切块(README 的长音频评测用的是 55 分钟块、5 秒重叠),要么接受转写被截断。max_tokens: 16384 这个默认值对一小时录音是不够的,需要显式放开。
硬件门槛是另一笔隐性成本。 README.md 的兼容性表里,BF16 要 A100 80GB 或 H100;RTX 5090 只支持 NVFP4;L40S 48GB 只支持 FP8;能"端侧"跑的选项是 DGX Spark(GB10)这一档。社区新闻里说的"RTX Spark 笔记本",在仓库的硬件表里对应的是 DGX Spark 这类统一内存设备,不是普通轻薄本。
吞吐方面,serving_performance.png 给出的数字是:单张 RTX PRO 6000 Blackwell,NVFP4 + DFlash2 投机解码下每秒可处理 2,238 秒音频,30 秒录音的回包时间是 0.13 秒。但要注意这句话的后半段——这些优化还没进开源版本,NeMo Speech 发布当天的 vLLM 集成"预计大约慢两倍"。开源可复现的吞吐是另一套数字:H100 上 MTP2 约 410 RTFx、MTP8 约 270 RTFx、DFlash2 K=7 约 340 RTFx。
边际收益曲线:0.23 个点与 1.87 个点的区别
这是全文最该盯住的一组数字。README 的 "Best open-weight results" 表里,Nemotron 3.5 Transcribe 和 Qwen3-ASR-1.7B 被放在了一起:
| 维度 | Nemotron 3.5 Transcribe | Qwen3-ASR-1.7B | 差距 |
|---|---|---|---|
| 英文单语(9 集合平均 WER) | 4.71 | 4.94 | 0.23 |
| 多语种(7 语种平均 WER) | 4.62 | 6.49 | 1.87 |
| 长音频 WER | 10.98 | 13.37(Parakeet-TDT-0.6B-v3) | 2.39 |
把约 4.3B 激活参数、34B 总参数、80GB 显存,去换 0.23 个百分点的英文单语 WER——这笔账在任何成本核算里都不成立。但换到多语种,差距变成 1.87 个百分点;换到长音频,是 2.39 个点。也就是说,这个模型的溢价买的是"跨语种一致性",不是"单语绝对精度"。
这条曲线直接决定了收益边界在哪:
- 如果你的语种库存只有中文,且场景是单语、单人、近场,那么你为 40 种语言付的钱几乎全是沉没成本,一个 1B 级别的专用模型在成本上会赢得很轻松。
- 如果库存里同时有中文、英文、日文,或者音频本身就是中英混说,那么多语种一致性带来的收益是真实的——不是"能识别",而是"不同语种的输出格式、标点习惯、说话人标记方式一致",这对下游结构化处理的价值远大于 WER 的几个点。
- 真正被低估的收益点是上下文注入,而不是语种数量。ContextASR-Bench 上,无上下文 WER 3.33,细粒度上下文 1.71,命名实体 WER 从 12.21 降到 2.20,漏检率从 14.99 降到 1.32;Contextual Earnings22 的关键词召回从 58.16 拉到 96.05,F1 从 73.01 到 97.09。给一份术语表,收益比"多支持 39 种语言"大一个数量级。对中文团队,这意味着把产品名、人名、内部黑话整理成
Context terms:传进去,几乎零成本。
顺带说一句仓库根目录那张 finetune_gains.png:它展示了微调前后的对比,其中"New language ASR · FLEURS Swahili"的 WER 从 73.7 降到 20.8。需要说明的是,README 正文并未引用这张图,它更可能是 NeMo Speech 微调能力的示意而非本模型卡的结论。但它指向一个明确事实:40 这个数字不是天花板,边界是可以靠微调外推的——代价是你得自己准备数据和训练资源。
单语团队的取舍清单
把上面的证据收敛成可执行的判断。
该用它的情况:
- 音频里存在稳定的多语种或语码转换(跨境客服、外贸会议、海外内容本地化)。这是唯一能用 1.87 个点差距说服自己的场景。
- 需要"转写 + 翻译 + 说话人 + 时间戳"在同一次推理里完成。CTC 时间戳头配合
mm_processor_kwargs.capture_ctc_timestamps一次输出words、diarization、speaker_tag_to_diarization_speaker,省掉一条 ASR + 对齐 + 分离的流水线。 - 有大量专有名词需要纠偏。上下文注入的收益是本文所有数据里最大的一项。
- 数据不能出内网。OpenMDW-1.1 允许商用,权重可本地部署。
不该用它的情况:
- 需要实时流式。它是离线模型,内部 30 秒分块只是工程实现,不构成流式延迟承诺。要流式请去看 0.6B 那一档的模型。
- 纯中文、近场、单人、成本敏感。80GB 显存换 0.23 个点的逻辑不成立。
- 中文会议纪要且要求说话人归属准确。AISHELL-4 / AliMeeting 的 cpCER 在 33%–35%,没有中文 IHM/SDM 对照数据,必须先自建验证集。
部署时几个必须改的默认值:
Language: as spoken 换成显式语种加脚本,理由见上一节。
max_tokens 从默认 16384 放开。README 的示例函数里写死 max_tokens=20480 if reasoning else 16384,一小时录音按 20,000 输出 token 估算会被截断。
长录音开时间戳时必须保留 skip_special_tokens=False,否则 <spk:0> 这类标记会被洗掉,ctc_timestamps 的说话人映射就失去意义。
中文长文本建议挂上 README 提供的重复循环护栏。转写任务在极少数情况下会陷入不终止的生成,中文没有空格分隔,一旦重复会非常难在人工校对阶段发现:
import re
CHAR_RUN = re.compile(r"(.)\1{20,}", re.DOTALL)
BLOCK_RUN = re.compile(r"(.{1,4096}?)\1{19,}", re.DOTALL)
def cleanup_generation_loops(text: str) -> str:
text = CHAR_RUN.sub(lambda m: m.group(1), text)
return BLOCK_RUN.sub(lambda m: m.group(1), text)
一个最小可用的中文钉语种请求,基于 README 的 ask 封装改造:
import base64
from pathlib import Path
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
def transcribe_zh(audio_path, context_terms="", timestamps=False):
audio = base64.b64encode(Path(audio_path).read_bytes()).decode()
prompt = (
"Audio transcription. Language: Chinese Mandarin, in simplified Chinese characters. "
"Wording: verbatim, including fillers and repetitions. "
"Formatting: punctuation and capitalization. Output: transcript only."
)
if context_terms:
prompt = f"Transcribe with punctuation and capitalization. Context terms: {context_terms}."
extra_body = {
"chat_template_kwargs": {"enable_thinking": False},
"skip_special_tokens": False,
"spaces_between_special_tokens": False,
"seed": 0,
}
if timestamps:
extra_body["mm_processor_kwargs"] = {"capture_ctc_timestamps": True}
return client.chat.completions.create(
model="nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B",
messages=[{"role": "user", "content": [
{"type": "text", "text": prompt},
{"type": "audio_url", "audio_url": {"url": f"data:audio/wav;base64,{audio}"}},
]}],
temperature=0,
top_p=1.0,
max_tokens=32768,
extra_body=extra_body,
)
注意 enable_thinking=False 不能省。chat_template.jinja 里 enable_thinking 的默认值是 True,如果服务端不传,模板会在 assistant 起始处插入 <think>,转写任务会先消耗一轮推理预算再输出文本。这是把模型能力用错的典型方式,而且不会报错,只会变慢、变贵、偶尔跑偏。
结论:它是一项期权,不是一份清单
回到标题的问题。"40 种语言"既不是纯粹的卖点,也不是纯粹的负担,它更像一份期权:你为它支付了约 1.4GB 的词表显存、一套 23,862 类的 CTC 头、一段被 MoE 稀疏化后并不昂贵的激活算力,以及一个必须显式管理的语种决策环节。这份期权的行权价是 80GB 显存,行权收益取决于你的语种库存里到底有没有"跨语种互通"这个需求。
有,收益是 1.87 个百分点加上一套统一的下游格式;没有,收益是 0.23 个百分点,而成本是实打实的。仓库里那张语言矩阵已经把答案写清楚了:中文在 Supported 档,不是 Leading 档;中文会议 cpCER 在 33% 以上,不是英文 AMI 的 10%。真正值得为一个中文团队立刻用起来的,不是那 40 行语言列表,而是 Context terms: 那一行提示词——它把命名实体漏检率从 14.99% 压到 1.32%,成本是零。
判断标准其实只有一条:如果你的音频里永远只会出现一种语言,那这 40 种语言就是负担;如果它会,那它就是目前开源阵营里少数几个能一次性把转写、翻译、说话人、时间戳讲清楚的选择。


