NVIDIA Granary-v2完全入门:一个数据集解锁48种语言46万小时多语言语音训练数据

原创2026-10-31 22:27:231,726 阅读

NVIDIA Granary-v2完全入门:一个数据集解锁48种语言46万小时多语言语音训练数据

NVIDIA Granary-v2 是 NVIDIA 推出的第二代多语言语音数据集,为 48 种语言、16 个源语料库共 463,062 小时语音提供了统一的高质量监督标注。它不只是转写文本:每条语音还附带逆文本规范化(ITN)、音频描述、语码转换、语音问答和双向语音翻译目标,以及开箱即用的指令对,一个数据集就能同时支撑 ASR、语音翻译和指令微调三大训练任务 🎯

为什么你需要 Granary-v2 🌍

训练多语言语音模型最头疼的问题是:数据分散在几十个语料库中,格式不统一、语言覆盖不全、标签维度单一。Granary-v2 用一条全新的标注流水线,把这些语料一次性"重新加工",带来三大核心价值:

  • 一份数据,多种任务:转写、ITN、描述、翻译、问答、指令对全部内嵌在同一条记录里
  • 双向翻译:非英语语音译成英语(约 92,496 小时),英语语音同时扇出到 31 个目标语言(约 39,375 小时)
  • 质量门控:流水线自带质量检查,约 165,300 小时被标记为 high_quality,方便你直接筛出高可信数据
关键指标 数值
支持语言数 48 种
源语料库 16 个
语音标注总时长 463,062 小时
流水线标记的高质量时长 约 165,300 小时
语音翻译 X→英语 约 92,496 小时
语音翻译 英语→X(31 语言扇出) 约 39,375 小时

每条记录里的 6 大文本目标 📦

Granary-v2 的每条 JSONL 记录都围绕同一段语音展开,最多提供 6 类可训练文本目标:

字段 含义 训练用途
tn_raw 主转写文本(已做文本规范化与标点) 标准 ASR 训练
itn_raw / itn_clean 逆文本规范化转写及清理版 数字、日期等格式还原
captioning_text 语音的自然语言描述 音频描述(audio captioning)
code_switched_text 保留语码切换的转写 混合语言场景 ASR
speech_qa_text 基于语音生成的问答对 语音问答
translations 按目标语言键控的翻译及质量分 双向语音翻译

此外还有 context_asr(粗/细粒度上下文词与实体类别,用于上下文感知识别)、preference_instructions(打包好的 prompt/target 指令对,可直接用于指令微调)以及 high_quality 布尔标志。完整的字段说明可以在 README.md 的 Data Sample Structure 一节查阅。

48 种语言、16 个语料库从哪里来 🗣️

数据覆盖阿拉伯语、中文、法语、德语、日语、葡萄牙语、俄语、西班牙语等 48 种语言,音频来自 16 个知名开源语料库,主要包括:

  • VoxPopuli(23 语言,约 38 万小时)——绝对主力,覆盖大部分欧洲语言
  • LibriLight(英语,49,334 小时)——有声书朗读语料
  • People's Speech(英语,8,598 小时)
  • Multilingual LibriSpeech(8 语言,7,805 小时)
  • Common Voice 26.0(39 语言,3,871 小时)
  • FLEURS(48 语言,412 小时)——全语言覆盖的"压舱石"
  • Golos、Dusha、Europarl-ASR、VCTK、AMI 等——补充俄语、会议、命令词等场景

每种语言对应的清单文件放在 <语言>/<语料库>/<lang>_asr.jsonl.gz,例如德语来自 FLEURS 的清单是 de/fleurs/de_asr.jsonl.gz,英语则包含 en/librilight/en_asr.part00.jsonl.gz 这类分片大文件。

快速上手:3 步加载训练标签 🚀

注意:仓库只包含标签清单(.jsonl.gz),不含音频文件;audio_filepath 字段是一个可自描述的路径标识符,需要你先从源语料库分发处下载音频再与之对齐。

使用 Hugging Face datasets 库即可加载,按"语言"或"语言_语料库"两种粒度选择配置:

from datasets import load_dataset

# 语言级:加载该语言全部语料
ds = load_dataset("nvidia/Granary-v2", "de")

# 语料库级:只加载指定语料
ds = load_dataset("nvidia/Granary-v2", "en_librilight")

大数据量配置(如英语 en)建议开启流式加载,避免一次性占满内存:

ds = load_dataset("nvidia/Granary-v2", "en", streaming=True)

音频获取的四条路线

官方 README 按"下载工作量"把 16 个语料库分成四档:

  1. 一条命令:People's Speech、FalAR、FLEURS 可直接用 datasets 加载
  2. 直接下载:LibriLight、MLS、Golos、LibriSpeech-PC 等提供公开压缩包
  3. 需官方工具:VoxPopuli、Europarl-ASR、AMI 需跑各语料库自带的下载脚本
  4. 需申请访问:Common Voice 26.0(邮箱门槛)、新加坡 National Speech Corpus

各语料库的许可证(CC0、CC-BY-4.0、MIT、自定义条款等)在 README.md 的 "Hours by corpus" 表格中逐条列明,下载前请先确认。

许可证与使用边界 ⚖️

  • 标签清单与指令对整体遵循 OpenMDW-1.1 协议,见 LICENSE
  • 唯一的例外是 People's Speech 子集(en/people_speech/),遵循 CC BY-SA 4.0,见 LICENSES/CC-BY-SA-4.0.txt
  • 源音频的版权归上游分发方所有,仓库不携带任何音频
  • 子集与许可证的映射关系详见 NOTICE

使用时还要注意一个细节:translations 字段中有键不等于有可用翻译——流水线在质量估计器拒绝候选时会写入空 translation_raw 的占位记录,使用前请检查该字段非空。

总结

Granary-v2 把 48 种语言、16 个语料库、46 万小时语音的标注统一成一种格式,并用 6 类文本目标 + 双向翻译 + 指令对的方式,让 ASR、语音翻译、指令微调三类任务共享同一份数据。如果你正在搭建多语言语音模型,从 load_dataset 开始,配合 high_quality 标志筛选数据,就是最快的启动路径 ✅

登录后查看全文
Granary-v2