IndicVoices快速上手指南:5分钟用HuggingFace datasets加载印度22语言语音数据
IndicVoices快速上手指南:5分钟用HuggingFace datasets加载印度22语言语音数据
IndicVoices 是目前覆盖印度宪法第八调语言(22 种语言)的最大多语言语音数据集。本教程手把手教你使用 HuggingFace datasets 库,在 5 分钟内加载你的第一条语音样本——无需手动下载海量 Parquet 文件,3 行 Python 代码即可开始探索。🚀
为什么选择 IndicVoices:22 种语言一站式语音数据集
IndicVoices 由 AI4Bharat 团队发布,收录了 23,700 小时的自然语音(朗读、即兴、对话三种场景),来自 51,000 位说话人,覆盖 400+ 印度地区,其中 11,200 小时已完成转录,并附带丰富的说话人元信息(性别、年龄段、职业、地区等)。数据集采用 CC BY 4.0 协议,可自由用于研究与商用。
22 种语言各自独立成一个配置(config),按需加载:
| 语言 | 语言 | 语言 | 语言 |
|---|---|---|---|
| Hindi 印地语 | Bengali 孟加拉语 | Tamil 泰米尔语 | Telugu 泰卢固语 |
| Kannada 卡纳达语 | Malayalam 马拉雅拉姆语 | Marathi 马拉地语 | Gujarati 古吉拉特语 |
| Punjabi 旁遮普语 | Assamese 阿萨姆语 | Maithili 迈蒂利语 | Sanskrit 梵语 |
| Nepali 尼泊尔语 | Odia 奥里亚语 | Kashmiri 克什米尔语 | Konkani 孔卡尼语 |
| Dogri 多格里语 | Santali 桑塔利语 | Sindhi 信德语 | Manipuri 曼尼普尔语 |
| Bodo 博多语 | Urdu 乌尔都语 |
每句录音都包含转录文本、时长、采样点、说话人 ID、场景、任务名,以及未清洗的原始文本,非常适合 ASR 模型训练与多语言研究。
环境准备:安装依赖与获取访问令牌
只需安装 datasets 库:
pip install datasets
💡 提示:IndicVoices 托管在 HuggingFace Hub,属于需要访问令牌的数据集。请在 HuggingFace 账号的 Settings → Access Tokens 中生成一个 token,加载时会自动使用,无需额外配置。
如果你想把数据仓库克隆到本地浏览目录结构(数据文件通过 Git LFS 拉取),可以使用:
git clone https://gitcode.com/hf_mirrors/ai4bharat/IndicVoices
5 分钟快速加载:3 行代码拿到语音样本
打开 Python 交互式环境(python 或 Jupyter),执行官方推荐的加载方式(详见 README.md):
from datasets import load_dataset
# 指定语言配置,这里以阿萨姆语为例
dataset = load_dataset("ai4bharat/IndicVoices", "assamese", split="valid")
print(dataset)
- 第 2 个参数
assamese就是语言配置名,换成hindi、tamil、bengali等即可加载其他 21 种语言。 split="valid"表示加载验证集(每种子集都提供train和valid两个 split)。
取出第一条样本,查看音频与文本字段:
sample = dataset[0]
print(sample["text"]) # 该句的转录文本
print(sample["duration"]) # 时长(秒)
audio_filepath 字段是标准的 Audio 类型,读取后会返回 array(波形)和 sampling_rate(采样率),可直接喂给 PyTorch 或 torchaudio。
流式加载:不下载全库,边读边用
整个数据集超过 1 TB,本地磁盘紧张时强烈建议使用 streaming 流式加载:数据按块在线读取,内存占用极低,非常适合快速验证或 Notebook 环境:
from datasets import load_dataset
dataset = load_dataset(
"ai4bharat/IndicVoices", "hindi",
split="train", streaming=True
)
print(next(iter(dataset))) # 直接读取第一条
加上 streaming=True 后,load_dataset 不会把数据落盘,逐条迭代即可。👍
看懂数据:字段结构与元信息
完整字段定义可在 dataset_infos.json 中查到,所有语言共用同一套 20 个字段:
| 字段 | 类型 | 说明 |
|---|---|---|
audio_filepath |
Audio | 音频数据(波形 + 采样率) |
text |
string | 最终采用的转录文本 |
verbatim / normalized |
string | 逐字文本 / 归一化文本 |
unsanitized_verbatim 等 |
string | 未清洗的原始转录,供质检对比 |
duration / samples |
float / int | 时长(秒)/ 采样点数 |
speaker_id / gender / age_group |
string | 说话人 ID、性别、年龄段 |
scenario / task_name |
string | 录音场景、任务类型 |
area / district / state |
string | 地区 / 县 / 邦,可用于地域多样性分析 |
occupation / job_type |
string | 职业信息 |
丰富的说话人画像正是它“包容性(Inclusive)”的体现:你可以按地区、性别、年龄段轻松过滤子集。
数据目录结构:每种语言独立 Parquet 分片
如果克隆了仓库,目录按「语言 → 分片」组织:每种语言一个文件夹,内部是切分为多片的 train-*.parquet 和 valid-*.parquet。以印地语为例(README.md 列出了全部 22 个配置的映射关系):
- 训练集:hindi/train-00000-of-00082.parquet(共 82 片)
- 验证集:hindi/valid-00000-of-00001.parquet
各语言规模差异较大(train split 样本数):
| 语言 | 样本数 | 语言 | 样本数 |
|---|---|---|---|
| Assamese | 469,187 | Tamil | 422,963 |
| Hindi | 445,160 | Odia | 394,263 |
| Punjabi | 387,502 | Malayalam | 339,508 |
| Bengali | 335,367 | Marathi | 299,260 |
| Telugu | 269,306 | Urdu | 255,626 |
| Nepali | 246,593 | Dogri | 161,546 |
分片式设计让你可以只读前几片做实验,不必一次处理整个分片文件。
常见问题排查
❓ 提示数据集需要认证(Gated / Requires auth)
确认已登录:在终端执行 huggingface-cli login 并粘贴你的 token,再重新运行 load_dataset。
❓ 下载时间太长或磁盘不够
优先使用 streaming=True;或只加载 valid split(通常只有几 MB 到几百 MB)先验证流程,确认无误后再拉 train。
❓ 想同时加载多种语言 循环调用即可,不同配置互不干扰:
langs = ["hindi", "tamil", "bengali"]
for lang in langs:
ds = load_dataset("ai4bharat/IndicVoices", lang, split="valid", streaming=True)
print(lang, next(iter(ds))["text"])
❓ 需要完整原始音频文件? Hub 上托管的是清洗后的分片数据。官方同时提供每语言的 v1–v5 增量压缩包(含原始音频与对应 JSON 标注),下载解压后每个音频文件旁都附带元数据,详见 README.md。
写在最后
至此你已经掌握了 IndicVoices 语音数据集的核心用法:datasets 库 + 语言配置名 + split 参数,即可按需加载 22 种印度语言的语音与转录数据。下一步建议:
- 基于
trainsplit 微调一个多语言 ASR 模型; - 利用
district/gender/age_group字段做说话人多样性分析; - 对比
verbatim与normalized字段,研究文本归一化对识别效果的影响。
祝你在印度多语言语音的世界里玩得开心!🎉