初见darbuka_arabic_tts_dataset:1944小时阿拉伯语语音+三路ASR共识转录的TTS数据集全景解读

原创2026-11-08 23:33:281,867 阅读

初见darbuka_arabic_tts_dataset:1944小时阿拉伯语语音+三路ASR共识转录的TTS数据集全景解读

Darbuka Arabic(darbuka_arabic_tts_dataset)是一个面向阿拉伯语 TTS 与语音识别研究的开源语音数据集:1944 小时、943,731 条短语音片段,每条都附带三路 ASR 模型的共识转录文本和 DistillMOS 等音频质量评分,采用 WebDataset 分片格式,支持免完整下载的流式读取。本文带你快速看懂这个阿拉伯语 TTS 数据集的来龙去脉。

Darbuka Arabic 阿拉伯语语音TTS数据集官方横幅图

📦 一分钟速览:这个阿拉伯语语音数据集有什么

先看核心数字,来自 manifest.json 的权威统计:

指标 数值
语音总时长 1,944.5 小时
片段总数 943,731 条(每条 2–20 秒)
音频格式 FLAC,保留原始 44.1 kHz / 48 kHz 采样率
转录 Audar、Cohere、Jais 三路 ASR + 共识文本
数据分片 826 个 TAR 分片(约 885 GB)
语言/方言 阿拉伯语(ar/arz),聚焦埃及与沙特口音

数据由两个子集构成:CC 集合(767,841 条,约 1504 小时,来自 CC BY 3.0/4.0 授权内容)与 HF 重标注集合(175,890 条,约 441 小时),全部按编码音频 SHA256 去重后打包。

🎙️ 三路 ASR 共识转录:文本标签是怎么来的

这个阿拉伯语 TTS 数据集最核心的设计,是每条语音都经过三个 ASR 系统识别:

  • Audar、Cohere、Jais 各自输出一条转录文本;
  • PriorityROVER 共识算法把三条候选合并为最终主转录(json.text);
  • 同时保留三条原始转录(json.transcriptions)与一致性指标(json.metrics),方便你按"模型间共识程度"筛选子集。

三路ASR共识转录的一致性分布(按音频小时加权)

83.59% 的音频小时一致性 ≥ 80%,说明绝大部分片段的三个识别器高度吻合。注意:一致性衡量的是模型间共识,不是相对人工转录的准确率——这一区别官方在文档中反复强调。

此外还有一道保守的"阿拉伯语准入门槛"(见 language_policy.json):共识文本需满足 ≥80% 阿拉伯文字母占比、阿语家族分类概率 ≥0.8,且至少两路 ASR 文本也通过语言校验。拿不准的样本一律被"扣下"排除在包外,宁缺毋滥。

📊 数据分布全景:方言、时长、音质与一致性

阿拉伯语TTS数据集方言分布:Egyptian、Saudi与General Arabic按音频小时统计

方言分布上,General Arabic 约 639 小时、Egyptian 约 509 小时、Saudi 约 356 小时,另有约 441 小时未标注(详见 analytics/export_summary.json)。方言标签由 LLM 结合频道/视频描述推断,并非人工逐条核验,选型时建议结合 dialect_provenance 字段自行判断。

阿拉伯语语音数据集片段时长分布(按音频小时加权)

片段时长被控制在 2–20 秒(中位数约 6 秒),恰好适合 TTS 训练与短语音识别任务。

DistillMOS 感知音频质量评分分布:98%音频小时得分不低于3.0

音频质量方面,98.01% 的音频小时 DistillMOS ≥ 3.0(中位数约 3.63)。除了 MOS,每条样本还带有静音占比、音乐概率、Spectra-0 反欺骗分数、p_tts(TTS 训练适配度)等完整质量画像,你可以按任务自由设定筛选阈值。

音频质量DistillMOS与ASR一致性联合分布热力图

这张热力图展示了"音质 × 转录共识"的组合分布——高质量且高共识的区域正是 TTS 训练的黄金子集。完整的分位数表格和 CC/HF 子集中位数对比,可参考 reports/metrics/README.md 与 reports/metrics/metric_summary.csv。

🔍 每条样本包含什么字段

每个 TAR 分片内,样本以 <音频SHA256>.flac + <音频SHA256>.json 相邻存放,完全自包含(格式定义见 schema.json):

字段 内容
flac 原始 FLAC 音频片段
json.text 三路 ASR 的共识转录
json.transcriptions Audar / Cohere / Jais 各自原始转录
json.quality DistillMOS、静音、音乐、反欺骗、p_tts 等质量分
json.metrics ASR 一致性与成对 CER 指标
json.dialect 方言标签及其来源说明
json.source 原始视频 ID、URL 与发布者署名

38 个分析字段的完整类型、单位与空值规则,见 analytics/data_dictionary.csv。

🚀 快速上手:流式读取阿拉伯语 TTS 数据

无需下载 885 GB——用 datasets 的 streaming 模式即可边读边用:

from datasets import load_dataset

samples = load_dataset(
    "bitmanagerai-speech-lab/darbuka_arabic_tts_dataset",
    split="train",
    streaming=True,
)
sample = next(iter(samples))
metadata = sample["json"]
print(metadata["text"])                    # 共识转录
print(metadata["quality"]["DistillMOS"])   # 音质分
print(metadata["metrics"]["consistency_percent"])  # ASR一致性

想先用单个分片(data/cc-000000.tar,1238 条 / 约 2.3 小时)试水?传 config="preview" 即可,预览信息记录在 PREVIEW.json。本地已下载时,仓库自带的 load.py 提供了基于 WebDataset 的最小迭代器。

🗂️ 分析文件:不下载音频也能做数据分析

analytics/ 目录单独导出了一份纯元数据 Parquet 表(analytics/darbuka_arabic_v1_metadata.parquet):943,731 行 × 38 列,ZSTD 压缩仅约 98 MB。用 pandas 读入即可按方言、音质、一致性做小时加权统计(示例见 analytics/README.md),完全不用触碰 885 GB 音频。

⚖️ 许可与引用

所有源录音均收集自 CC BY 3.0/4.0 授权内容,逐条授权证据保存在样本 JSON 内;整体发行采用 LICENSE(Darbuka Arabic Dataset License v1.0),逐来源署名见 ATTRIBUTIONS.jsonl。商业使用版本可联系 kb@bitmanager.ai。

小结

darbuka_arabic_tts_dataset 把"阿拉伯语 TTS 数据集"的三件难事一次做齐了:规模(1944 小时)、文本可靠性(三路 ASR + PriorityROVER 共识 + 一致性指标可筛选)、质量可控(MOS、静音、反欺骗、p_tts 全覆盖且 98% 音频 MOS≥3.0)。再配合可流式读取的 WebDataset 分片与轻量 Parquet 分析表,无论是做阿拉伯语语音合成、方言 ASR 还是数据筛选研究,都能直接开工。

登录后查看全文
darbuka_arabic_tts_dataset