alania-speech-captions-tr字段字典:从segment_id到dnsmos_ovrl,20+核心列逐一精讲
alania-speech-captions-tr字段字典:从segment_id到dnsmos_ovrl,20+核心列逐一精讲
alania-speech-captions-tr(Alania Turkish Speech Style Captions)是由 PatientDesk AI 发布的土耳其语语音风格描述数据集:835,267 个语音片段、2,398 小时,每一行都包含描述"这段声音听起来什么样"的英/土双语自然语言 caption,以及支撑它的客观测量值(音高、语速、停顿、噪声、混响等)。本文就是这份数据集字段字典,从 segment_id 讲到 dnsmos_ovrl,20+ 核心列逐一精讲,帮你快速看懂每一列,用于 TTS、ASR 与语音分类任务。
📦 一、数据集速览:这份字段字典属于谁
| 指标 | 数值 |
|---|---|
| 语音片段 | 835,267 段(来自 15,138 条 YouTube 录音,YODAS v3 土耳其语) |
| 总时长 | 2,398 小时(中位片段 9.9 秒) |
| 全频带(≥16 kHz)时长 | 1,395 小时 |
| 说话人聚类 | 约 29,000 个 |
| 不重复英文 caption | 537,395 条 |
| caption 风格 | 70% 描述式 / 30% 指令式 |
| 性别分布(按时长) | 72% 男 / 19% 女 / 9% 未知 |
数据存放在 data/ 目录下的 51 个 Parquet 分片中,例如 data/train-00000.parquet。注意:数据集本身不含音频,每行通过 yodas_shard + yodas_id + start/end 精确定位到 YODAS v3 土耳其语录音中的对应区间。完整说明见 README.md。
🗺️ 二、字段全景图:7 大族一次看懂
| 字段族 | 代表列 | 回答的问题 |
|---|---|---|
| ID 与定位 | segment_id、yodas_shard、yodas_id、start、end、duration |
这段音频在哪个录音的哪个位置? |
| 文本与识别 | transcript、asr_disagrees_with_youtube |
说了什么?转写可信吗? |
| 风格描述 | caption_en、caption_tr、caption_style、content_tone |
听起来是什么样? |
| 说话人 | speaker、gender、p_female |
谁在说? |
| 描述标签 | pace_label、pitch_label、noise_label、long_pause |
caption 是用哪些标签写出来的? |
| 客观测量 | f0_median_hz … dnsmos_ovrl |
标签背后的具体数值是多少? |
| 语言置信 | turkish_lid_p |
这条确实是土耳其语吗? |
🎯 三、ID 与定位列:3 秒找到任意一段语音
3.1 segment_id:每行数据的唯一身份证
格式为 <yodas_id>_<index>,即"源录音 id + 该录音内的片段序号"。跨分片去重、断点续跑、引用某一条数据时都用它。
3.2 yodas_shard 与 yodas_id:回到源录音
yodas_shard:源录音所在分片(tar 包名);yodas_id:录音文件 id。
这两个列是取回音频的钥匙——配合 YODAS v3(data/tr)即可切出原音频再按时间区间截取。
3.3 start / end / duration:秒级时间区间
三个数值(单位:秒)描述片段在源录音中的跨度。做对齐、切片、质检时直接按这三列裁剪即可,duration 一般约等于 end - start。
📝 四、文本与识别列:transcript 家族
4.1 transcript:Duyu 自动转写
由 PatientDesk 的土耳其语语音识别模型 Duyu(patientdesk-stt-1.2.13)生成,是片段对应的文字内容。训练 ASR、做文本对齐或构建"音频-文字"对时用这一列。 注意它是所有列中唯一遵循 YODAS/CC BY 3.0 许可的字段。
4.2 asr_disagrees_with_youtube:转写可信度开关
布尔值:当 Duyu 的转写与 YouTube 自带字幕明显不一致时为 true,约占全部片段的 8%。需要更干净文本(比如训练 TTS 的文本侧)时,直接筛掉 true 的行即可。
🎙️ 五、风格描述核心列:caption 三件套 + content_tone
5.1 caption_en 与 caption_tr:双语文本化的"听感"
每段语音一条英文、一条土耳其文描述,例如:
A medium-pitched female voice speaks at a moderate pace with even energy; the recording sounds a bit muffled, like a phone call.
描述涵盖音高、语速、停顿、音量、噪声、房间、带宽等维度。数据集保证 caption 绝不逐字引用转写内容(与 transcript 共享连续 4 个词即被拒收),所以 caption 只谈"怎么说",不谈"说了什么"——这正是指令跟随 TTS 最需要的数据形态。
5.2 caption_style:describe 还是 instruct?
取值 describe(描述声音本身)或 instruct(以指令口吻书写,如 "Speak slowly…"),比例约 70/30。想训练"听指令说话"的 TTS,可以只取 instruct 子集;想学声音描述语料,取 describe。
5.3 content_tone:文字里的情绪基调
生成 caption 时模型会看一眼转写,只为捕捉"明显的言语行为"(道歉、致谢、抱怨……),结果写进这一列。96% 的片段为 none,其余才是带情绪色彩的样本——做情感/语气 TTS 时是天然的稀有筛选器。
👤 六、说话人列:speaker、gender、p_female
| 列 | 含义 | 使用提示 |
|---|---|---|
speaker |
录音内的说话人聚类 id | 同一条录音里区分不同人 |
gender |
预测性别(wav2vec2 分类器) | 注意是自动预测,存在少量误差 |
p_female |
女性概率值 | 需要置信度时用它过滤模糊样本 |
约 29,000 个说话人聚类是按录音统计的:同一个人在多个视频出现会被多次计入。
🏷️ 七、描述标签列:caption 的"原材料"(*_label 与 long_pause)
caption 不是凭空写的——原始测量值先被分箱成一组 *_label 标签(如 pace_label、pitch_label、noise_label 等),再交给大语言模型(Qwen3-32B)润色成自然语言。这些标签列有三个典型用法:
- 可复现:拿到任意一行,能还原 caption 为什么这么写;
- 可编程筛选:想要"比平时更快"的声音,直接筛"与说话人自身基线比较"的标签值;
- 轻量替代 caption:在推理成本敏感的场景下,标签本身就是结构化风格条件。
此外 long_pause 标记片段内是否存在长停顿,做节奏建模时很有用。
📏 八、客观测量列:从 f0_median_hz 到 dnsmos_ovrl
这一族列名从 f0_median_hz 一直排到 dnsmos_ovrl,覆盖 8 个测量维度,是全部标签和 caption 的数值根基:
| 维度 | 测量内容 | 典型用途 |
|---|---|---|
| Pitch 音高 | 中位基频 f0_median_hz,及其相对说话人自身基线的离散度 |
筛选高/低音、与自身对比的"偏高/偏低" |
| Rate 速率 | 音节速率与发音速率 | 快语速 / 慢语速子集 |
| Pauses 停顿 | 停顿统计 | 节奏与断句建模 |
| SNR | 信噪比 | 干净音频筛选 |
| Reverb 混响 | 混响时间 | 区分电话音、现场感、录音棚感 |
| Level 电平 | 响度水平 | 音量一致性 |
| Bandwidth 带宽 | 音频带宽 | 电话窄带 vs 全频带(≥16 kHz 共 1,395 小时) |
| Quality 质量 | dnsmos_ovrl(DNSMOS 综合分) |
音质门槛 |
重点列精讲
f0_median_hz:中位基频(Hz)。注意配套指标是"相对说话人自身基线"的离散度,所以描述性结论(如"偏高")在本语料和说话人自身范围内才成立。dnsmos_ovrl:DNSMOS 客观综合质量分。数据在入库时已做过 ≥ 2.4 的门槛过滤,训练前想再收紧音质,按此列排序取高分即可。
🌐 九、语言置信列:turkish_lid_p
土耳其语语言识别概率,由 VoxLingua107 判定并用 Whisper 交叉核对。值越接近 1 越确定是土耳其语——做语种纯净子集时按它设阈值即可。
🚀 十、新手上手:按字段筛选数据的 4 个实用技巧
- 指令跟随 TTS:筛
caption_style == 'instruct',直接用caption_en/caption_tr当指令、transcript当文本目标; - 更干净的 ASR 文本:筛
asr_disagrees_with_youtube == false,可剔除约 8% 存在强分歧的片段; - 高音质子集:按
dnsmos_ovrl从高到低排序,再结合带宽列优先取 ≥16 kHz 全频带部分; - 语气/情感任务:筛
content_tone != 'none',这批稀有样本占 4% 左右。
加载数据只需一行:
from datasets import load_dataset
caps = load_dataset("cloud0day3/alania-speech-captions-tr", split="train")
row = caps[0] # 打印 row.keys() 即可看到全部字段
⚖️ 十一、许可与使用注意
- 许可:除
transcript外所有列(caption、标签、测量值)均为 CC BY 4.0;transcript派生自 YODAS 音频,遵循 CC BY 3.0,使用需保留 YODAS 署名。详见 LICENSE.md。 - 音频不在数据集中:取音频受 YODAS 条款及原上传者许可约束。
- 自动流水线产物:caption、标签、转写、性别均为自动生成,重叠说话、背景音乐、极短片段处可能有错。
- 性别不平衡:72% 时长为男声,单独用此数据训练的模型在女声上可能偏弱。
- 责任使用:录音来自真实 YouTube 用户,请勿用于识别、画像、模仿特定说话人或克隆其声音。
📌 一句话总结:
segment_id定身份、yodas_shard/yodas_id/start/end找音频、transcript给文字、caption_*给听感、*_label与f0_median_hz…dnsmos_ovrl给依据、turkish_lid_p保语种——按这份字典对号入座,835,000 多条土耳其语风格描述数据就能立刻上手。