alania-speech-captions-tr字段字典:从segment_id到dnsmos_ovrl,20+核心列逐一精讲

原创2026-10-18 19:49:171,880 阅读

alania-speech-captions-tr字段字典:从segment_id到dnsmos_ovrl,20+核心列逐一精讲

alania-speech-captions-tr(Alania Turkish Speech Style Captions)是由 PatientDesk AI 发布的土耳其语语音风格描述数据集:835,267 个语音片段、2,398 小时,每一行都包含描述"这段声音听起来什么样"的英/土双语自然语言 caption,以及支撑它的客观测量值(音高、语速、停顿、噪声、混响等)。本文就是这份数据集字段字典,从 segment_id 讲到 dnsmos_ovrl,20+ 核心列逐一精讲,帮你快速看懂每一列,用于 TTS、ASR 与语音分类任务。

📦 一、数据集速览:这份字段字典属于谁

指标 数值
语音片段 835,267 段(来自 15,138 条 YouTube 录音,YODAS v3 土耳其语)
总时长 2,398 小时(中位片段 9.9 秒)
全频带(≥16 kHz)时长 1,395 小时
说话人聚类 约 29,000 个
不重复英文 caption 537,395 条
caption 风格 70% 描述式 / 30% 指令式
性别分布(按时长) 72% 男 / 19% 女 / 9% 未知

数据存放在 data/ 目录下的 51 个 Parquet 分片中,例如 data/train-00000.parquet。注意:数据集本身不含音频,每行通过 yodas_shard + yodas_id + start/end 精确定位到 YODAS v3 土耳其语录音中的对应区间。完整说明见 README.md。

🗺️ 二、字段全景图:7 大族一次看懂

字段族 代表列 回答的问题
ID 与定位 segment_id、yodas_shard、yodas_id、start、end、duration 这段音频在哪个录音的哪个位置?
文本与识别 transcript、asr_disagrees_with_youtube 说了什么?转写可信吗?
风格描述 caption_en、caption_tr、caption_style、content_tone 听起来是什么样?
说话人 speaker、gender、p_female 谁在说?
描述标签 pace_label、pitch_label、noise_label、long_pause caption 是用哪些标签写出来的?
客观测量 f0_median_hz … dnsmos_ovrl 标签背后的具体数值是多少?
语言置信 turkish_lid_p 这条确实是土耳其语吗?

🎯 三、ID 与定位列:3 秒找到任意一段语音

3.1 segment_id:每行数据的唯一身份证

格式为 <yodas_id>_<index>,即"源录音 id + 该录音内的片段序号"。跨分片去重、断点续跑、引用某一条数据时都用它。

3.2 yodas_shard 与 yodas_id:回到源录音

  • yodas_shard:源录音所在分片(tar 包名);
  • yodas_id:录音文件 id。

这两个列是取回音频的钥匙——配合 YODAS v3(data/tr)即可切出原音频再按时间区间截取。

3.3 start / end / duration:秒级时间区间

三个数值(单位:秒)描述片段在源录音中的跨度。做对齐、切片、质检时直接按这三列裁剪即可,duration 一般约等于 end - start。

📝 四、文本与识别列:transcript 家族

4.1 transcript:Duyu 自动转写

由 PatientDesk 的土耳其语语音识别模型 Duyu(patientdesk-stt-1.2.13)生成,是片段对应的文字内容。训练 ASR、做文本对齐或构建"音频-文字"对时用这一列。 注意它是所有列中唯一遵循 YODAS/CC BY 3.0 许可的字段。

4.2 asr_disagrees_with_youtube:转写可信度开关

布尔值:当 Duyu 的转写与 YouTube 自带字幕明显不一致时为 true,约占全部片段的 8%。需要更干净文本(比如训练 TTS 的文本侧)时,直接筛掉 true 的行即可。

🎙️ 五、风格描述核心列:caption 三件套 + content_tone

5.1 caption_en 与 caption_tr:双语文本化的"听感"

每段语音一条英文、一条土耳其文描述,例如:

A medium-pitched female voice speaks at a moderate pace with even energy; the recording sounds a bit muffled, like a phone call.

描述涵盖音高、语速、停顿、音量、噪声、房间、带宽等维度。数据集保证 caption 绝不逐字引用转写内容(与 transcript 共享连续 4 个词即被拒收),所以 caption 只谈"怎么说",不谈"说了什么"——这正是指令跟随 TTS 最需要的数据形态。

5.2 caption_style:describe 还是 instruct?

取值 describe(描述声音本身)或 instruct(以指令口吻书写,如 "Speak slowly…"),比例约 70/30。想训练"听指令说话"的 TTS,可以只取 instruct 子集;想学声音描述语料,取 describe。

5.3 content_tone:文字里的情绪基调

生成 caption 时模型会看一眼转写,只为捕捉"明显的言语行为"(道歉、致谢、抱怨……),结果写进这一列。96% 的片段为 none,其余才是带情绪色彩的样本——做情感/语气 TTS 时是天然的稀有筛选器。

👤 六、说话人列:speaker、gender、p_female

列 含义 使用提示
speaker 录音内的说话人聚类 id 同一条录音里区分不同人
gender 预测性别(wav2vec2 分类器) 注意是自动预测,存在少量误差
p_female 女性概率值 需要置信度时用它过滤模糊样本

约 29,000 个说话人聚类是按录音统计的:同一个人在多个视频出现会被多次计入。

🏷️ 七、描述标签列:caption 的"原材料"(*_label 与 long_pause)

caption 不是凭空写的——原始测量值先被分箱成一组 *_label 标签(如 pace_label、pitch_label、noise_label 等),再交给大语言模型(Qwen3-32B)润色成自然语言。这些标签列有三个典型用法:

  1. 可复现:拿到任意一行,能还原 caption 为什么这么写;
  2. 可编程筛选:想要"比平时更快"的声音,直接筛"与说话人自身基线比较"的标签值;
  3. 轻量替代 caption:在推理成本敏感的场景下,标签本身就是结构化风格条件。

此外 long_pause 标记片段内是否存在长停顿,做节奏建模时很有用。

📏 八、客观测量列:从 f0_median_hz 到 dnsmos_ovrl

这一族列名从 f0_median_hz 一直排到 dnsmos_ovrl,覆盖 8 个测量维度,是全部标签和 caption 的数值根基:

维度 测量内容 典型用途
Pitch 音高 中位基频 f0_median_hz,及其相对说话人自身基线的离散度 筛选高/低音、与自身对比的"偏高/偏低"
Rate 速率 音节速率与发音速率 快语速 / 慢语速子集
Pauses 停顿 停顿统计 节奏与断句建模
SNR 信噪比 干净音频筛选
Reverb 混响 混响时间 区分电话音、现场感、录音棚感
Level 电平 响度水平 音量一致性
Bandwidth 带宽 音频带宽 电话窄带 vs 全频带(≥16 kHz 共 1,395 小时)
Quality 质量 dnsmos_ovrl(DNSMOS 综合分) 音质门槛

重点列精讲

  • f0_median_hz:中位基频(Hz)。注意配套指标是"相对说话人自身基线"的离散度,所以描述性结论(如"偏高")在本语料和说话人自身范围内才成立。
  • dnsmos_ovrl:DNSMOS 客观综合质量分。数据在入库时已做过 ≥ 2.4 的门槛过滤,训练前想再收紧音质,按此列排序取高分即可。

🌐 九、语言置信列:turkish_lid_p

土耳其语语言识别概率,由 VoxLingua107 判定并用 Whisper 交叉核对。值越接近 1 越确定是土耳其语——做语种纯净子集时按它设阈值即可。

🚀 十、新手上手:按字段筛选数据的 4 个实用技巧

  1. 指令跟随 TTS:筛 caption_style == 'instruct',直接用 caption_en/caption_tr 当指令、transcript 当文本目标;
  2. 更干净的 ASR 文本:筛 asr_disagrees_with_youtube == false,可剔除约 8% 存在强分歧的片段;
  3. 高音质子集:按 dnsmos_ovrl 从高到低排序,再结合带宽列优先取 ≥16 kHz 全频带部分;
  4. 语气/情感任务:筛 content_tone != 'none',这批稀有样本占 4% 左右。

加载数据只需一行:

from datasets import load_dataset
caps = load_dataset("cloud0day3/alania-speech-captions-tr", split="train")
row = caps[0]  # 打印 row.keys() 即可看到全部字段

⚖️ 十一、许可与使用注意

  • 许可:除 transcript 外所有列(caption、标签、测量值)均为 CC BY 4.0;transcript 派生自 YODAS 音频,遵循 CC BY 3.0,使用需保留 YODAS 署名。详见 LICENSE.md。
  • 音频不在数据集中:取音频受 YODAS 条款及原上传者许可约束。
  • 自动流水线产物:caption、标签、转写、性别均为自动生成,重叠说话、背景音乐、极短片段处可能有错。
  • 性别不平衡:72% 时长为男声,单独用此数据训练的模型在女声上可能偏弱。
  • 责任使用:录音来自真实 YouTube 用户,请勿用于识别、画像、模仿特定说话人或克隆其声音。

📌 一句话总结:segment_id 定身份、yodas_shard/yodas_id/start/end 找音频、transcript 给文字、caption_* 给听感、*_label 与 f0_median_hz…dnsmos_ovrl 给依据、turkish_lid_p 保语种——按这份字典对号入座,835,000 多条土耳其语风格描述数据就能立刻上手。

登录后查看全文
alania-speech-captions-tr