为什么 Antalia-2 Mini 能击败 3B 级 TTS?7.62M 参数模型的训练数据合成流水线全解析
为什么 Antalia-2 Mini 能击败 3B 级 TTS?7.62M 参数模型的训练数据合成流水线全解析
Antalia-2 Mini 是一个仅有 7.62M 参数的土耳其语 TTS(文本转语音)模型,它背后的训练数据合成流水线是全文最值得借鉴的设计:用大模型教师 VoxCPM2 合成 1578 小时语音,逐条自动质检后,训练出在公开基准上跑赢 2.38B 甚至 3.3B 级系统的小模型。48 kHz 输出、CPU 上远超实时速度、权重仅 30.5 MB——这篇指南带你拆解它"以小博大"的完整路径。
一、先看成绩:小参数的"越级"表现 📊
项目团队在 Freya-TR-Eval 基准(495 句原始文本)上对 15 个土耳其语 TTS 系统做了独立复测。下表摘选自 README.md 的公开基准榜:
| 排名 | 系统 | 参数量 | WER % | CER % | UTMOS |
|---|---|---|---|---|---|
| 1 | EMA Lightning 1.0.1 | 8.6M | 1.04 ± 0.17 | 0.225 | 3.30 |
| 2 | Antalia-2 Mini 1.0.1 | 7.62M | 1.09 ± 0.12 | 0.220 | 3.18 |
| 3 | Trendyol-TTS | 2.38B | 1.16 ± 0.16 | 0.23 | 3.82 |
| 4 | Gemini 3.8 Flash TTS | – | 1.23 ± 0.10 | 0.29 | 3.53 |
| 11 | Alania-1(生产 API) | 3.3B | 5.99 ± 0.47 | 1.81 | 3.19 |
| 12 | Antalia-1(上一代,305M) | 305M | 6.28 ± 0.27 | 2.49 | 2.72 |
两个关键事实:
- 字符错误率(CER)0.220% 为 15 个系统中最低,WER 仅以 0.05 分微弱劣势屈居第二(在种子间噪声范围内);
- 参数量最小的它,比参数多 300 倍的 Trendyol-TTS(2.38B)更准,比 3.3B 的 Alania-1 准 5 倍。
作为对照,团队还报告了教师模型 VoxCPM2 本身的分数(WER 0.92 / CER 0.20 / UTMOS 3.42)——学生模型几乎复刻了教师的可懂度,这就是蒸馏式合成数据的威力。
二、7.62M 参数是怎么分配的 🧩
总参数 7,620,931(config.json),拆成声学模型 3.69M + 声码器 3.93M 两部分。结构一览(来源:README.md):
| 模块 | 结构要点 | 参数 |
|---|---|---|
| 文本编码器 | 字符嵌入 + 3 层 ConvNeXt + 1 层 RoPE 自注意力(d=192) | 0.83M |
| 时长预测器 | 3 层卷积,时长标签由单调对齐搜索(MAD)生成 | 0.17M |
| Mel 生成器 | 5 层 DiT(adaLN-single),flow matching + shortcut 自一致,可 1/2/4/8 步采样,默认 8 步、CFG 2.0 | 2.69M |
| 声码器 | Vocos 风格 ConvNeXt(d=256、8 层),预测 2048/512 STFT 后一次反变换到 48 kHz | 3.93M |
三个设计决策解释了"为什么小也能强":
- 直接读字符,不读音素。土耳其语拼写与发音高度一致,字符级输入省掉音素转换器的误差和依赖,剩下少数不一致(数字、日期、英文词)交给内置文本规范化器兜底;
- Shortcut flow matching。一个模型即可用 1、2、4、8 步采样(config.json 中默认
steps: 8、cfg: 2.0),推理步数少,CPU 也能跑; - 声码器在生成器自己的 mel 上微调,两端协同,小模型不掉音质保真。
三、核心揭秘:1578 小时合成数据的流水线 ⚙️
这是"击败 3B"的真正答案。训练语音全部是合成数据:单一合成男声(Antalia-2 的声音),不含任何真实说话人录音。流水线分四步(详见 README.md):
3.1 文本从哪来:四类语料混合
- 公开语料:土耳其语 Wikipedia(CC BY-SA 4.0)与 FineWeb-2 Turkish(ODC-By 1.0);
- 客服场景句:用语言模型 Qwen3 编写的预约、银行、零售、物流类句子——这正是目标场景;
- 格式模板:数字、日期、时间、金额、电话号码、编码的专门模板,补齐真实对话里最高频的"难念"内容。
3.2 统一过文本规范化器:训练与推理同一套
所有训练文本都过一遍与发布包完全相同的文本规范化器——把基数/序数、小数、百分比、日期时间、里拉及多币种金额、电话、邮箱、网址展开,英文与品牌词按土耳其语读法重拼(基于 CMU 发音词典 + 人工审核的品牌词典)。这一步保证了"训练时听到的"与"上线时听到的"文本分布一致。同时,与 Freya-TR-Eval 重叠的句子被整体剔除,杜绝评测污染。
3.3 用大模型教师 VoxCPM2 生成语音
以该声音的参考音频为条件,VoxCPM2(OpenBMB,Apache-2.0)批量生成约 1578 小时单声线合成语音——相当于把"教师"的声音与韵律蒸馏给小模型,而学生只学"声学 + mel + 声码"这条窄任务,因此 7.62M 参数就够。
3.4 逐条自动质检:不合格直接丢弃
每一条生成音频都要过三重检查:
- Whisper large-v3 转写与目标文本比对(查念错);
- UTMOS 自然度打分(查音质);
- 与参考声音的相似度(查声线漂移)。
任一项不达标即丢弃。1578 小时"净数据",让小模型只见到干净、一致、标注即文本本身的训练样本——没有真实录音的噪声、混响和标注歧义。
3.5 这条流水线带来什么红利 ✅
- 数据即监督:文本就是 ground truth,天然对齐,省掉人工对齐(时长标签也用 MAD 自动生成);
- 合规干净:无真实说话人,无隐私与授权问题,代码、权重、规范化器统一 Apache-2.0(见 LICENSE 与 NOTICE);
- 场景可控:客服句 + 格式模板可定向增强最易出错的数字与日期读取——评测中两项"阅读修正"(词首杂音、双辅音拉长)正是从训练数据与基准错误里研究出来的。
四、实测性能:CPU 上 50 倍实时速度 🚀
小参数直接兑现为部署成本(来源:README.md):
| 指标 | 数值 |
|---|---|
| 权重体积 | 30.5 MB(fp32)/ 15.3 MB(fp16) |
| RTF(NVIDIA L40S,batch 1) | 0.026 |
| RTF(8 核 CPU,AMD EPYC 7R13) | 0.052,同核下比 EMA Lightning 快约 1.4 倍 |
| RTF(Apple M5 CPU,2 线程) | 0.019,约 50 倍实时 |
首包延迟(stream(),M5) |
0.06 秒 |
自 1.0.1 起默认开启一套输出 EQ(80 Hz 高通、3.2 kHz 提升 +3 dB、5.5 kHz 以上动态去齿音等,曲线见 config.json),并配 +1.6 dB 增益与软限幅器,eq=False 可关闭。电话/ASR 场景可直接输出 24 / 16 / 8 kHz 重采样音频。
五、快速上手:一条命令出音频 🎙️
pip install antalia-mini
安装后(Python 3.10+)可用命令行直接合成:
antalia-mini "Merhaba, size nasıl yardımcı olabilirim?" -o merhaba.wav
仓库 samples/ 目录内置 8 条官方试听音频(seed 0、默认 8 步),例如 samples/03-amount.wav 演示金额朗读,samples/07-english.wav 演示英文品牌词处理;samples/samples.json 里给出了每条音频的原始输入文本与规范化后的 model_text,非常适合直观理解规范化器的作用,如 1.250,75 TL → bin iki yüz elli lira yetmiş beş kuruş。
六、已知局限与负责任使用提示 ⚠️
- 单一声线、无情绪控制,仅支持土耳其语(句中个别英文词可读,整句英文不支持);
- 孤立短语气词("Evet."、"Tamam!")是最薄弱区域,可能偏平淡;
- 读法跟随规范化器,罗马数字、罕见缩写、部分外文人名可能读错,重要场合建议先检查规范化结果;
- 长文本按句切块(单块约 18 秒内)拼接,韵律不跨块连续;
- 以上均为自动指标,非主观听测。
使用上请遵循项目建议:告知听者这是合成语音,不用于冒充真人、欺诈或骚扰电话。
仓库文件导航 🗂️
| 文件 | 说明 |
|---|---|
| README.md | 完整文档:快速上手、评测、架构、训练数据、局限 |
| config.json | 模型配置:结构超参、默认推理参数、EQ 曲线、文件指纹 |
| samples/samples.json | 官方样例的文本对照(原始文本 vs 规范化文本) |
| antalia_mini-1.0.1-py3-none-any.whl | 可直接安装的发布包(pip install 亦可用) |
| acoustic.safetensors / vocoder.safetensors | 声学模型与声码器权重 |
| LICENSE / NOTICE | Apache-2.0 许可与来源声明 |
一句话总结:Antalia-2 Mini 证明了一件对工程实践很有价值的事——当任务足够聚焦(单声线、单语种、字符级输入、8 步流匹配)时,一条"高质量合成数据 + 逐条自动质检"的流水线,能让 7.62M 参数的小模型在可懂度上正面对决并击败 3B 级 TTS 系统。