为什么 Antalia-2 Mini 能击败 3B 级 TTS?7.62M 参数模型的训练数据合成流水线全解析

原创2026-11-05 17:01:061,995 阅读

为什么 Antalia-2 Mini 能击败 3B 级 TTS?7.62M 参数模型的训练数据合成流水线全解析

Antalia-2 Mini 是一个仅有 7.62M 参数的土耳其语 TTS(文本转语音)模型,它背后的训练数据合成流水线是全文最值得借鉴的设计:用大模型教师 VoxCPM2 合成 1578 小时语音,逐条自动质检后,训练出在公开基准上跑赢 2.38B 甚至 3.3B 级系统的小模型。48 kHz 输出、CPU 上远超实时速度、权重仅 30.5 MB——这篇指南带你拆解它"以小博大"的完整路径。

一、先看成绩:小参数的"越级"表现 📊

项目团队在 Freya-TR-Eval 基准(495 句原始文本)上对 15 个土耳其语 TTS 系统做了独立复测。下表摘选自 README.md 的公开基准榜:

排名 系统 参数量 WER % CER % UTMOS
1 EMA Lightning 1.0.1 8.6M 1.04 ± 0.17 0.225 3.30
2 Antalia-2 Mini 1.0.1 7.62M 1.09 ± 0.12 0.220 3.18
3 Trendyol-TTS 2.38B 1.16 ± 0.16 0.23 3.82
4 Gemini 3.8 Flash TTS – 1.23 ± 0.10 0.29 3.53
11 Alania-1(生产 API) 3.3B 5.99 ± 0.47 1.81 3.19
12 Antalia-1(上一代,305M) 305M 6.28 ± 0.27 2.49 2.72

两个关键事实:

  • 字符错误率(CER)0.220% 为 15 个系统中最低,WER 仅以 0.05 分微弱劣势屈居第二(在种子间噪声范围内);
  • 参数量最小的它,比参数多 300 倍的 Trendyol-TTS(2.38B)更准,比 3.3B 的 Alania-1 准 5 倍。

作为对照,团队还报告了教师模型 VoxCPM2 本身的分数(WER 0.92 / CER 0.20 / UTMOS 3.42)——学生模型几乎复刻了教师的可懂度,这就是蒸馏式合成数据的威力。

二、7.62M 参数是怎么分配的 🧩

总参数 7,620,931(config.json),拆成声学模型 3.69M + 声码器 3.93M 两部分。结构一览(来源:README.md):

模块 结构要点 参数
文本编码器 字符嵌入 + 3 层 ConvNeXt + 1 层 RoPE 自注意力(d=192) 0.83M
时长预测器 3 层卷积,时长标签由单调对齐搜索(MAD)生成 0.17M
Mel 生成器 5 层 DiT(adaLN-single),flow matching + shortcut 自一致,可 1/2/4/8 步采样,默认 8 步、CFG 2.0 2.69M
声码器 Vocos 风格 ConvNeXt(d=256、8 层),预测 2048/512 STFT 后一次反变换到 48 kHz 3.93M

三个设计决策解释了"为什么小也能强":

  1. 直接读字符,不读音素。土耳其语拼写与发音高度一致,字符级输入省掉音素转换器的误差和依赖,剩下少数不一致(数字、日期、英文词)交给内置文本规范化器兜底;
  2. Shortcut flow matching。一个模型即可用 1、2、4、8 步采样(config.json 中默认 steps: 8、cfg: 2.0),推理步数少,CPU 也能跑;
  3. 声码器在生成器自己的 mel 上微调,两端协同,小模型不掉音质保真。

三、核心揭秘:1578 小时合成数据的流水线 ⚙️

这是"击败 3B"的真正答案。训练语音全部是合成数据:单一合成男声(Antalia-2 的声音),不含任何真实说话人录音。流水线分四步(详见 README.md):

3.1 文本从哪来:四类语料混合

  • 公开语料:土耳其语 Wikipedia(CC BY-SA 4.0)与 FineWeb-2 Turkish(ODC-By 1.0);
  • 客服场景句:用语言模型 Qwen3 编写的预约、银行、零售、物流类句子——这正是目标场景;
  • 格式模板:数字、日期、时间、金额、电话号码、编码的专门模板,补齐真实对话里最高频的"难念"内容。

3.2 统一过文本规范化器:训练与推理同一套

所有训练文本都过一遍与发布包完全相同的文本规范化器——把基数/序数、小数、百分比、日期时间、里拉及多币种金额、电话、邮箱、网址展开,英文与品牌词按土耳其语读法重拼(基于 CMU 发音词典 + 人工审核的品牌词典)。这一步保证了"训练时听到的"与"上线时听到的"文本分布一致。同时,与 Freya-TR-Eval 重叠的句子被整体剔除,杜绝评测污染。

3.3 用大模型教师 VoxCPM2 生成语音

以该声音的参考音频为条件,VoxCPM2(OpenBMB,Apache-2.0)批量生成约 1578 小时单声线合成语音——相当于把"教师"的声音与韵律蒸馏给小模型,而学生只学"声学 + mel + 声码"这条窄任务,因此 7.62M 参数就够。

3.4 逐条自动质检:不合格直接丢弃

每一条生成音频都要过三重检查:

  1. Whisper large-v3 转写与目标文本比对(查念错);
  2. UTMOS 自然度打分(查音质);
  3. 与参考声音的相似度(查声线漂移)。

任一项不达标即丢弃。1578 小时"净数据",让小模型只见到干净、一致、标注即文本本身的训练样本——没有真实录音的噪声、混响和标注歧义。

3.5 这条流水线带来什么红利 ✅

  • 数据即监督:文本就是 ground truth,天然对齐,省掉人工对齐(时长标签也用 MAD 自动生成);
  • 合规干净:无真实说话人,无隐私与授权问题,代码、权重、规范化器统一 Apache-2.0(见 LICENSE 与 NOTICE);
  • 场景可控:客服句 + 格式模板可定向增强最易出错的数字与日期读取——评测中两项"阅读修正"(词首杂音、双辅音拉长)正是从训练数据与基准错误里研究出来的。

四、实测性能:CPU 上 50 倍实时速度 🚀

小参数直接兑现为部署成本(来源:README.md):

指标 数值
权重体积 30.5 MB(fp32)/ 15.3 MB(fp16)
RTF(NVIDIA L40S,batch 1) 0.026
RTF(8 核 CPU,AMD EPYC 7R13) 0.052,同核下比 EMA Lightning 快约 1.4 倍
RTF(Apple M5 CPU,2 线程) 0.019,约 50 倍实时
首包延迟(stream(),M5) 0.06 秒

自 1.0.1 起默认开启一套输出 EQ(80 Hz 高通、3.2 kHz 提升 +3 dB、5.5 kHz 以上动态去齿音等,曲线见 config.json),并配 +1.6 dB 增益与软限幅器,eq=False 可关闭。电话/ASR 场景可直接输出 24 / 16 / 8 kHz 重采样音频。

五、快速上手:一条命令出音频 🎙️

pip install antalia-mini

安装后(Python 3.10+)可用命令行直接合成:

antalia-mini "Merhaba, size nasıl yardımcı olabilirim?" -o merhaba.wav

仓库 samples/ 目录内置 8 条官方试听音频(seed 0、默认 8 步),例如 samples/03-amount.wav 演示金额朗读,samples/07-english.wav 演示英文品牌词处理;samples/samples.json 里给出了每条音频的原始输入文本与规范化后的 model_text,非常适合直观理解规范化器的作用,如 1.250,75 TL → bin iki yüz elli lira yetmiş beş kuruş。

六、已知局限与负责任使用提示 ⚠️

  • 单一声线、无情绪控制,仅支持土耳其语(句中个别英文词可读,整句英文不支持);
  • 孤立短语气词("Evet."、"Tamam!")是最薄弱区域,可能偏平淡;
  • 读法跟随规范化器,罗马数字、罕见缩写、部分外文人名可能读错,重要场合建议先检查规范化结果;
  • 长文本按句切块(单块约 18 秒内)拼接,韵律不跨块连续;
  • 以上均为自动指标,非主观听测。

使用上请遵循项目建议:告知听者这是合成语音,不用于冒充真人、欺诈或骚扰电话。

仓库文件导航 🗂️

文件 说明
README.md 完整文档:快速上手、评测、架构、训练数据、局限
config.json 模型配置:结构超参、默认推理参数、EQ 曲线、文件指纹
samples/samples.json 官方样例的文本对照(原始文本 vs 规范化文本)
antalia_mini-1.0.1-py3-none-any.whl 可直接安装的发布包(pip install 亦可用)
acoustic.safetensors / vocoder.safetensors 声学模型与声码器权重
LICENSE / NOTICE Apache-2.0 许可与来源声明

一句话总结:Antalia-2 Mini 证明了一件对工程实践很有价值的事——当任务足够聚焦(单声线、单语种、字符级输入、8 步流匹配)时,一条"高质量合成数据 + 逐条自动质检"的流水线,能让 7.62M 参数的小模型在可懂度上正面对决并击败 3B 级 TTS 系统。

登录后查看全文
antalia-mini