PaddleSpeech 流式语音合成(Streaming TTS)在线引擎源码级解析:`tts_online` Python 动态图推理实现

原创2026-09-23 18:29:221,720 阅读
文章标签:语音音频人工智能深度学习

PaddleSpeech 流式语音合成(Streaming TTS)在线引擎源码级解析:tts_online Python 动态图推理实现

本文以 docs/source/api/paddlespeech.server.engine.tts.online.python.rst 所指向的 paddlespeech.server.engine.tts.online.python 模块为线索,深入剖析 PaddleSpeech 服务端流式语音合成(Streaming TTS)的 Python 动态图推理引擎:从 TTSServerExecutor 的模型加载、TTSEngine 的引擎初始化,到 PaddleTTSConnectionHandler 的流式推理与去填充(depadding)逻辑,并结合 tts_online_application.yaml 配置文件给出可直接落地的参数说明与启动、调用方法。读完本文,你将掌握流式 TTS 服务中 AM/Voc 分块推理的底层原理、am_block/am_pad/voc_block/voc_pad 四个关键超参的选取依据,以及如何在当前仓库中一键启动并访问该服务。

一、模块定位:online.python 在 TTS 服务端架构中的位置

PaddleSpeech 的服务端采用「语音任务(task)× 引擎类型(engine type)」的组织方式,配置文件中的 engine_list 即以此命名,例如 tts_online、tts_online-onnx。其中:

  • online:使用 PaddlePaddle 动态图进行推理的引擎,即本文主角 paddlespeech/server/engine/tts/online/python/tts_engine.py;
  • online-onnx:使用 onnxruntime 进行推理的引擎(online/onnx),推理速度更快;
  • 此外还有 paddleinference(Paddle Inference)与 python(非流式)两种 TTS 引擎变体,可参见 engine/tts 目录结构。

在 API 文档体系中,paddlespeech.server.engine.tts.online.python.rst 是 Sphinx automodule 自动生成的包级文档页,它聚合了该包的全部公开成员,并进一步 toctree 链接到子模块文档 paddlespeech.server.engine.tts.online.python.tts_engine.rst。tts_engine.py 是该包唯一的核心实现文件(__init__.py 为空文件),模块顶层通过 __all__ = ['TTSEngine', 'PaddleTTSConnectionHandler'] 声明了两个公开类,另外还有一个仅内部使用的 TTSServerExecutor。从源码结构看,整个流式 TTS 在线引擎由以下三条主线组成:

类 职责 关键方法
TTSServerExecutor(TTSExecutor) 模型资源加载、前后端(frontend)与 AM/Voc 模型初始化 get_model_info、_init_from_path
TTSEngine(BaseEngine) 服务端引擎的配置校验、设备设置、采样率一致性检查 init
PaddleTTSConnectionHandler 每个 TTS 请求的连接处理:流式推理、去填充、后处理与返回 infer、run、depadding

二、TTSServerExecutor:流式 TTS 的模型加载与资源管理

TTSServerExecutor 继承自 paddlespeech.cli.tts.infer.TTSExecutor,在构造函数中通过 CommonTaskResource(task='tts', model_format='dynamic', inference_mode='online') 声明资源类型:动态图模型格式、在线推理模式(tts_engine.py)。

2.1 get_model_info:按 AM/Voc 分支加载模型

该方法根据 field 参数(am 或 voc)从 CommonTaskResource 获取模型类并加载权重(tts_engine.py):

  • AM(声学模型)分支:model_class(idim=self.vocab_size, odim=odim, **self.am_config["model"]),其中 idim 来自音素词典大小、odim 来自 am_config.n_mels(梅尔频带数),权重通过 paddle.load(ckpt)["main_params"] 加载;
  • Voc(声码器)分支:model_class(**self.voc_config["generator_params"]),权重来自 paddle.load(ckpt)["generator_params"],加载后调用 model.remove_weight_norm() 移除权重归一化(这是 HiFiGAN / MB-MelGAN 一类声码器在推理时的标准操作);
  • 两种分支都会返回 (model, model_mu, model_std),其中 model_mu、model_std 由 np.load(stat) 读入并转为 Paddle Tensor,供后续 Z-Score 归一化使用。

2.2 _init_from_path:完整初始化链

_init_from_path 是本引擎的初始化入口(tts_engine.py),其流程可归纳为:

  1. 判断是否使用预训练模型:若 am_ckpt/am_config/am_stat/phones_dict 任一为空,则 use_pretrained_am=True,由 CommonTaskResource 自动下载默认预训练资源;否则使用本地路径(os.path.abspath 规范化)并 skip_download。
  2. 模型 tag 组装:am_tag = am + '-' + lang,例如 fastspeech2_csmsc-zh,用于在资源表中索引对应模型。
  3. 加载配置文件:AM 与 Voc 的 yaml 配置均解析为 CfgNode(yacs 配置系统)。
  4. 构建前端(frontend):
    • lang == 'zh' 时使用 paddlespeech.t2s.frontend.zh_frontend.Frontend,加载 phone_vocab_path 与 tone_vocab_path;
    • lang == 'en' 时使用 paddlespeech.t2s.frontend.en_frontend.English,仅需音素词典。
  5. AM 推理封装:self.am_name = am[:am.rindex('_')] 剥离后缀得到真实模型名(如 fastspeech2_csmsc → fastspeech2)。对 fastspeech2_cnndecoder 直接加载;其余模型则用 ZScore(am_mu, am_std) 归一化器 + {am_name}_inference 推理封装类包装,并置为 eval() 模式。
  6. Voc 推理封装:同样以 ZScore 归一化 + {voc_name}_inference 类包装(mb_melgan、hifigan 均支持流式 voc 推理)。

值得注意的是,AM 模型在前端与推理封装上区分了「普通 fastspeech2」与「fastspeech2_cnndecoder(带 CNN Decoder)」两种形态,这正是后续两条流式推理路径的分水岭。

三、TTSEngine:引擎初始化与关键校验

TTSEngine 继承 BaseEngine(单例元类),init() 方法完成以下工作(tts_engine.py):

  1. 模型组合断言:AM 必须为 fastspeech2_csmsc 或 fastspeech2_cnndecoder_csmsc;Voc 必须为 hifigan_csmsc 或 mb_melgan_csmsc,否则报错退出。
  2. 流式参数合法性断言:要求 voc_block > 0 且 voc_pad > 0。
  3. 设备设置:优先使用配置文件中的 device(如 cpu、gpu:0),否则回退到 paddle.get_device(),并调用 paddle.set_device。
  4. 执行初始化:调用 executor._init_from_path(...),传入 am/voc 名称、各自配置/权重/统计文件路径、phones_dict/tones_dict/speaker_dict 与 lang。
  5. 采样率一致性校验:assert am_config.fs == voc_config.fs,保证 AM 与 Vocoder 的采样率一致;引擎的 self.sample_rate 取自 AM 配置的 fs。
  6. 流式 chunk 超参装载:将 am_block/am_pad/voc_block/voc_pad 从配置写入引擎,并计算两个上采样倍数:
    • am_upsample = 1(AM 帧与帧之间无上采样);
    • voc_upsample = voc_config.n_shift(声码器的帧移,如 300),用于将梅尔帧数换算为音频采样点数。

这些参数随后会被 PaddleTTSConnectionHandler 消费,是流式推理正确性的关键。

四、流式推理的基石:get_chunks 分块与 depadding 去填充

流式合成的核心矛盾是:声码器/解码器需要上下文才能对「当前块」生成高质量输出,但流式场景下又不能等待全部输入。解决方案是「分块 + 前后填充(pad)」:每个 chunk 除有效帧 block 外,再向两侧各扩展 pad 帧参与推理,推理后再把 pad 区域裁剪掉。

4.1 分块:get_chunks

实现在 server/utils/util.py,核心逻辑为:

n = math.ceil(data_len / block_size)
for i in range(n):
    start = max(0, i * block_size - pad_size)
    end = min((i + 1) * block_size + pad_size, data_len)
  • step="am" 时按 data.shape[1](帧维)切分,chunk 形状为 data[:, start:end, :];
  • step="voc" 时按 data.shape[0] 切分,chunk 形状为 data[start:end, :];
  • block_size == -1 时视为非流式,直接返回整段数据。

4.2 去填充:depadding

推理结果需要裁掉 pad 带来的冗余,depadding(tts_engine.py)按 chunk 位置分三种情况处理:

front_pad = min(chunk_id * block, pad)
if chunk_id == 0:                # 首块:仅保留前 block*upsample
    data = data[:block * upsample]
elif chunk_id == chunk_num - 1:  # 尾块:去掉前向填充
    data = data[front_pad * upsample:]
else:                            # 中间块:两端填充都去掉
    data = data[front_pad * upsample:(front_pad + block) * upsample]

其中 upsample 为帧到采样点的放大倍数(AM 阶段为 1,Voc 阶段为 n_shift)。这个「首块截头、尾块去前填充、中间块掐头去尾」的规则保证了相邻 chunk 拼接后不重不漏,与流式声码器中 pad 的计算方法一一对应。

五、两条流式推理路径:infer 的实现细节

PaddleTTSConnectionHandler.infer() 是整个流式合成的核心(tts_engine.py),整体流程为:

  1. 按 lang 调用对应前端 get_input_ids 得到 phone_ids,并记录 frontend_time;
  2. 遍历每个句子的音素序列,根据 AM 类型走两条不同的流式路径;
  3. 每条路径都以 yield 逐 chunk 输出波形,实现「边合成边下发」。

5.1 路径一:fastspeech2_csmsc(AM 整句推理 + Voc 流式)

  • AM 一次性对整句音素推理得到完整梅尔谱:mel = self.executor.am_inference(part_phone_ids);
  • 随后 get_chunks(mel, voc_block, voc_pad, "voc") 将梅尔谱切块,逐块送入 voc_inference 生成子波形;
  • 每块经 depadding 裁掉填充后 yield sub_wav。

该路径只做到了 Voc 阶段流式,AM 阶段仍是整句计算。

5.2 路径二:fastspeech2_cnndecoder_csmsc(AM 流式 + Voc 流式全链路)

  • 首先 encoder_infer(part_phone_ids) 得到 encoder 输出 orig_hs,按 mel_len 与 voc_block 预估 voc chunk 数量;
  • AM 侧:get_chunks(orig_hs, am_block, am_pad, "am") 将 encoder 输出分块,逐块执行 decoder(hs) + postnet(...),经 denorm 反归一化与 depadding 后,用 np.concatenate 累积到 mel_streaming 缓冲;
  • Voc 侧:当 mel_streaming 的帧数达到当前 end(voc_block + voc_pad 窗口)时触发一次流式 voc 推理,depadding 后 yield sub_wav,并推进 start/end 滑动窗口:
    start = max(0, voc_chunk_id * voc_block - voc_pad)
    end = min((voc_chunk_id + 1) * voc_block + voc_pad, mel_len)
    
  • 首包时间点会被记录:first_am_infer(前端结束到首个 AM 输出)、first_voc_infer(首个 AM 输出到首个 Voc 输出)、first_response_time(前端开始到首个音频包)。

最终 final_response_time 记录从前端开始到全部推理结束的总耗时,供 RTF 计算。

5.3 后处理与返回:run

run()(tts_engine.py)对每个 infer 产出的 float32 波形执行 float2pcm(float32 → int16)→ tobytes() → base64.b64encode,逐包 yield base64 音频;同时统计总时长、first_response_time、final_response_time 与 RTF(= final_response_time / duration)并写入日志。

六、配置参数详解:tts_online_application.yaml

流式 TTS 服务的标准配置见 demos/streaming_tts_server/conf/tts_online_application.yaml,它同时给出了 tts_online(python 动态图)与 tts_online-onnx 两套引擎配置。以下为 tts_online 的核心参数:

参数 取值/默认 说明
host 0.0.0.0 服务监听地址;容器内若客户端访问 ip 不可达,可换成本地 ip
port 8092 服务端口
protocol http / websocket 网络协议
engine_list ['tts_online'] 等 <speech task>_<engine type> 形式
am fastspeech2_csmsc / fastspeech2_cnndecoder_csmsc 声学模型,仅后者支持流式 AM 推理
am_config / am_ckpt / am_stat / phones_dict / tones_dict / speaker_dict 留空则自动下载预训练资源 本地模型路径(可选)
voc mb_melgan_csmsc / hifigan_csmsc 声码器,两者均支持流式 Voc 推理
lang zh 语言,支持 zh / en
device cpu / gpu:id 推理设备
am_block 72 AM chunk 的有效帧数,仅对 fastspeech2_cnndecoder 生效
am_pad 12 AM chunk 前后各扩展帧数;am_pad=12 时流式与非流式合成音频一致
voc_block 36 Voc chunk 的有效帧数
voc_pad 14 Voc chunk 前后各扩展帧数(详见下方取值建议)

关于 voc_pad 的选取,配置注释与 demos/streaming_tts_server/README_cn.md 给出了明确的经验值:

  • mb_melgan_csmsc:voc_pad=14 时流式合成音频与非流式完全一致;最小可设为 7,听感正常;小于 7 会出现可感知的异常;
  • hifigan_csmsc:voc_pad=19 时与非流式完全一致;voc_pad=14 时听感正常。

am_pad/am_block 对不支持流式 AM 的 fastspeech2_csmsc 无效。此外,tts_online-onnx 配置中还额外包含 am_sample_rate/voc_sample_rate、am_sess_conf/voc_sess_conf(onnxruntime 会话参数,如 use_trt、cpu_threads)以及 voc_upsample(须与 voc 配置中的 n_shift 一致)等字段,用于 onnxruntime 推理。

七、启动服务与客户端调用

7.1 启动流式 TTS 服务

命令行方式(推荐):

paddlespeech_server start --config_file ./conf/tts_online_application.yaml

其中 config_file 指定配置文件(默认 ./conf/tts_online_application.yaml),log_file 指定日志路径(默认 ./log/paddlespeech.log)。启动成功后会输出 warm-up 首包响应时间以及 Uvicorn running on http://0.0.0.0:8092 的提示。

Python API 方式:

from paddlespeech.server.bin.paddlespeech_server import ServerExecutor

server_executor = ServerExecutor()
server_executor(config_file="./conf/tts_online_application.yaml",
                log_file="./log/paddlespeech.log")

7.2 客户端访问

命令行(http 协议):

paddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 \
    --protocol http --input "您好,欢迎使用百度飞桨语音合成服务。" --output output.wav

客户端参数说明:

  • server_ip:服务端 ip,默认 127.0.0.1;
  • port:服务端口,默认 8092;
  • protocol:http / websocket,默认 http;
  • input:待合成文本(必填);
  • spk_id:说话人 id(当前仅支持单说话人模型,该参数暂不生效);
  • output:输出音频路径,默认 None 不保存;
  • play:是否边合成边播放,默认 False;播放依赖 pyaudio 库。

运行后会打印句子、首包响应、尾包响应、音频时长与 RTF,例如:

[INFO] - 句子:您好,欢迎使用百度飞桨语音合成服务。
[INFO] - 首包响应:0.18863153457641602 s
[INFO] - 尾包响应:3.1427218914031982 s
[INFO] - 音频时长:3.825 s
[INFO] - RTF: 0.8216266382753459
[INFO] - 音频保存至:output.wav

Python API 客户端:

from paddlespeech.server.bin.paddlespeech_client import TTSOnlineClientExecutor

executor = TTSOnlineClientExecutor()
executor(input="您好,欢迎使用百度飞桨语音合成服务。",
         server_ip="127.0.0.1",
         port=8092,
         protocol="http",
         output="./output.wav")

八、性能指标与流式效果评估

从 run() 与 infer() 的日志输出可以看出,引擎在单次请求中记录了一组可用于评估流式实时性的关键指标(tts_engine.py):

  • frontend_time:文本前端处理耗时;
  • first_am_infer:首个 AM 块推理耗时;
  • first_voc_infer:首个 Voc 块推理耗时;
  • first_response_time:首包响应时间,衡量「输入文本到听到第一段声音」的延迟,是流式体验的核心指标;
  • final_response_time:尾包响应时间(整句合成完成);
  • RTF:final_response_time / duration,实时率,小于 1 表示合成速度快于播放速度。

配置中还内置了 warm-up 机制,服务启动时预跑若干次合成以完成显存/内存预热,日志中「The first response time of the 0/1/2 warm up」即来自该阶段。需要说明的是,以上各耗时为运行环境相关量,实际数值取决于 CPU/GPU 设备与所选模型(mb_melgan 推理速度更快、音质略低;hifigan 音质更优、推理更慢)。

九、小结

paddlespeech.server.engine.tts.online.python 是 PaddleSpeech 流式 TTS 服务的动态图参考实现,其设计可以概括为三点:

  1. 资源与推理解耦:TTSServerExecutor 负责模型/前端/归一化器的装载与复用,TTSEngine 负责配置校验与设备管理,PaddleTTSConnectionHandler 负责请求级流式推理;
  2. 分块 + 填充 + 去填充:通过 get_chunks 与 depadding 在「上下文完整」与「低首包延迟」之间取得平衡,am_pad/voc_pad 的取值直接决定流式合成音质与非流式的一致性;
  3. 双路径适配:普通 fastspeech2_csmsc 仅 Voc 流式,fastspeech2_cnndecoder_csmsc 实现 AM/Voc 全链路流式,后者通过 mel_streaming 缓冲与滑动窗口实现「边编码、边解码、边合成」。

如需进一步了解 onnxruntime 加速版本,可对照阅读 online/onnx/tts_engine.py;完整的服务端启动与客户端调用示例位于 demos/streaming_tts_server(含 http 与 websocket 两套配置及 README_cn.md 中的详细说明)。

登录后查看全文
PaddleSpeech