PaddleSpeech 流式语音合成(Streaming TTS)在线引擎源码级解析:`tts_online` Python 动态图推理实现
PaddleSpeech 流式语音合成(Streaming TTS)在线引擎源码级解析:tts_online Python 动态图推理实现
本文以 docs/source/api/paddlespeech.server.engine.tts.online.python.rst 所指向的
paddlespeech.server.engine.tts.online.python模块为线索,深入剖析 PaddleSpeech 服务端流式语音合成(Streaming TTS)的 Python 动态图推理引擎:从TTSServerExecutor的模型加载、TTSEngine的引擎初始化,到PaddleTTSConnectionHandler的流式推理与去填充(depadding)逻辑,并结合tts_online_application.yaml配置文件给出可直接落地的参数说明与启动、调用方法。读完本文,你将掌握流式 TTS 服务中 AM/Voc 分块推理的底层原理、am_block/am_pad/voc_block/voc_pad四个关键超参的选取依据,以及如何在当前仓库中一键启动并访问该服务。
一、模块定位:online.python 在 TTS 服务端架构中的位置
PaddleSpeech 的服务端采用「语音任务(task)× 引擎类型(engine type)」的组织方式,配置文件中的 engine_list 即以此命名,例如 tts_online、tts_online-onnx。其中:
online:使用 PaddlePaddle 动态图进行推理的引擎,即本文主角paddlespeech/server/engine/tts/online/python/tts_engine.py;online-onnx:使用 onnxruntime 进行推理的引擎(online/onnx),推理速度更快;- 此外还有
paddleinference(Paddle Inference)与python(非流式)两种 TTS 引擎变体,可参见 engine/tts 目录结构。
在 API 文档体系中,paddlespeech.server.engine.tts.online.python.rst 是 Sphinx automodule 自动生成的包级文档页,它聚合了该包的全部公开成员,并进一步 toctree 链接到子模块文档 paddlespeech.server.engine.tts.online.python.tts_engine.rst。tts_engine.py 是该包唯一的核心实现文件(__init__.py 为空文件),模块顶层通过 __all__ = ['TTSEngine', 'PaddleTTSConnectionHandler'] 声明了两个公开类,另外还有一个仅内部使用的 TTSServerExecutor。从源码结构看,整个流式 TTS 在线引擎由以下三条主线组成:
| 类 | 职责 | 关键方法 |
|---|---|---|
TTSServerExecutor(TTSExecutor) |
模型资源加载、前后端(frontend)与 AM/Voc 模型初始化 | get_model_info、_init_from_path |
TTSEngine(BaseEngine) |
服务端引擎的配置校验、设备设置、采样率一致性检查 | init |
PaddleTTSConnectionHandler |
每个 TTS 请求的连接处理:流式推理、去填充、后处理与返回 | infer、run、depadding |
二、TTSServerExecutor:流式 TTS 的模型加载与资源管理
TTSServerExecutor 继承自 paddlespeech.cli.tts.infer.TTSExecutor,在构造函数中通过 CommonTaskResource(task='tts', model_format='dynamic', inference_mode='online') 声明资源类型:动态图模型格式、在线推理模式(tts_engine.py)。
2.1 get_model_info:按 AM/Voc 分支加载模型
该方法根据 field 参数(am 或 voc)从 CommonTaskResource 获取模型类并加载权重(tts_engine.py):
- AM(声学模型)分支:
model_class(idim=self.vocab_size, odim=odim, **self.am_config["model"]),其中idim来自音素词典大小、odim来自am_config.n_mels(梅尔频带数),权重通过paddle.load(ckpt)["main_params"]加载; - Voc(声码器)分支:
model_class(**self.voc_config["generator_params"]),权重来自paddle.load(ckpt)["generator_params"],加载后调用model.remove_weight_norm()移除权重归一化(这是 HiFiGAN / MB-MelGAN 一类声码器在推理时的标准操作); - 两种分支都会返回
(model, model_mu, model_std),其中model_mu、model_std由np.load(stat)读入并转为 Paddle Tensor,供后续 Z-Score 归一化使用。
2.2 _init_from_path:完整初始化链
_init_from_path 是本引擎的初始化入口(tts_engine.py),其流程可归纳为:
- 判断是否使用预训练模型:若
am_ckpt/am_config/am_stat/phones_dict任一为空,则use_pretrained_am=True,由CommonTaskResource自动下载默认预训练资源;否则使用本地路径(os.path.abspath规范化)并skip_download。 - 模型 tag 组装:
am_tag = am + '-' + lang,例如fastspeech2_csmsc-zh,用于在资源表中索引对应模型。 - 加载配置文件:AM 与 Voc 的 yaml 配置均解析为
CfgNode(yacs 配置系统)。 - 构建前端(frontend):
lang == 'zh'时使用paddlespeech.t2s.frontend.zh_frontend.Frontend,加载phone_vocab_path与tone_vocab_path;lang == 'en'时使用paddlespeech.t2s.frontend.en_frontend.English,仅需音素词典。
- AM 推理封装:
self.am_name = am[:am.rindex('_')]剥离后缀得到真实模型名(如fastspeech2_csmsc→fastspeech2)。对fastspeech2_cnndecoder直接加载;其余模型则用ZScore(am_mu, am_std)归一化器 +{am_name}_inference推理封装类包装,并置为eval()模式。 - Voc 推理封装:同样以
ZScore归一化 +{voc_name}_inference类包装(mb_melgan、hifigan均支持流式 voc 推理)。
值得注意的是,AM 模型在前端与推理封装上区分了「普通 fastspeech2」与「fastspeech2_cnndecoder(带 CNN Decoder)」两种形态,这正是后续两条流式推理路径的分水岭。
三、TTSEngine:引擎初始化与关键校验
TTSEngine 继承 BaseEngine(单例元类),init() 方法完成以下工作(tts_engine.py):
- 模型组合断言:AM 必须为
fastspeech2_csmsc或fastspeech2_cnndecoder_csmsc;Voc 必须为hifigan_csmsc或mb_melgan_csmsc,否则报错退出。 - 流式参数合法性断言:要求
voc_block > 0且voc_pad > 0。 - 设备设置:优先使用配置文件中的
device(如cpu、gpu:0),否则回退到paddle.get_device(),并调用paddle.set_device。 - 执行初始化:调用
executor._init_from_path(...),传入am/voc名称、各自配置/权重/统计文件路径、phones_dict/tones_dict/speaker_dict与lang。 - 采样率一致性校验:
assert am_config.fs == voc_config.fs,保证 AM 与 Vocoder 的采样率一致;引擎的self.sample_rate取自 AM 配置的fs。 - 流式 chunk 超参装载:将
am_block/am_pad/voc_block/voc_pad从配置写入引擎,并计算两个上采样倍数:am_upsample = 1(AM 帧与帧之间无上采样);voc_upsample = voc_config.n_shift(声码器的帧移,如 300),用于将梅尔帧数换算为音频采样点数。
这些参数随后会被 PaddleTTSConnectionHandler 消费,是流式推理正确性的关键。
四、流式推理的基石:get_chunks 分块与 depadding 去填充
流式合成的核心矛盾是:声码器/解码器需要上下文才能对「当前块」生成高质量输出,但流式场景下又不能等待全部输入。解决方案是「分块 + 前后填充(pad)」:每个 chunk 除有效帧 block 外,再向两侧各扩展 pad 帧参与推理,推理后再把 pad 区域裁剪掉。
4.1 分块:get_chunks
实现在 server/utils/util.py,核心逻辑为:
n = math.ceil(data_len / block_size)
for i in range(n):
start = max(0, i * block_size - pad_size)
end = min((i + 1) * block_size + pad_size, data_len)
step="am"时按data.shape[1](帧维)切分,chunk 形状为data[:, start:end, :];step="voc"时按data.shape[0]切分,chunk 形状为data[start:end, :];block_size == -1时视为非流式,直接返回整段数据。
4.2 去填充:depadding
推理结果需要裁掉 pad 带来的冗余,depadding(tts_engine.py)按 chunk 位置分三种情况处理:
front_pad = min(chunk_id * block, pad)
if chunk_id == 0: # 首块:仅保留前 block*upsample
data = data[:block * upsample]
elif chunk_id == chunk_num - 1: # 尾块:去掉前向填充
data = data[front_pad * upsample:]
else: # 中间块:两端填充都去掉
data = data[front_pad * upsample:(front_pad + block) * upsample]
其中 upsample 为帧到采样点的放大倍数(AM 阶段为 1,Voc 阶段为 n_shift)。这个「首块截头、尾块去前填充、中间块掐头去尾」的规则保证了相邻 chunk 拼接后不重不漏,与流式声码器中 pad 的计算方法一一对应。
五、两条流式推理路径:infer 的实现细节
PaddleTTSConnectionHandler.infer() 是整个流式合成的核心(tts_engine.py),整体流程为:
- 按
lang调用对应前端get_input_ids得到phone_ids,并记录frontend_time; - 遍历每个句子的音素序列,根据 AM 类型走两条不同的流式路径;
- 每条路径都以
yield逐 chunk 输出波形,实现「边合成边下发」。
5.1 路径一:fastspeech2_csmsc(AM 整句推理 + Voc 流式)
- AM 一次性对整句音素推理得到完整梅尔谱:
mel = self.executor.am_inference(part_phone_ids); - 随后
get_chunks(mel, voc_block, voc_pad, "voc")将梅尔谱切块,逐块送入voc_inference生成子波形; - 每块经
depadding裁掉填充后yield sub_wav。
该路径只做到了 Voc 阶段流式,AM 阶段仍是整句计算。
5.2 路径二:fastspeech2_cnndecoder_csmsc(AM 流式 + Voc 流式全链路)
- 首先
encoder_infer(part_phone_ids)得到 encoder 输出orig_hs,按mel_len与voc_block预估 voc chunk 数量; - AM 侧:
get_chunks(orig_hs, am_block, am_pad, "am")将 encoder 输出分块,逐块执行decoder(hs)+postnet(...),经denorm反归一化与depadding后,用np.concatenate累积到mel_streaming缓冲; - Voc 侧:当
mel_streaming的帧数达到当前end(voc_block + voc_pad窗口)时触发一次流式 voc 推理,depadding后yield sub_wav,并推进start/end滑动窗口:start = max(0, voc_chunk_id * voc_block - voc_pad) end = min((voc_chunk_id + 1) * voc_block + voc_pad, mel_len) - 首包时间点会被记录:
first_am_infer(前端结束到首个 AM 输出)、first_voc_infer(首个 AM 输出到首个 Voc 输出)、first_response_time(前端开始到首个音频包)。
最终 final_response_time 记录从前端开始到全部推理结束的总耗时,供 RTF 计算。
5.3 后处理与返回:run
run()(tts_engine.py)对每个 infer 产出的 float32 波形执行 float2pcm(float32 → int16)→ tobytes() → base64.b64encode,逐包 yield base64 音频;同时统计总时长、first_response_time、final_response_time 与 RTF(= final_response_time / duration)并写入日志。
六、配置参数详解:tts_online_application.yaml
流式 TTS 服务的标准配置见 demos/streaming_tts_server/conf/tts_online_application.yaml,它同时给出了 tts_online(python 动态图)与 tts_online-onnx 两套引擎配置。以下为 tts_online 的核心参数:
| 参数 | 取值/默认 | 说明 |
|---|---|---|
host |
0.0.0.0 |
服务监听地址;容器内若客户端访问 ip 不可达,可换成本地 ip |
port |
8092 |
服务端口 |
protocol |
http / websocket |
网络协议 |
engine_list |
['tts_online'] 等 |
<speech task>_<engine type> 形式 |
am |
fastspeech2_csmsc / fastspeech2_cnndecoder_csmsc |
声学模型,仅后者支持流式 AM 推理 |
am_config / am_ckpt / am_stat / phones_dict / tones_dict / speaker_dict |
留空则自动下载预训练资源 | 本地模型路径(可选) |
voc |
mb_melgan_csmsc / hifigan_csmsc |
声码器,两者均支持流式 Voc 推理 |
lang |
zh |
语言,支持 zh / en |
device |
cpu / gpu:id |
推理设备 |
am_block |
72 |
AM chunk 的有效帧数,仅对 fastspeech2_cnndecoder 生效 |
am_pad |
12 |
AM chunk 前后各扩展帧数;am_pad=12 时流式与非流式合成音频一致 |
voc_block |
36 |
Voc chunk 的有效帧数 |
voc_pad |
14 |
Voc chunk 前后各扩展帧数(详见下方取值建议) |
关于 voc_pad 的选取,配置注释与 demos/streaming_tts_server/README_cn.md 给出了明确的经验值:
- mb_melgan_csmsc:
voc_pad=14时流式合成音频与非流式完全一致;最小可设为7,听感正常;小于 7 会出现可感知的异常; - hifigan_csmsc:
voc_pad=19时与非流式完全一致;voc_pad=14时听感正常。
am_pad/am_block 对不支持流式 AM 的 fastspeech2_csmsc 无效。此外,tts_online-onnx 配置中还额外包含 am_sample_rate/voc_sample_rate、am_sess_conf/voc_sess_conf(onnxruntime 会话参数,如 use_trt、cpu_threads)以及 voc_upsample(须与 voc 配置中的 n_shift 一致)等字段,用于 onnxruntime 推理。
七、启动服务与客户端调用
7.1 启动流式 TTS 服务
命令行方式(推荐):
paddlespeech_server start --config_file ./conf/tts_online_application.yaml
其中 config_file 指定配置文件(默认 ./conf/tts_online_application.yaml),log_file 指定日志路径(默认 ./log/paddlespeech.log)。启动成功后会输出 warm-up 首包响应时间以及 Uvicorn running on http://0.0.0.0:8092 的提示。
Python API 方式:
from paddlespeech.server.bin.paddlespeech_server import ServerExecutor
server_executor = ServerExecutor()
server_executor(config_file="./conf/tts_online_application.yaml",
log_file="./log/paddlespeech.log")
7.2 客户端访问
命令行(http 协议):
paddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 \
--protocol http --input "您好,欢迎使用百度飞桨语音合成服务。" --output output.wav
客户端参数说明:
server_ip:服务端 ip,默认127.0.0.1;port:服务端口,默认8092;protocol:http/websocket,默认http;input:待合成文本(必填);spk_id:说话人 id(当前仅支持单说话人模型,该参数暂不生效);output:输出音频路径,默认None不保存;play:是否边合成边播放,默认False;播放依赖pyaudio库。
运行后会打印句子、首包响应、尾包响应、音频时长与 RTF,例如:
[INFO] - 句子:您好,欢迎使用百度飞桨语音合成服务。
[INFO] - 首包响应:0.18863153457641602 s
[INFO] - 尾包响应:3.1427218914031982 s
[INFO] - 音频时长:3.825 s
[INFO] - RTF: 0.8216266382753459
[INFO] - 音频保存至:output.wav
Python API 客户端:
from paddlespeech.server.bin.paddlespeech_client import TTSOnlineClientExecutor
executor = TTSOnlineClientExecutor()
executor(input="您好,欢迎使用百度飞桨语音合成服务。",
server_ip="127.0.0.1",
port=8092,
protocol="http",
output="./output.wav")
八、性能指标与流式效果评估
从 run() 与 infer() 的日志输出可以看出,引擎在单次请求中记录了一组可用于评估流式实时性的关键指标(tts_engine.py):
frontend_time:文本前端处理耗时;first_am_infer:首个 AM 块推理耗时;first_voc_infer:首个 Voc 块推理耗时;first_response_time:首包响应时间,衡量「输入文本到听到第一段声音」的延迟,是流式体验的核心指标;final_response_time:尾包响应时间(整句合成完成);RTF:final_response_time / duration,实时率,小于 1 表示合成速度快于播放速度。
配置中还内置了 warm-up 机制,服务启动时预跑若干次合成以完成显存/内存预热,日志中「The first response time of the 0/1/2 warm up」即来自该阶段。需要说明的是,以上各耗时为运行环境相关量,实际数值取决于 CPU/GPU 设备与所选模型(mb_melgan 推理速度更快、音质略低;hifigan 音质更优、推理更慢)。
九、小结
paddlespeech.server.engine.tts.online.python 是 PaddleSpeech 流式 TTS 服务的动态图参考实现,其设计可以概括为三点:
- 资源与推理解耦:
TTSServerExecutor负责模型/前端/归一化器的装载与复用,TTSEngine负责配置校验与设备管理,PaddleTTSConnectionHandler负责请求级流式推理; - 分块 + 填充 + 去填充:通过
get_chunks与depadding在「上下文完整」与「低首包延迟」之间取得平衡,am_pad/voc_pad的取值直接决定流式合成音质与非流式的一致性; - 双路径适配:普通
fastspeech2_csmsc仅 Voc 流式,fastspeech2_cnndecoder_csmsc实现 AM/Voc 全链路流式,后者通过mel_streaming缓冲与滑动窗口实现「边编码、边解码、边合成」。
如需进一步了解 onnxruntime 加速版本,可对照阅读 online/onnx/tts_engine.py;完整的服务端启动与客户端调用示例位于 demos/streaming_tts_server(含 http 与 websocket 两套配置及 README_cn.md 中的详细说明)。