PaddleSpeech 在线(online-onnx)流式语音合成引擎深度解析:模块架构、推理流程与配置实战
PaddleSpeech 在线(online-onnx)流式语音合成引擎深度解析:模块架构、推理流程与配置实战
本篇技术指南聚焦 PaddleSpeech 服务端中的 paddlespeech.server.engine.tts.online.onnx 模块——即基于 ONNX Runtime 的在线流式语音合成(Streaming TTS)引擎。文章将以该模块的 API 文档页为骨架,结合仓库源码、服务端配置文件与官方 demo,系统讲解其类结构、分块流式推理原理、ONNX 会话参数调优以及 HTTP/WebSocket 服务的启动与调用方式。读完本文,你将掌握 online-onnx 引擎的完整工作链路,能够独立配置并部署一套低首包延迟的流式语音合成服务。
一、模块定位:online-onnx 在 TTS 服务端引擎中的位置
该 API 文档页对应的 Python 包为 paddlespeech.server.engine.tts.online.onnx,其下唯一子模块为 paddlespeech.server.engine.tts.online.onnx.tts_engine,对应仓库路径 paddlespeech/server/engine/tts/online/onnx/tts_engine.py。
从仓库目录结构看,paddlespeech/server/engine/tts/ 下按推理后端划分了多条引擎实现路径:
online/onnx/:基于 ONNX Runtime 的在线(流式)推理引擎,即本文主角,engine_type记为online-onnx;online/python/:使用 Paddle 动态图进行在线推理的引擎(online),其tts_engine.py与 onnx 版本结构平行;paddleinference/:基于 Paddle Inference 静态图的离线引擎;python/:基于 Paddle 动态图的离线引擎。
官方配置注释与 demo 文档均明确指出:engine_list 中 tts_online-onnx 的推理速度比 tts_online 更快(参见 tts_online_application.yaml 与 demos/streaming_tts_server/README_cn.md),原因在于 onnx 版本直接以 ONNX Runtime 执行模型,省去了动态图开销。
tts_engine.py 对外导出了两个核心符号(__all__ = ['TTSEngine', 'PaddleTTSConnectionHandler']),此外模块内部还定义了继承自 TTSExecutor 的 TTSServerExecutor:
| 类 | 职责 |
|---|---|
TTSServerExecutor |
负责加载 AM 声学模型、Vocoder 声码器模型、音素字典与前端(Frontend)资源 |
TTSEngine |
服务端引擎入口,继承 BaseEngine(单例模式),负责读取配置、校验参数、初始化执行器与设备 |
PaddleTTSConnectionHandler |
连接处理器,承接每次 TTS 请求,执行流式推理并将音频片段编码为 base64 返回 |
二、TTSServerExecutor:模型与资源的初始化
TTSServerExecutor 继承自 paddlespeech.cli.tts.infer.TTSExecutor,并在构造时指定 CommonTaskResource(task='tts', model_format='onnx'),表明其资源获取以 ONNX 模型格式为准。核心方法 _init_from_path()(见 tts_engine.py)负责完成全部模型资源的加载。
2.1 声学模型(AM)的两种形态
参数 am 支持两种取值,分别对应不同的加载分支:
-
fastspeech2_csmsc_onnx:单个 ONNX 模型文件即可完成声学特征预测。当未显式传入am_ckpt与phones_dict时,通过task_resource.set_task_model(model_tag=am_tag, model_type=0, version=None)按标签(<am>-<lang>,如fastspeech2_csmsc-zh)自动定位并下载默认资源,随后用get_sess(self.am_ckpt, am_sess_conf)创建 ONNX 会话。 -
fastspeech2_cnndecoder_csmsc_onnx:为了支持流式 AM 推理,模型被拆分为 encoder、decoder、postnet 三个子模型,因此am_ckpt是一个长度为 3 的列表[encoder 模型, decoder 模型, postnet 模型](配置注释对此有明确说明)。三个子模型分别创建会话am_encoder_infer_sess、am_decoder_sess、am_postnet_sess,并加载am_stat(均值方差文件)用于后续反归一化denorm。
两个分支都会读取 phones_dict 计算 vocab_size(词表大小),并根据 lang 选择前端:
lang == 'zh':paddlespeech.t2s.frontend.zh_frontend.Frontend;lang == 'en':paddlespeech.t2s.frontend.en_frontend.English。
2.2 声码器(Voc)模型
参数 voc 支持 mb_melgan_csmsc_onnx 与 hifigan_csmsc_onnx,两者均支持流式声码器推理。加载逻辑与 AM 类似:未传 voc_ckpt 时按 voc_tag = <voc>-<lang> 自动获取默认资源(model_type=1 表示 vocoder),随后 get_sess(self.voc_ckpt, voc_sess_conf) 创建会话。
2.3 重复初始化保护
_init_from_path 开头有一处幂等判断:若 am_sess(或 encoder/decoder/postnet 三会话)与 voc_inference 均已存在,则直接返回,避免重复加载模型(tts_engine.py)。
三、TTSEngine:配置读取、校验与设备管理
TTSEngine 继承自单例基类 BaseEngine(其 metaclass=Singleton 定义于 base_engine.py),init(config) 是整个引擎的初始化入口(tts_engine.py)。
初始化过程中完成了以下关键动作:
- 读取流式参数:
am_block、am_pad、voc_block、voc_pad、voc_upsample,并设定am_upsample = 1(AM 侧不做上采样)。 - 模型组合校验(assert):
- AM 必须是
fastspeech2_csmsc_onnx或fastspeech2_cnndecoder_csmsc_onnx; - Voc 必须是
hifigan_csmsc_onnx或mb_melgan_csmsc_onnx; voc_block > 0且voc_pad > 0;- AM 与 Voc 的采样率必须一致(
voc_sample_rate == am_sample_rate),否则报错。
- AM 必须是
- 设备设置:优先取
am_sess_conf.device,其次voc_sess_conf.device,都未配置时回退到paddle.get_device(),再调用paddle.set_device(device)。设备格式为cpu或gpu:id。 - 调用执行器加载模型,成功后日志输出
Initialize TTS server engine successfully on device: ...。
四、PaddleTTSConnectionHandler:流式推理的完整链路
PaddleTTSConnectionHandler 是每次请求的处理单元(tts_engine.py),其 run(sentence, spk_id=0) 方法串联推理与后处理,infer() 是流式推理核心,以生成器(yield)方式逐块产出音频片段。
4.1 分块与去填充:block / pad 机制的源码实现
流式推理的关键是把完整序列切成多个 chunk 逐块计算。工具函数 get_chunks(data, block_size, pad_size, step) 定义于 utils/util.py,其切块逻辑为:
n = math.ceil(data_len / block_size)
for i in range(n):
start = max(0, i * block_size - pad_size)
end = min((i + 1) * block_size + pad_size, data_len)
即:第 i 个 chunk 的起始位置向前扩展 pad_size,结束位置向后扩展 pad_size。step 参数区分 "am"(按第 1 维切分)与 "voc"(按第 0 维切分),block_size == -1 时不做切分直接返回整段。
由于每个 chunk 都带了 pad 重叠区域,推理结果中需要去掉填充部分。depadding()(tts_engine.py)按 chunk 位置裁剪:
- 首块(
chunk_id == 0):保留data[:block * upsample]; - 尾块:从
front_pad * upsample开始保留; - 中间块:保留
(front_pad * upsample, (front_pad + block) * upsample)区间,其中front_pad = min(chunk_id * block, pad)。
upsample 对应 voc_upsample(默认 300,即 mel 帧上采样为 300 个采样点的倍数,需与 vocoder 配置的 n_shift 一致)。
4.2 前端文本处理
infer() 首先记录 frontend_st 时间戳,然后根据 lang 调用前端:
zh:frontend.get_input_ids(text, merge_sentences=False, get_tone_ids=False),取phone_ids(本引擎中未启用tone_ids);en:frontend.get_input_ids(text, merge_sentences=False),同样取phone_ids;- 其他语言:报错
lang should in {'zh', 'en'}!。
4.3 两种 AM 的流式推理分支
分支一:fastspeech2_csmsc_onnx(AM 整体推理 + 流式 Voc)
- 一次性对整句
phone_ids运行am_sess,得到完整 mel 谱; - 用
get_chunks(mel, voc_block, voc_pad, "voc")将 mel 切成多个 voc chunk; - 逐个 chunk 运行
voc_sess(输入键为logmel),经depadding裁剪后yield输出。
分支二:fastspeech2_cnndecoder_csmsc_onnx(AM、Voc 双重流式)
- 先由
am_encoder_infer_sess得到隐层特征orig_hs(形状[1, mel_len, dim]); - 计算
voc_chunk_num = ceil(mel_len / voc_block),初始化start=0、end=min(voc_block + voc_pad, mel_len); - 用
get_chunks(orig_hs, am_block, am_pad, "am")切分隐层,逐块运行am_decoder_sess与am_postnet_sess(postnet 输入需先转置为(0, 2, 1)),将两者输出相加得到 mel,经denorm(normalized_mel, am_mu, am_std)反归一化后再depadding; - 将各 AM 子块 mel 拼接进
mel_streaming,一旦其帧数达到当前 voc 窗口(mel_streaming.shape[0] >= end),立即对该窗口mel_streaming[start:end, :]运行voc_sess并yield音频; - 更新窗口:
start = max(0, voc_chunk_id * voc_block - voc_pad),end = min((voc_chunk_id + 1) * voc_block + voc_pad, mel_len),直到所有 voc chunk 产出完毕。
这种“AM 边推理、Voc 攒够一窗就合成”的流水线设计,正是流式 TTS 能大幅降低首包响应时间的原因。代码注释中写道:当流式 AM 推理的 mel 帧数大于流式 voc 推理的 chunk size 时,开始进行流式 voc 推理(tts_engine.py)。
4.4 性能指标统计
引擎在推理过程中记录了多个关键时间点(均为秒):
frontend_time:前端处理耗时(frontend_et - frontend_st);first_am_infer:首个 AM 推理完成耗时;first_voc_infer:首个 Voc 推理完成耗时;first_response_time:首包响应时间(first_voc_et - frontend_st);final_response_time:整句处理总耗时(time.time() - frontend_st)。
run() 在合成结束后按 sample_rate 计算音频时长 duration,并输出 RTF = final_response_time / duration(RTF 小于 1 表示合成速度快于实时播放),随后日志打印句子文本、音频时长、首包/尾包响应时间与 RTF。
4.5 后处理:float → PCM → base64
run() 对 infer() 产出的每个 float32 音频片段依次执行:
wav = float2pcm(wav) # float32 -> int16 PCM
wav_bytes = wav.tobytes() # 转字节流
wav_base64 = base64.b64encode(wav_bytes).decode('utf8')
yield wav_base64 # 逐块返回 base64 片段
其中 float2pcm 定义于 audio_process.py:将 [-1, 1] 范围的浮点信号缩放裁剪为 int16 整型。同时 run() 内部维护 wav_list 累积全部片段,便于最后 np.concatenate 计算总时长。
五、ONNX Runtime 会话配置:get_sess 深度解读
所有 ONNX 会话都由 utils/onnx_infer.py 中的 get_sess(model_path, sess_conf) 创建,其行为直接影响推理速度:
- 图优化级别:默认
ORT_ENABLE_ALL(全部启用);仅当sess_conf['graph_optimization_level'] == 0时降级为ORT_DISABLE_ALL。注意判断逻辑是“等于 0 才禁用”,未配置该键(默认为 99)则保持全量优化。 - 执行模式:固定为
ORT_SEQUENTIAL(顺序执行)。 - 执行提供方(providers):默认
['CPUExecutionProvider'];当sess_conf['device']包含"gpu"时,解析gpu:id得到device_id,改用[('CUDAExecutionProvider', {'device_id': device_id})]。 - TensorRT 限制:若
sess_conf['use_trt']为真,则直接使用['TensorrtExecutionProvider']。源码注释明确说明:fastspeech2 / mb_melgan 当前不能使用 TensorRT,因此启用 TRT 前需要确认模型兼容性。 - 线程数:优先取
cpu_threads,否则取intra_op_num_threads设置算子内线程数;inter_op_num_threads设置算子间线程数。
六、服务端配置:tts_online_application.yaml 全参数说明
tts_online-onnx 引擎的完整配置示例位于 paddlespeech/server/conf/tts_online_application.yaml,顶层为服务设置:
host: 0.0.0.0
port: 8092
protocol: 'http' # 可选 'websocket'
engine_list: ['tts_online-onnx']
引擎段 tts_online-onnx 的关键参数如下:
| 参数 | 含义与取值 |
|---|---|
am |
声学模型,可选 fastspeech2_csmsc_onnx、fastspeech2_cnndecoder_csmsc_onnx(后者支持流式 AM 推理) |
am_ckpt |
列表;fastspeech2_cnndecoder_csmsc_onnx 时依次为 [encoder, decoder, postnet] 三个模型;fastspeech2_csmsc_onnx 时仅一个模型 |
am_stat |
均值方差文件,cnndecoder 分支必需(用于 denorm) |
phones_dict / tones_dict / speaker_dict |
音素、声调、说话人字典;tones_dict 在本引擎中默认置空 |
spk_id |
说话人 id,默认 0(当前仅支持单说话人模型,该参数实际不生效) |
am_sample_rate / voc_sample_rate |
采样率,默认 24000,二者必须相等(引擎内有 assert 校验) |
am_sess_conf / voc_sess_conf |
ONNX 会话配置:device(cpu 或 gpu:id)、use_trt、cpu_threads,默认均为 cpu + 4 线程 |
voc |
声码器,可选 mb_melgan_csmsc_onnx、hifigan_csmsc_onnx,均支持流式推理 |
lang |
zh 或 en |
am_block / am_pad |
仅对 fastspeech2_cnndecoder 生效的流式 AM 切块参数;am_pad=12 时流式合成音频与非流式一致 |
voc_block / voc_pad |
流式 Voc 切块参数;voc_pad 影响音频质量(详见下文) |
voc_upsample |
默认 300,必须与 vocoder 配置中的 n_shift 一致 |
6.1 block 与 pad 的取值经验(来自官方配置注释)
- AM 侧:
am_block=72,am_pad=12。am_pad用于消除流式推理产生的误差;当am_pad=12时,流式合成音频与非流式合成音频一致。fastspeech2_csmsc不支持流式 AM 推理,因此am_block/am_pad对它无效。 - Voc 侧:
voc_block=36。mb_melgan_csmsc:voc_pad=14时流式与非流式一致;最小可设 7,听感正常;小于 7 听感异常。hifigan_csmsc:voc_pad=19时流式与非流式一致;voc_pad=14时听感正常。
- 速度与音质权衡:官方文档给出结论——推理速度
mb_melgan > hifigan,音频质量mb_melgan < hifigan。
七、服务启动与客户端调用实战
完整的启动与调用流程记录在 demos/streaming_tts_server/README_cn.md,该 demo 支持 http 与 websocket 两种协议。
7.1 启动服务端
命令行方式(推荐):
paddlespeech_server start --config_file ./conf/tts_online_application.yaml
其中 --config_file 默认即 ./conf/tts_online_application.yaml,--log_file 默认 ./log/paddlespeech.log。若使用 websocket 协议,需先将配置文件中 protocol 改为 websocket。启动成功后日志会打印三次 warm-up 的首包响应时间,随后输出 Uvicorn running on http://0.0.0.0:8092。
Python API 方式:
from paddlespeech.server.bin.paddlespeech_server import ServerExecutor
server_executor = ServerExecutor()
server_executor(
config_file="./conf/tts_online_application.yaml",
log_file="./log/paddlespeech.log")
7.2 调用客户端
命令行(http 协议):
paddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 --protocol http --input "您好,欢迎使用百度飞桨语音合成服务。" --output output.wav
客户端参数一览:
server_ip:服务端 IP,默认127.0.0.1(容器场景下若访问不到,可把配置中host改为本机 IP);port:服务端口,默认8092;protocol:http或websocket,默认http;input:必填,待合成文本;spk_id:说话人 id,默认 0;output:音频保存路径,默认 None 不保存;play:是否边合成边播放,默认 False;播放依赖pyaudio库。
websocket 协议仅需把 --protocol websocket 传入,其余参数不变。客户端日志会输出句子文本、首包响应、尾包响应、音频时长与 RTF,例如:
句子:您好,欢迎使用百度飞桨语音合成服务。
首包响应:0.18863153457641602 s
尾包响应:3.1427218914031982 s
音频时长:3.825 s
RTF: 0.8216266382753459
Python API 客户端:
from paddlespeech.server.bin.paddlespeech_client import TTSOnlineClientExecutor
executor = TTSOnlineClientExecutor()
executor(
input="您好,欢迎使用百度飞桨语音合成服务。",
server_ip="127.0.0.1",
port=8092,
protocol="http",
spk_id=0,
output="./output.wav",
play=False)
7.3 功能边界说明
按官方文档说明,流式 TTS 当前仅支持单说话人模型(spk_id 不生效),且不支持更换采样率、变速、变音量等功能;流式场景下可参考 utils/util.py 中的 count_engine 工具,通过解析服务日志中的 first response time、final response time 与 duration 字段统计平均首包/尾包响应时间与 RTF。
八、总结:一条从配置到音频输出的完整链路
回顾 online-onnx 引擎的整个生命周期:paddlespeech_server 读取 tts_online_application.yaml 中的 tts_online-onnx 配置段 → 由单例 TTSEngine.init() 校验模型组合、采样率与设备,并调用 TTSServerExecutor._init_from_path() 加载 AM/Voc ONNX 会话与前端 → 每次请求由 PaddleTTSConnectionHandler 承接,前端将文本转为音素 id,AM 按 am_block/am_pad 分块流式产出 mel,Voc 按 voc_block/voc_pad 分块流式合成波形,depadding 去除重叠填充后经 float2pcm 与 base64 编码逐块返回 → 客户端按协议(http/websocket)接收音频片段并保存为 wav。
对希望进一步阅读源码的读者,建议从 paddlespeech/server/engine/tts/online/onnx/tts_engine.py 入手,配合 paddlespeech/server/utils/onnx_infer.py(会话配置)、paddlespeech/server/utils/util.py(分块与统计工具)以及 paddlespeech/server/conf/tts_online_application.yaml(完整参数)三份文件对照阅读,即可完整掌握该引擎的设计与实现细节。