PaddleSpeech 在线(online-onnx)流式语音合成引擎深度解析:模块架构、推理流程与配置实战

原创2026-09-23 12:53:441,955 阅读
文章标签:语音音频人工智能深度学习

PaddleSpeech 在线(online-onnx)流式语音合成引擎深度解析:模块架构、推理流程与配置实战

本篇技术指南聚焦 PaddleSpeech 服务端中的 paddlespeech.server.engine.tts.online.onnx 模块——即基于 ONNX Runtime 的在线流式语音合成(Streaming TTS)引擎。文章将以该模块的 API 文档页为骨架,结合仓库源码、服务端配置文件与官方 demo,系统讲解其类结构、分块流式推理原理、ONNX 会话参数调优以及 HTTP/WebSocket 服务的启动与调用方式。读完本文,你将掌握 online-onnx 引擎的完整工作链路,能够独立配置并部署一套低首包延迟的流式语音合成服务。

一、模块定位:online-onnx 在 TTS 服务端引擎中的位置

该 API 文档页对应的 Python 包为 paddlespeech.server.engine.tts.online.onnx,其下唯一子模块为 paddlespeech.server.engine.tts.online.onnx.tts_engine,对应仓库路径 paddlespeech/server/engine/tts/online/onnx/tts_engine.py。

从仓库目录结构看,paddlespeech/server/engine/tts/ 下按推理后端划分了多条引擎实现路径:

  • online/onnx/:基于 ONNX Runtime 的在线(流式)推理引擎,即本文主角,engine_type 记为 online-onnx;
  • online/python/:使用 Paddle 动态图进行在线推理的引擎(online),其 tts_engine.py 与 onnx 版本结构平行;
  • paddleinference/:基于 Paddle Inference 静态图的离线引擎;
  • python/:基于 Paddle 动态图的离线引擎。

官方配置注释与 demo 文档均明确指出:engine_list 中 tts_online-onnx 的推理速度比 tts_online 更快(参见 tts_online_application.yaml 与 demos/streaming_tts_server/README_cn.md),原因在于 onnx 版本直接以 ONNX Runtime 执行模型,省去了动态图开销。

tts_engine.py 对外导出了两个核心符号(__all__ = ['TTSEngine', 'PaddleTTSConnectionHandler']),此外模块内部还定义了继承自 TTSExecutor 的 TTSServerExecutor:

类 职责
TTSServerExecutor 负责加载 AM 声学模型、Vocoder 声码器模型、音素字典与前端(Frontend)资源
TTSEngine 服务端引擎入口,继承 BaseEngine(单例模式),负责读取配置、校验参数、初始化执行器与设备
PaddleTTSConnectionHandler 连接处理器,承接每次 TTS 请求,执行流式推理并将音频片段编码为 base64 返回

二、TTSServerExecutor:模型与资源的初始化

TTSServerExecutor 继承自 paddlespeech.cli.tts.infer.TTSExecutor,并在构造时指定 CommonTaskResource(task='tts', model_format='onnx'),表明其资源获取以 ONNX 模型格式为准。核心方法 _init_from_path()(见 tts_engine.py)负责完成全部模型资源的加载。

2.1 声学模型(AM)的两种形态

参数 am 支持两种取值,分别对应不同的加载分支:

  • fastspeech2_csmsc_onnx:单个 ONNX 模型文件即可完成声学特征预测。当未显式传入 am_ckpt 与 phones_dict 时,通过 task_resource.set_task_model(model_tag=am_tag, model_type=0, version=None) 按标签(<am>-<lang>,如 fastspeech2_csmsc-zh)自动定位并下载默认资源,随后用 get_sess(self.am_ckpt, am_sess_conf) 创建 ONNX 会话。

  • fastspeech2_cnndecoder_csmsc_onnx:为了支持流式 AM 推理,模型被拆分为 encoder、decoder、postnet 三个子模型,因此 am_ckpt 是一个长度为 3 的列表 [encoder 模型, decoder 模型, postnet 模型](配置注释对此有明确说明)。三个子模型分别创建会话 am_encoder_infer_sess、am_decoder_sess、am_postnet_sess,并加载 am_stat(均值方差文件)用于后续反归一化 denorm。

两个分支都会读取 phones_dict 计算 vocab_size(词表大小),并根据 lang 选择前端:

  • lang == 'zh':paddlespeech.t2s.frontend.zh_frontend.Frontend;
  • lang == 'en':paddlespeech.t2s.frontend.en_frontend.English。

2.2 声码器(Voc)模型

参数 voc 支持 mb_melgan_csmsc_onnx 与 hifigan_csmsc_onnx,两者均支持流式声码器推理。加载逻辑与 AM 类似:未传 voc_ckpt 时按 voc_tag = <voc>-<lang> 自动获取默认资源(model_type=1 表示 vocoder),随后 get_sess(self.voc_ckpt, voc_sess_conf) 创建会话。

2.3 重复初始化保护

_init_from_path 开头有一处幂等判断:若 am_sess(或 encoder/decoder/postnet 三会话)与 voc_inference 均已存在,则直接返回,避免重复加载模型(tts_engine.py)。

三、TTSEngine:配置读取、校验与设备管理

TTSEngine 继承自单例基类 BaseEngine(其 metaclass=Singleton 定义于 base_engine.py),init(config) 是整个引擎的初始化入口(tts_engine.py)。

初始化过程中完成了以下关键动作:

  1. 读取流式参数:am_block、am_pad、voc_block、voc_pad、voc_upsample,并设定 am_upsample = 1(AM 侧不做上采样)。
  2. 模型组合校验(assert):
    • AM 必须是 fastspeech2_csmsc_onnx 或 fastspeech2_cnndecoder_csmsc_onnx;
    • Voc 必须是 hifigan_csmsc_onnx 或 mb_melgan_csmsc_onnx;
    • voc_block > 0 且 voc_pad > 0;
    • AM 与 Voc 的采样率必须一致(voc_sample_rate == am_sample_rate),否则报错。
  3. 设备设置:优先取 am_sess_conf.device,其次 voc_sess_conf.device,都未配置时回退到 paddle.get_device(),再调用 paddle.set_device(device)。设备格式为 cpu 或 gpu:id。
  4. 调用执行器加载模型,成功后日志输出 Initialize TTS server engine successfully on device: ...。

四、PaddleTTSConnectionHandler:流式推理的完整链路

PaddleTTSConnectionHandler 是每次请求的处理单元(tts_engine.py),其 run(sentence, spk_id=0) 方法串联推理与后处理,infer() 是流式推理核心,以生成器(yield)方式逐块产出音频片段。

4.1 分块与去填充:block / pad 机制的源码实现

流式推理的关键是把完整序列切成多个 chunk 逐块计算。工具函数 get_chunks(data, block_size, pad_size, step) 定义于 utils/util.py,其切块逻辑为:

n = math.ceil(data_len / block_size)
for i in range(n):
    start = max(0, i * block_size - pad_size)
    end = min((i + 1) * block_size + pad_size, data_len)

即:第 i 个 chunk 的起始位置向前扩展 pad_size,结束位置向后扩展 pad_size。step 参数区分 "am"(按第 1 维切分)与 "voc"(按第 0 维切分),block_size == -1 时不做切分直接返回整段。

由于每个 chunk 都带了 pad 重叠区域,推理结果中需要去掉填充部分。depadding()(tts_engine.py)按 chunk 位置裁剪:

  • 首块(chunk_id == 0):保留 data[:block * upsample];
  • 尾块:从 front_pad * upsample 开始保留;
  • 中间块:保留 (front_pad * upsample, (front_pad + block) * upsample) 区间,其中 front_pad = min(chunk_id * block, pad)。

upsample 对应 voc_upsample(默认 300,即 mel 帧上采样为 300 个采样点的倍数,需与 vocoder 配置的 n_shift 一致)。

4.2 前端文本处理

infer() 首先记录 frontend_st 时间戳,然后根据 lang 调用前端:

  • zh:frontend.get_input_ids(text, merge_sentences=False, get_tone_ids=False),取 phone_ids(本引擎中未启用 tone_ids);
  • en:frontend.get_input_ids(text, merge_sentences=False),同样取 phone_ids;
  • 其他语言:报错 lang should in {'zh', 'en'}!。

4.3 两种 AM 的流式推理分支

分支一:fastspeech2_csmsc_onnx(AM 整体推理 + 流式 Voc)

  1. 一次性对整句 phone_ids 运行 am_sess,得到完整 mel 谱;
  2. 用 get_chunks(mel, voc_block, voc_pad, "voc") 将 mel 切成多个 voc chunk;
  3. 逐个 chunk 运行 voc_sess(输入键为 logmel),经 depadding 裁剪后 yield 输出。

分支二:fastspeech2_cnndecoder_csmsc_onnx(AM、Voc 双重流式)

  1. 先由 am_encoder_infer_sess 得到隐层特征 orig_hs(形状 [1, mel_len, dim]);
  2. 计算 voc_chunk_num = ceil(mel_len / voc_block),初始化 start=0、end=min(voc_block + voc_pad, mel_len);
  3. 用 get_chunks(orig_hs, am_block, am_pad, "am") 切分隐层,逐块运行 am_decoder_sess 与 am_postnet_sess(postnet 输入需先转置为 (0, 2, 1)),将两者输出相加得到 mel,经 denorm(normalized_mel, am_mu, am_std) 反归一化后再 depadding;
  4. 将各 AM 子块 mel 拼接进 mel_streaming,一旦其帧数达到当前 voc 窗口(mel_streaming.shape[0] >= end),立即对该窗口 mel_streaming[start:end, :] 运行 voc_sess 并 yield 音频;
  5. 更新窗口:start = max(0, voc_chunk_id * voc_block - voc_pad),end = min((voc_chunk_id + 1) * voc_block + voc_pad, mel_len),直到所有 voc chunk 产出完毕。

这种“AM 边推理、Voc 攒够一窗就合成”的流水线设计,正是流式 TTS 能大幅降低首包响应时间的原因。代码注释中写道:当流式 AM 推理的 mel 帧数大于流式 voc 推理的 chunk size 时,开始进行流式 voc 推理(tts_engine.py)。

4.4 性能指标统计

引擎在推理过程中记录了多个关键时间点(均为秒):

  • frontend_time:前端处理耗时(frontend_et - frontend_st);
  • first_am_infer:首个 AM 推理完成耗时;
  • first_voc_infer:首个 Voc 推理完成耗时;
  • first_response_time:首包响应时间(first_voc_et - frontend_st);
  • final_response_time:整句处理总耗时(time.time() - frontend_st)。

run() 在合成结束后按 sample_rate 计算音频时长 duration,并输出 RTF = final_response_time / duration(RTF 小于 1 表示合成速度快于实时播放),随后日志打印句子文本、音频时长、首包/尾包响应时间与 RTF。

4.5 后处理:float → PCM → base64

run() 对 infer() 产出的每个 float32 音频片段依次执行:

wav = float2pcm(wav)                          # float32 -> int16 PCM
wav_bytes = wav.tobytes()                     # 转字节流
wav_base64 = base64.b64encode(wav_bytes).decode('utf8')
yield wav_base64                              # 逐块返回 base64 片段

其中 float2pcm 定义于 audio_process.py:将 [-1, 1] 范围的浮点信号缩放裁剪为 int16 整型。同时 run() 内部维护 wav_list 累积全部片段,便于最后 np.concatenate 计算总时长。

五、ONNX Runtime 会话配置:get_sess 深度解读

所有 ONNX 会话都由 utils/onnx_infer.py 中的 get_sess(model_path, sess_conf) 创建,其行为直接影响推理速度:

  • 图优化级别:默认 ORT_ENABLE_ALL(全部启用);仅当 sess_conf['graph_optimization_level'] == 0 时降级为 ORT_DISABLE_ALL。注意判断逻辑是“等于 0 才禁用”,未配置该键(默认为 99)则保持全量优化。
  • 执行模式:固定为 ORT_SEQUENTIAL(顺序执行)。
  • 执行提供方(providers):默认 ['CPUExecutionProvider'];当 sess_conf['device'] 包含 "gpu" 时,解析 gpu:id 得到 device_id,改用 [('CUDAExecutionProvider', {'device_id': device_id})]。
  • TensorRT 限制:若 sess_conf['use_trt'] 为真,则直接使用 ['TensorrtExecutionProvider']。源码注释明确说明:fastspeech2 / mb_melgan 当前不能使用 TensorRT,因此启用 TRT 前需要确认模型兼容性。
  • 线程数:优先取 cpu_threads,否则取 intra_op_num_threads 设置算子内线程数;inter_op_num_threads 设置算子间线程数。

六、服务端配置:tts_online_application.yaml 全参数说明

tts_online-onnx 引擎的完整配置示例位于 paddlespeech/server/conf/tts_online_application.yaml,顶层为服务设置:

host: 0.0.0.0
port: 8092
protocol: 'http'          # 可选 'websocket'
engine_list: ['tts_online-onnx']

引擎段 tts_online-onnx 的关键参数如下:

参数 含义与取值
am 声学模型,可选 fastspeech2_csmsc_onnx、fastspeech2_cnndecoder_csmsc_onnx(后者支持流式 AM 推理)
am_ckpt 列表;fastspeech2_cnndecoder_csmsc_onnx 时依次为 [encoder, decoder, postnet] 三个模型;fastspeech2_csmsc_onnx 时仅一个模型
am_stat 均值方差文件,cnndecoder 分支必需(用于 denorm)
phones_dict / tones_dict / speaker_dict 音素、声调、说话人字典;tones_dict 在本引擎中默认置空
spk_id 说话人 id,默认 0(当前仅支持单说话人模型,该参数实际不生效)
am_sample_rate / voc_sample_rate 采样率,默认 24000,二者必须相等(引擎内有 assert 校验)
am_sess_conf / voc_sess_conf ONNX 会话配置:device(cpu 或 gpu:id)、use_trt、cpu_threads,默认均为 cpu + 4 线程
voc 声码器,可选 mb_melgan_csmsc_onnx、hifigan_csmsc_onnx,均支持流式推理
lang zh 或 en
am_block / am_pad 仅对 fastspeech2_cnndecoder 生效的流式 AM 切块参数;am_pad=12 时流式合成音频与非流式一致
voc_block / voc_pad 流式 Voc 切块参数;voc_pad 影响音频质量(详见下文)
voc_upsample 默认 300,必须与 vocoder 配置中的 n_shift 一致

6.1 block 与 pad 的取值经验(来自官方配置注释)

  • AM 侧:am_block=72,am_pad=12。am_pad 用于消除流式推理产生的误差;当 am_pad=12 时,流式合成音频与非流式合成音频一致。fastspeech2_csmsc 不支持流式 AM 推理,因此 am_block/am_pad 对它无效。
  • Voc 侧:voc_block=36。
    • mb_melgan_csmsc:voc_pad=14 时流式与非流式一致;最小可设 7,听感正常;小于 7 听感异常。
    • hifigan_csmsc:voc_pad=19 时流式与非流式一致;voc_pad=14 时听感正常。
  • 速度与音质权衡:官方文档给出结论——推理速度 mb_melgan > hifigan,音频质量 mb_melgan < hifigan。

七、服务启动与客户端调用实战

完整的启动与调用流程记录在 demos/streaming_tts_server/README_cn.md,该 demo 支持 http 与 websocket 两种协议。

7.1 启动服务端

命令行方式(推荐):

paddlespeech_server start --config_file ./conf/tts_online_application.yaml

其中 --config_file 默认即 ./conf/tts_online_application.yaml,--log_file 默认 ./log/paddlespeech.log。若使用 websocket 协议,需先将配置文件中 protocol 改为 websocket。启动成功后日志会打印三次 warm-up 的首包响应时间,随后输出 Uvicorn running on http://0.0.0.0:8092。

Python API 方式:

from paddlespeech.server.bin.paddlespeech_server import ServerExecutor

server_executor = ServerExecutor()
server_executor(
    config_file="./conf/tts_online_application.yaml",
    log_file="./log/paddlespeech.log")

7.2 调用客户端

命令行(http 协议):

paddlespeech_client tts_online --server_ip 127.0.0.1 --port 8092 --protocol http --input "您好,欢迎使用百度飞桨语音合成服务。" --output output.wav

客户端参数一览:

  • server_ip:服务端 IP,默认 127.0.0.1(容器场景下若访问不到,可把配置中 host 改为本机 IP);
  • port:服务端口,默认 8092;
  • protocol:http 或 websocket,默认 http;
  • input:必填,待合成文本;
  • spk_id:说话人 id,默认 0;
  • output:音频保存路径,默认 None 不保存;
  • play:是否边合成边播放,默认 False;播放依赖 pyaudio 库。

websocket 协议仅需把 --protocol websocket 传入,其余参数不变。客户端日志会输出句子文本、首包响应、尾包响应、音频时长与 RTF,例如:

句子:您好,欢迎使用百度飞桨语音合成服务。
首包响应:0.18863153457641602 s
尾包响应:3.1427218914031982 s
音频时长:3.825 s
RTF: 0.8216266382753459

Python API 客户端:

from paddlespeech.server.bin.paddlespeech_client import TTSOnlineClientExecutor

executor = TTSOnlineClientExecutor()
executor(
    input="您好,欢迎使用百度飞桨语音合成服务。",
    server_ip="127.0.0.1",
    port=8092,
    protocol="http",
    spk_id=0,
    output="./output.wav",
    play=False)

7.3 功能边界说明

按官方文档说明,流式 TTS 当前仅支持单说话人模型(spk_id 不生效),且不支持更换采样率、变速、变音量等功能;流式场景下可参考 utils/util.py 中的 count_engine 工具,通过解析服务日志中的 first response time、final response time 与 duration 字段统计平均首包/尾包响应时间与 RTF。

八、总结:一条从配置到音频输出的完整链路

回顾 online-onnx 引擎的整个生命周期:paddlespeech_server 读取 tts_online_application.yaml 中的 tts_online-onnx 配置段 → 由单例 TTSEngine.init() 校验模型组合、采样率与设备,并调用 TTSServerExecutor._init_from_path() 加载 AM/Voc ONNX 会话与前端 → 每次请求由 PaddleTTSConnectionHandler 承接,前端将文本转为音素 id,AM 按 am_block/am_pad 分块流式产出 mel,Voc 按 voc_block/voc_pad 分块流式合成波形,depadding 去除重叠填充后经 float2pcm 与 base64 编码逐块返回 → 客户端按协议(http/websocket)接收音频片段并保存为 wav。

对希望进一步阅读源码的读者,建议从 paddlespeech/server/engine/tts/online/onnx/tts_engine.py 入手,配合 paddlespeech/server/utils/onnx_infer.py(会话配置)、paddlespeech/server/utils/util.py(分块与统计工具)以及 paddlespeech/server/conf/tts_online_application.yaml(完整参数)三份文件对照阅读,即可完整掌握该引擎的设计与实现细节。

登录后查看全文
PaddleSpeech