PaddleSpeech 流式 TTS 服务引擎深度解析:`tts_engine` 模块的在线语音合成原理与实践
PaddleSpeech 流式 TTS 服务引擎深度解析:tts_engine 模块的在线语音合成原理与实践
导读
本文围绕 PaddleSpeech 服务端流式语音合成(Streaming TTS)的核心模块 —— paddlespeech/server/engine/tts/online/python/tts_engine.py 展开,系统讲解在线 TTS 引擎的三大核心类(TTSServerExecutor、TTSEngine、PaddleTTSConnectionHandler)的职责与实现,并结合 tts_online_application.yaml 配置文件给出可落地的部署参数说明。读完本文,你将掌握 PaddleSpeech 流式 TTS 服务的模型加载链路、分块推理与去 padding(depadding)原理、am_block/am_pad/voc_block/voc_pad 的调参方法,以及如何通过 RESTful 接口把流式合成能力接入自己的应用。
一、模块定位:服务端在线 TTS 引擎
PaddleSpeech 服务端(paddlespeech/server)按"任务 × 引擎类型"组织引擎实现。在 engine_factory.py 中可以看到,tts 任务存在四种引擎类型:python、inference(Paddle Inference)、online 与 online-onnx。本文所讲的模块正是 tts + online 对应的 Python 实现(paddle 动态图版本),由 EngineFactory.get_engine('tts', 'online') 实例化为 TTSEngine。
与离线 TTS(整句推理后一次性返回)不同,online 引擎采用"分块推理 + 边推理边返回"的策略:
- 声学模型(AM)支持两种模式:
fastspeech2_csmsc(整句出 mel,仅在声码器侧流式)与fastspeech2_cnndecoder_csmsc(AM 与声码器两侧均流式); - 声码器(Vocoder)
mb_melgan_csmsc与hifigan_csmsc均支持流式推理。
模块导出 __all__ = ['TTSEngine', 'PaddleTTSConnectionHandler'],三者分工如下:
| 类 | 职责 |
|---|---|
TTSServerExecutor(TTSExecutor) |
继承 CLI 的 TTSExecutor,负责 AM / Voc 模型、前端(Frontend)、词表与统计量文件的加载 |
TTSEngine(BaseEngine) |
单例引擎,读取并校验配置、设置设备、初始化 executor,暴露 am_block 等流式参数 |
PaddleTTSConnectionHandler |
每次请求的处理器,执行文本前端、流式 AM / Voc 推理、去 padding、base64 编码并逐块 yield |
TTSEngine 继承自 base_engine.py 中的 BaseEngine(使用 Singleton 元类),因此整个服务进程内同一任务只会存在一个引擎实例,多个请求共享同一套已加载模型,并通过 PaddleTTSConnectionHandler 隔离各自的推理状态。
二、TTSServerExecutor:模型与资源加载
2.1 资源管理与任务标识
构造函数中通过 CommonTaskResource(task='tts', model_format='dynamic', inference_mode='online') 声明这是一个动态图、在线推理模式的 TTS 任务,后续所有模型资源(config、ckpt、stat、词表)的获取、下载与本地路径解析都委托给该资源管理器:
class TTSServerExecutor(TTSExecutor):
def __init__(self):
super().__init__()
self.task_resource = CommonTaskResource(
task='tts', model_format='dynamic', inference_mode='online')
2.2 get_model_info:按字段加载 AM 或 Voc
get_model_info(field, model_name, ckpt, stat) 按 field("am" 或 "voc")分别构造模型:
- AM 分支:读取声学模型配置中的
n_mels作为输出维度odim,以词表大小idim构造模型,并从 ckpt 的main_params恢复权重; - Voc 分支:以
generator_params构造声码器生成器,从 ckpt 的generator_params恢复权重,并调用model.remove_weight_norm()移除权重归一化(PaddleGAN 系声码器推理前必需); - 统计量:
np.load(stat)加载均值与标准差,转为 paddle Tensor,返回(model, model_mu, model_std)。
if field == "am":
odim = self.am_config.n_mels
model = model_class(idim=self.vocab_size, odim=odim, **self.am_config["model"])
model.set_state_dict(paddle.load(ckpt)["main_params"])
elif field == "voc":
model = model_class(**self.voc_config["generator_params"])
model.set_state_dict(paddle.load(ckpt)["generator_params"])
model.remove_weight_norm()
2.3 _init_from_path:完整初始化流程
_init_from_path 是引擎初始化的核心,关键决策逻辑为"是否使用预训练模型":
- 若
am_ckpt / am_config / am_stat / phones_dict任一为空,则use_pretrained_am = True,此时模型标签为am + '-' + lang(如fastspeech2_csmsc-zh),由资源管理器自动下载到本地,并从资源字典中解析出config / ckpt / speech_stats / phones_dict四个文件路径; - 否则使用用户显式指定的本地路径(
os.path.abspath归一化)。
Voc 侧逻辑完全对称,模型标签为 voc + '-' + lang。随后:
- 用
CfgNode(yaml.safe_load(f))加载 AM 与 Voc 的 YAML 配置; - 从
phones_dict读取音素词表,self.vocab_size = len(phn_id); - 按语言初始化前端:
zh使用Frontend(zh_frontend),en使用English(en_frontend); - 构造 AM 推理器:
fastspeech2_cnndecoder直接加载fastspeech2模型;其余模型用ZScore(am_mu, am_std)归一化器包装成*_inference类,并eval(); - 构造 Voc 推理器:同样以
ZScore+*_inference包装并eval()。
am_name = am[:am.rindex('_')] # 如 fastspeech2_csmsc -> fastspeech2
voc_name = voc[:voc.rindex('_')] # 如 mb_melgan_csmsc -> mb_melgan
注意这里的命名规约:传入的模型名形如 fastspeech2_csmsc,通过截取第一个 _ 之前的字符串得到真正的模型类名,再拼接 _inference 查找推理包装类——理解这一点有助于排查"模型类找不到"类错误。
三、TTSEngine:引擎初始化与配置校验
TTSEngine.init(config) 是引擎的入口,完成以下工作:
3.1 配置合法性断言
assert (config.am == "fastspeech2_csmsc" or
config.am == "fastspeech2_cnndecoder_csmsc") and (
config.voc == "hifigan_csmsc" or config.voc == "mb_melgan_csmsc"
), 'Please check config, am support: fastspeech2, voc support: hifigan_csmsc-zh or mb_melgan_csmsc.'
assert (config.voc_block > 0 and config.voc_pad > 0
), "Please set correct voc_block and voc_pad, they should be more than 0."
即 AM 仅支持 fastspeech2_csmsc / fastspeech2_cnndecoder_csmsc,Voc 仅支持 hifigan_csmsc / mb_melgan_csmsc,且 voc_block、voc_pad 必须大于 0。若配置不合法,初始化会直接失败,这是部署时最常见的报错来源。
3.2 设备设置与模型加载
device 优先取配置值,缺省时回退到 paddle.get_device(),随后调用 executor._init_from_path(...),将配置中的 am / am_config / am_ckpt / am_stat / phones_dict / tones_dict / speaker_dict / voc / voc_config / voc_ckpt / voc_stat / lang 全部透传给 executor。任一步失败都会打印 "Initialize TTS server engine Failed on device" 并返回 False。
3.3 采样率一致性校验与流式参数
assert (self.executor.am_config.fs == self.executor.voc_config.fs
), "The sample rate of AM and Vocoder model are different, please check model."
self.sample_rate = self.executor.am_config.fs
self.am_block = self.config.am_block
self.am_pad = self.config.am_pad
self.voc_block = self.config.voc_block
self.voc_pad = self.config.voc_pad
self.am_upsample = 1
self.voc_upsample = self.executor.voc_config.n_shift
- AM 与 Voc 的采样率(
fs)必须一致,sample_rate以 AM 配置为准; am_upsample固定为 1(AM 侧无上采样),voc_upsample取声码器配置的n_shift(帧移,如 300),这两个参数将用于后续 depadding 时的长度换算(mel 帧 → 采样点)。
四、PaddleTTSConnectionHandler:流式推理核心
该类负责处理每一个 TTS 请求,其构造器从引擎上复制 am_block / am_pad / voc_block / voc_pad / am_upsample / voc_upsample,保证并发请求互不干扰。
4.1 depadding:去除 padding 推理带来的冗余
分块推理时,每块都会向两侧扩展 pad 帧,因此需要按块位置裁剪掉重叠区域。depadding 的规则(以 mel 帧计,upsample 换算为采样点数):
front_pad = min(chunk_id * block, pad)
# 首块:只保留 block 长度
if chunk_id == 0:
data = data[:block * upsample]
# 末块:去掉前向 padding
elif chunk_id == chunk_num - 1:
data = data[front_pad * upsample:]
# 中间块:去掉前向 padding,只保留 block 长度
else:
data = data[front_pad * upsample:(front_pad + block) * upsample]
其几何含义:第 i 块实际包含 [i*block - pad, (i+1)*block + pad](首尾截断),有效输出只取中间 [i*block, (i+1)*block] 一段;首块的左侧 pad 不存在所以取 [0, block],末块的右侧 pad 不存在所以直接截到末尾。
4.2 分块工具 get_chunks
paddlespeech/server/utils/util.py 中的 get_chunks(data, block_size, pad_size, step) 负责把整段 mel / hidden state 切成带重叠的块:
n = math.ceil(data_len / block_size)
for i in range(n):
start = max(0, i * block_size - pad_size)
end = min((i + 1) * block_size + pad_size, data_len)
step 参数决定按哪个维度切:"am" 切 data[:, start:end, :](隐藏状态),"voc" 切 data[start:end, :](mel 帧)。block_size == -1 时返回整段(不切分)。
4.3 流式推理主循环 infer
infer 是一个被 @paddle.no_grad() 修饰的生成器,接受 text / lang / am / spk_id。流程分四段:
(1)文本前端:中文走 Frontend.get_input_ids(text, merge_sentences=False, get_tone_ids=False),得到 phone_ids(get_tone_ids=True 时还可取 tone_ids);英文走 English.get_input_ids。frontend_time 记录前端耗时。
(2)fastspeech2_csmsc 分支(Voc 侧流式):
mel = self.executor.am_inference(part_phone_ids) # AM 整句推理
mel_chunks = get_chunks(mel, self.voc_block, self.voc_pad, "voc")
for i, mel_chunk in enumerate(mel_chunks):
sub_wav = self.executor.voc_inference(mel_chunk)
sub_wav = self.depadding(sub_wav, voc_chunk_num, i,
self.voc_block, self.voc_pad, self.voc_upsample)
yield sub_wav
AM 一次出全句 mel,Voc 按 voc_block 分块推理并逐块 yield,实现"首包快、边合成边播放"。
(3)fastspeech2_cnndecoder_csmsc 分支(AM + Voc 双流式):
orig_hs = self.executor.am_inference.encoder_infer(part_phone_ids)
mel_len = orig_hs.shape[1]
voc_chunk_num = math.ceil(mel_len / self.voc_block)
hss = get_chunks(orig_hs, self.am_block, self.am_pad, "am")
for i, hs in enumerate(hss):
before_outs = self.executor.am_inference.decoder(hs)
after_outs = before_outs + self.executor.am_inference.postnet(
before_outs.transpose((0, 2, 1))).transpose((0, 2, 1))
normalized_mel = after_outs[0]
sub_mel = denorm(normalized_mel, self.executor.am_mu, self.executor.am_std)
sub_mel = self.depadding(sub_mel, am_chunk_num, i,
self.am_block, self.am_pad, self.am_upsample)
- Encoder 一次前向产出全部 hidden state
orig_hs;Decoder 按am_block分块推理,postnet残差叠加后经denorm(data * std + mean)反归一化得到 mel; - 子块 mel 通过
np.concatenate累积到mel_streaming,当累积帧数达到当前 voc 窗口end时触发一次 Voc 推理: - Voc 窗口用
start / end滑动:start = max(0, voc_chunk_id * voc_block - voc_pad),end = min((voc_chunk_id + 1) * voc_block + voc_pad, mel_len),保证相邻 Voc 块有voc_pad帧重叠。
这就是"流式 AM + 流式 Voc"的联动机制:AM 出多少 mel,Voc 就消费多少,从而将首包延迟降到最低。
(4)时延指标记录:first_am_infer(前端结束到首次 AM 推理)、first_voc_infer(首次 AM 到首次 Voc)、first_response_time(请求到首个音频包)、final_response_time(整句完成总耗时)。
4.4 run:后处理与返回
run(sentence, spk_id) 对 infer 产出的每个 float32 ndarray 块做后处理:
wav = float2pcm(wav) # float32 -> int16 PCM
wav_bytes = wav.tobytes() # 转 bytes
wav_base64 = base64.b64encode(wav_bytes).decode('utf8')
yield wav_base64
float2pcm(定义于 audio_process.py)将 [-1, 1] 的浮点信号缩放裁剪为 int16。整句结束后拼接所有 wav 计算音频时长,并输出日志:duration、first response time、final response time 与 RTF = final_response_time / duration。RTF(实时率)是衡量合成性能的关键指标,小于 1 表示合成速度快于实时播放速度。
五、配置文件全量解析与调参指南
服务端流式 TTS 的完整配置见 paddlespeech/server/conf/tts_online_application.yaml。
5.1 服务级配置
host: 0.0.0.0
port: 8092
protocol: 'http' # websocket 或 http
engine_list: ['tts_online-onnx'] # 任务格式: <speech task>_<engine type>
engine_list可选tts_online(本文所述的 Python 动态图引擎)或tts_online-onnx(ONNX Runtime 加速版,推理速度更快);protocol决定使用 restful 还是 ws 接口。
5.2 tts_online 引擎配置
tts_online:
am: 'fastspeech2_csmsc' # 或 fastspeech2_cnndecoder_csmsc(支持流式 AM)
am_config:
am_ckpt:
am_stat:
phones_dict:
tones_dict:
speaker_dict:
spk_id: 0
voc: 'mb_melgan_csmsc' # 或 hifigan_csmsc
voc_config:
voc_ckpt:
voc_stat:
lang: 'zh' # 或 en
device: 'cpu' # 或 'gpu:id'
am_block: 72 # 仅 fastspeech2_cnndecoder 系列用于流式 AM
am_pad: 12
voc_block: 36
voc_pad: 14
关键参数语义与配置文件中给出的经验值:
| 参数 | 作用 | 推荐值 / 说明 |
|---|---|---|
am / voc |
模型选择 | am 限 fastspeech2_csmsc、fastspeech2_cnndecoder_csmsc;voc 限 mb_melgan_csmsc、hifigan_csmsc |
am_config 等 6 项 |
模型文件路径 | 留空则自动下载官方预训练资源 |
am_block / am_pad |
流式 AM 分块大小 / 重叠帧 | 默认 72 / 12;am_pad=12 时流式合成音频与整句合成音频一致 |
voc_block / voc_pad |
流式 Voc 分块大小 / 重叠帧 | 默认 36 / 14;mb_melgan 取 voc_pad=14 与整句一致,最小 7 即可听感正常;hifigan 取 19 与整句一致、14 听感正常 |
lang |
前端语言 | zh(带声调前端)或 en |
device |
推理设备 | 'cpu' 或 'gpu:id' |
两个核心调参原则:
am_pad/voc_pad决定拼接音质与延迟的权衡:pad 越大,块间重叠越多、拼接处越自然(接近整句合成),但每块推理量增大、首包更慢;配置注释明确给出了"与整句一致"与"听感正常"两档取值;block决定流式粒度:block 越小,首包越快,但块数变多、重叠开销占比上升。
六、服务接入:RESTful 流式接口
在线引擎通过 tts_api.py 暴露 HTTP 接口。非流式 POST /paddlespeech/tts 与流式 POST /paddlespeech/tts/streaming 的引擎分派逻辑如下:
if tts_engine.engine_type == "online":
from paddlespeech.server.engine.tts.online.python.tts_engine import PaddleTTSConnectionHandler
elif tts_engine.engine_type == "online-onnx":
from paddlespeech.server.engine.tts.online.onnx.tts_engine import PaddleTTSConnectionHandler
流式端点直接把 connection_handler.run(sentence=text, spk_id=spk_id) 包进 FastAPI 的 StreamingResponse,即客户端每收到一个 chunk 就是一段 base64 编码的 PCM 音频(int16、单声道、采样率由 GET /paddlespeech/tts/streaming/samplerate 查询)。此外,TTSRequest 中 speed / volume / sample_rate / save_path 等参数在服务端有校验(如 speed 必须在 (0, 3]、sample_rate 只能取 0/8000/16000),sample_rate=0 表示保持模型原生采样率。
若走 WebSocket 通道,可参考 ws/tts_api.py 中对 PaddleTTSConnectionHandler 的同样调用方式。
七、总结:一条完整的流式合成链路
把前文串起来,PaddleSpeech 在线 TTS 的完整数据流为:
文本 → Frontend(phone_ids)
→ AM 推理(fastspeech2_csmsc 整句 / fastspeech2_cnndecoder 分块+denorm)
→ get_chunks 分块(am_block/am_pad 或 voc_block/voc_pad)
→ Voc 推理(mb_melgan / hifigan,流式)
→ depadding 裁剪重叠帧
→ float2pcm + base64 编码 → 逐块 yield
→ StreamingResponse / WebSocket 逐包下发
核心设计要点可归纳为三点:
- 双引擎选择:
fastspeech2_csmsc只做 Voc 侧流式,实现简单;fastspeech2_cnndecoder_csmsc通过 Encoder 一次前向 + Decoder 分块 + 滑动 Voc 窗口实现 AM/Voc 全链路流式,首包延迟更低,代价是需要同时调am_block/am_pad与voc_block/voc_pad两组参数; - 重叠-裁剪机制:
pad重叠解决分块边界不连续问题,depadding负责精确还原每块的有效区间,二者共同保证流式拼接音频与整句合成音频质量一致(按配置注释给出的 pad 取值); - 可观测性:引擎在 util.py 中提供
count_engine工具解析服务日志,统计first response / final response / duration / RTF等指标,便于上线后量化流式合成的实时性能。
如需在本地体验,可修改 tts_online_application.yaml 将 engine_list 改为 ['tts_online'] 后启动服务,并按上文参数表调整 am_block/am_pad/voc_block/voc_pad 以在"首包时延"与"拼接音质"之间找到适合自己业务的平衡点。