ChatTTS流式音频输出噪音问题分析与解决方案

问题背景

ChatTTS是一个开源的文本转语音项目，在流式音频输出功能中，部分用户反馈存在噪音问题。这个问题主要表现为在流式播放过程中出现异常噪声，影响语音质量。经过社区开发者们的深入分析和测试，最终找到了问题的根源并提供了有效的解决方案。

问题现象

在流式音频输出场景下，用户观察到以下现象：

1. 音频波形图中出现异常波动，表现为不规则的噪声
2. 噪声通常出现在句子开头、结尾或断句处
3. 噪声对应的RMS(均方根)值显示为NaN(非数字)
4. 部分情况下会输出异常维度的音频数据(如256维而非正常的12032维)

问题分析

经过开发者们的深入排查，发现噪音问题主要由以下几个因素导致：

1. WAV格式头重复问题：在流式传输中，每个音频块都包含完整的WAV格式头信息，导致播放器解析异常
2. 数据类型溢出：在计算RMS时，int16类型数据平方后可能溢出变为负数
3. 音频块拼接问题：不同音频块之间的拼接处理不当，导致波形不连续
4. 异常维度输出：模型偶尔会输出异常维度的音频数据(256维)

解决方案

针对上述问题，开发者们提出了多种解决方案：

1. 使用RAW(PCM)格式替代WAV

原始方案中使用的WAV格式会在每个音频块前添加格式头，导致播放器解析异常。改用RAW(PCM)格式可以避免这个问题，因为PCM格式不包含额外的头信息。

2. 优化数据类型处理

在计算RMS等音频指标时，将int16类型转换为float32类型进行计算，避免数据溢出问题：

# 优化后的RMS计算
def calculate_rms(data):
    data = np.nan_to_num(data, nan=0.0, posinf=0.0, neginf=0.0)
    if len(data) == 0:
        return np.nan
    return np.sqrt(np.mean(np.square(data.astype(np.float32))))

3. 音频块过滤与拼接优化

增加对异常音频块的检测和过滤机制，确保只有正常维度的音频数据被处理：

if stream_wav[curr_sentence_index][0].shape[0] > 257:
    self.streamer.write(stream_wav[curr_sentence_index][0])

4. 流式传输协议优化

优化流式传输协议，确保：

• 首包包含完整的格式头信息
• 后续包只包含音频数据体
• 避免重复的格式头导致解析问题

实现效果

经过上述优化后，流式音频输出的质量得到显著提升：

1. 噪声问题基本消除
2. 音频波形连续平滑
3. 播放流畅度提高
4. 资源占用更合理

最佳实践建议

对于使用ChatTTS流式音频功能的开发者，建议：

1. 使用最新版本的代码库，确保包含所有修复
2. 优先选择PCM格式进行流式传输
3. 实现适当的音频块检测和过滤机制
4. 在关键位置添加异常处理逻辑
5. 对音频数据进行适当的后处理(如滤波)

总结

ChatTTS流式音频输出噪音问题的解决过程展示了开源社区协作的力量。通过分析问题现象、定位根本原因并实施针对性解决方案，最终实现了高质量的流式语音输出。这一案例也为其他类似音频处理项目提供了有价值的参考。