LiveKit Agents项目中Cartesia TTS音频爆裂声问题分析与解决方案

问题背景

在LiveKit Agents项目的实际应用中，开发人员报告了一个关于Cartesia TTS（文本转语音）服务的音频质量问题。具体表现为在使用Cartesia TTS时会出现随机的爆裂声（crackling sound），而其他TTS服务如ElevenLabs和OpenAI TTS则没有这个问题。

问题现象

爆裂声问题具有以下特征：

1. 音频中出现不规则的爆裂噪声，幅度较大
2. 问题并非每次语音输出都会出现，而是随机发生
3. 在开发模式（development mode）下比生产模式（production mode）更频繁
4. 在本地开发环境较少出现，但在Docker生产容器中较为常见

技术分析

经过深入调查，开发团队发现问题的根源在于音频重采样环节。具体技术细节如下：

1. 采样率差异：Cartesia TTS默认输出24kHz采样率的音频，而OpenAI TTS输出48kHz采样率
2. FallbackAdapter行为：当使用TTS FallbackAdapter时，适配器会自动将所有TTS输出重采样到最高采样率（48kHz）
3. 重采样缺陷：在从24kHz重采样到48kHz的过程中，rtc.AudioResampler组件存在缺陷，导致产生了爆裂声

解决方案

针对这一问题，开发团队提供了两种解决方案：

临时解决方案

在FallbackAdapter中显式指定采样率为24kHz，强制所有TTS输出使用Cartesia的采样率：

tts=tts.FallbackAdapter(
    tts=[
        cartesia.TTS(model="sonic-2", voice="..."),
        openai.TTS(model="gpt-4o-mini-tts", voice="ash"),
    ],
    sample_rate=24000,  # 显式设置采样率
)

永久解决方案

开发团队在底层修复了音频重采样器的缺陷，该修复已包含在livekit-agents 1.0.13版本中。用户只需升级SDK即可：

pip install --upgrade livekit-agents==1.0.13

最佳实践建议

1. 对于多TTS服务混合使用的场景，建议统一采样率设置
2. 生产环境中推荐使用最新版本的SDK
3. 音频处理组件升级后应进行全面测试
4. 对于关键业务场景，建议在开发阶段进行充分的音频质量测试

总结

音频处理是实时通信系统中的关键环节，采样率转换等基础操作需要特别关注。LiveKit团队快速响应并解决了这一问题，体现了项目对音频质量的重视。开发者在使用TTS服务时，应当注意不同服务间的技术参数差异，并遵循最佳实践以确保最佳用户体验。