Sherpa-onnx TTS在Unity中的短文本语音合成问题分析与解决方案

背景介绍

Sherpa-onnx是一个开源的语音处理工具包，提供了高效的语音识别和语音合成功能。在Unity游戏开发中，开发者经常需要集成TTS(文本转语音)功能来实现游戏内语音播报、NPC对话等功能。然而，在使用Sherpa-onnx的TTS功能时，开发者可能会遇到短文本语音合成出现"幻觉"(hallucination)的问题，即在生成的音频末尾添加了无意义的杂音或额外内容。

问题现象

开发者在使用Sherpa-onnx的Unity集成时报告了两个典型问题：

1. 法语短句合成问题：当输入短文本如"bonjour monsieur"时，生成的音频末尾会附加无意义的内容
2. 英语短句合成问题：连续生成"hello sir"后生成"hello"时，有时会附加"sir"或"si"等残留内容

相比之下，长文本的合成效果则表现正常。这种短文本合成异常现象严重影响了用户体验，特别是在需要频繁播放短语音提示的场景中。

问题分析

经过深入的技术调查，发现问题根源在于C#与原生代码交互时的字符串处理方式。在Sherpa-onnx的Unity集成中，C#层调用原生TTS功能时，字符串传递存在以下关键点：

1. 字符串编码转换：C#字符串需要转换为UTF-8字节数组传递给原生代码
2. 空终止符缺失：原生C/C++代码期望字符串以空字符('\0')结尾，而C#默认转换不包含此终止符
3. 缓冲区管理：音频数据缓冲区在多次调用间需要完全清除，避免残留数据污染

解决方案

针对上述问题，开发者提出了有效的解决方案：

1. 字符串处理改进：在将C#字符串传递给原生代码前，手动添加空终止符

public OfflineTtsGeneratedAudio Generate(String text, float speed, int speakerId)
{
    byte[] utf8Bytes = Encoding.UTF8.GetBytes(text);
    byte[] utf8BytesWithNull = new byte[utf8Bytes.Length + 1]; // +1 for null terminator
    Array.Copy(utf8Bytes, utf8BytesWithNull, utf8Bytes.Length);
    utf8BytesWithNull[utf8Bytes.Length] = 0; // Null terminator

    IntPtr p = SherpaOnnxOfflineTtsGenerate(_handle.Handle, utf8BytesWithNull, speakerId, speed);
    return new OfflineTtsGeneratedAudio(p);
}

2. 音频流处理优化：对于连续语音合成场景，确保每次生成前完全清空音频缓冲区

3. 模型选择建议：避免使用名称中包含"mls"的模型文件，这些模型可能存在已知问题

实现建议

在Unity中集成Sherpa-onnx TTS功能时，开发者应注意以下最佳实践：

1. 字符串处理规范化：始终确保传递给原生代码的字符串包含空终止符
2. 资源管理：及时释放原生资源，避免内存泄漏
3. 错误处理：添加充分的错误检查和日志记录，便于问题排查
4. 性能优化：对于长文本，考虑分句处理以提高响应速度
5. 多线程安全：确保音频生成和播放的线程安全性

总结

Sherpa-onnx提供了强大的跨平台TTS能力，但在Unity集成时需要特别注意字符串处理和资源管理的细节。通过添加空终止符和优化缓冲区管理，可以有效解决短文本合成时的"幻觉"问题。这些经验不仅适用于Sherpa-onnx，对于其他需要在Unity中调用原生代码的语音处理库集成也具有参考价值。

随着语音交互在游戏和应用程序中的普及，正确处理TTS集成的技术细节将帮助开发者创造更自然、更流畅的语音用户体验。