GPT-SoVITS项目中文本规范化处理导致的字符丢失问题分析

在GPT-SoVITS语音合成项目的文本预处理过程中，开发人员发现了一个关于中文文本规范化处理的潜在问题。该问题表现为某些中文字符在经过text_normalize处理后出现丢失现象，影响最终的语音合成质量。

问题现象

当输入文本为"一 生 人"时，经过GPT-SoVITS/text/cleaner.py中的norm_text处理函数后，部分字符被意外过滤掉。具体来说，norm_text函数调用了language_module.text_normalize(text)进行处理，结果导致输出不完整。

问题根源分析

通过深入排查，发现问题主要来源于两个层面：

1. 正则表达式过滤过于严格
   在GPT-SoVITS/text/chinese.py文件中，存在一个关键的正则表达式：

   replaced_text = re.sub(
       r"[^\u4e00-\u9fa5" + "".join(punctuation) + r"]+", "", replaced_text
   )
   

   该正则表达式意图保留所有中文字符（Unicode范围\u4e00-\u9fa5）和标点符号，但实际执行时却过滤掉了部分看似正常的中文字符。

2. 字符编码问题
   进一步分析发现，输入文本可能存在编码问题。某些字符虽然视觉上显示为中文字符，但实际上是以ISO-8859-1或Windows-1252等编码格式存储的，导致这些字符无法被正则表达式正确识别为中文字符。

技术细节

当尝试注释掉上述正则表达式时，系统会抛出AssertionError，提示"assert c in punctuation"错误。这表明：

1. 某些字符未被正确分类为中文字符或标点符号
2. 后续的拼音转换(g2p)处理也因此受到影响，导致"一"字未被转换为拼音

解决方案建议

针对这一问题，建议采取以下改进措施：

1. 加强输入文本编码检测
   在处理前先统一将文本转换为UTF-8编码，确保所有字符都能被正确识别。

2. 优化正则表达式
   可以扩展中文字符的识别范围，或先进行编码规范化处理再执行过滤。

3. 添加预处理步骤
   在文本规范化前增加字符编码检查和转换环节，确保输入文本的一致性。

总结

文本预处理是语音合成系统中的关键环节，字符丢失问题会直接影响合成语音的质量和准确性。通过分析GPT-SoVITS项目中的这一案例，我们可以看到编码问题和字符集定义不完整可能导致的严重后果。在实际开发中，应当特别注意文本输入的编码一致性，并在设计字符过滤规则时考虑更全面的字符集覆盖。