Wenet项目中CharTokenizer处理非语言符号时的空格分割问题分析

问题背景

在语音识别和自然语言处理领域，wenet-e2e/wenet是一个知名的端到端语音识别工具包。其中的CharTokenizer是一个字符级别的分词器，用于将文本转换为字符序列。近期在使用该分词器时，发现了一个与空格分割和非语言符号处理相关的边界情况问题。

问题现象

当CharTokenizer配置了split_with_space=True参数时，如果处理的文本中包含非语言符号(non_lang_syms)，且这些符号前后有空格时，分词结果会出现意料之外的空字符。例如：

输入文本："你 好 问 问 <NIHAO_WENWEN>"（字符间用空格分隔，<NIHAO_WENWEN>为非语言符号）

期望输出：['你', '好', '问', '问', '<NIHAO_WENWEN>']

实际输出：['你', '好', '问', '问', '', '<NIHAO_WENWEN>']（包含了一个意外的空字符）

技术分析

这个问题源于char_tokenizer.py文件中的处理逻辑。当启用split_with_space选项时，分词器会先将文本按空格分割，然后对每个部分进行处理。在处理非语言符号时，如果符号前后有空格，会导致分割后的列表中包含空字符串。

当前代码中使用的是parts = [w for w in parts if len(w.strip()) > 0]来过滤空字符串，这虽然移除了纯空格的项，但保留了前后有空格的token。更合理的做法应该是同时去除这些token的前后空格，即修改为parts = [w.strip() for w in parts if len(w.strip()) > 0]。

影响范围

这个修改主要影响以下场景：

1. 使用空格分割的文本处理
2. 包含非语言符号的文本
3. 非语言符号前后有空格的文本

对于不启用split_with_space的情况，或者不包含非语言符号的文本处理，此修改不会产生影响。

解决方案验证

经过测试验证，修改后的分词器：

1. 对于示例输入能正确输出期望结果
2. 对于不分割空格的情况表现正常
3. 对于纯英文文本（在不分割时）仍保持原有行为（不支持英文分词）

技术建议

对于使用wenet CharTokenizer的开发人员，建议：

1. 如果项目涉及非语言符号处理，应注意检查分词结果中是否包含意外空字符
2. 对于需要严格处理前后空格的场景，可以考虑应用此修改
3. 在升级版本时，注意测试相关边界情况

此问题的修复虽然简单，但对于确保文本处理的一致性和准确性具有重要意义，特别是在语音识别等对输入序列敏感的应用场景中。