HanLP中文分词器对特殊符号的处理问题分析

问题背景

在使用HanLP中文分词工具时，我们发现其对某些特殊符号的处理存在异常现象。具体表现为在分词过程中，某些特殊符号（如』）与后续汉字被错误地合并为一个词元。这一问题在批量处理文本时尤为明显，而单次处理时可能不会出现。

问题重现

通过测试发现，当文本中包含类似『』这样的特殊引号符号时，HanLP的FINE_ELECTRA_SMALL_ZH和COARSE_ELECTRA_SMALL_ZH模型会将符号与后续汉字错误合并。例如：

输入文本："左右捕盜廳以『邪學罪人安敦伊、吳伯多祿、閔유아욱가、黃錫斗、張周基，押付公忠水營，梟警』啓。"

错误分词结果："... '梟警', '』啓', '。'"

技术分析

1. 特殊符号处理机制

HanLP分词器内部维护了一个字符转换表(_table)，用于处理各种特殊符号。当遇到不在转换表中的特殊符号时，模型会将其视为未知字符，可能导致与后续字符的错误合并。

2. BERT分词器的影响

底层BERT tokenizer在处理某些特殊字符（如韩文）时，会将其拆分为多个subword，这进一步增加了分词错误的可能性。例如韩文"유아욱가"被错误地拆分为多个片段。

3. 批量处理的差异

批量分词与单次分词的结果可能存在差异，这是由于BERT的batch normalization机制导致的。批量处理时，模型对上下文的理解会有所不同，可能放大某些分词错误。

解决方案

临时解决方案

可以通过手动更新字符转换表来修正特定符号的处理：

import hanlp

tok = hanlp.load(hanlp.pretrained.tok.FINE_ELECTRA_SMALL_ZH)
tok.config.transform._table['『'] = '"'
tok.config.transform._table['』'] = '"'

长期建议

1. 对于包含大量特殊符号的文本，建议先进行符号标准化处理
2. 等待官方更新字符转换表，全面支持更多特殊符号
3. 对于韩文等非中文文本，建议先进行语言识别和分离处理

总结

HanLP作为优秀的中文处理工具，在常规中文文本上表现优异，但在处理某些特殊符号时仍存在改进空间。开发者可以通过了解其内部机制，采取适当的预处理或配置调整来规避这些问题。随着项目的持续更新，这些问题有望得到更好的解决。