Sensitive-Word项目中的中文数字敏感词过滤问题解析

问题背景

在敏感词过滤系统中，数字的多种表达方式一直是一个技术难点。特别是在中文环境下，数字不仅有阿拉伯数字（如1、2、3），还有中文数字（如一、二、三）以及各种变体（如①、②、③等）。Sensitive-Word项目作为一个开源的敏感词过滤工具，在处理包含中文数字的敏感词时遇到了匹配问题。

问题现象

用户报告了一个具体案例：当添加"下三滥"作为敏感词后，系统无法在文本"花豹用下三滥招式对付疣猪，没想到疣猪居然也有绝招"中正确识别出这个敏感词。经过分析，这暴露了系统在处理中文数字敏感词时的设计缺陷。

技术原理分析

Sensitive-Word项目默认启用了数字样式忽略功能（ignoreNumStyle=true），这一设计初衷是为了解决数字变体的识别问题。系统会将各种数字表达统一转换为标准阿拉伯数字进行匹配。例如：

• "9⓿二肆⁹₈③⑸⒋➃㈤㊄"会被统一识别为"90249835445"
• "下三滥"中的"三"会被转换为"3"

这种转换机制在大多数情况下是有效的，但当用户动态添加包含中文数字的敏感词时，系统没有对新增的敏感词进行同样的数字标准化处理，导致词库中的"下三滥"和转换后的"下3滥"无法匹配。

解决方案

项目维护者在v0.22.0版本中修复了这个问题，主要改进包括：

1. 统一格式化处理：对所有黑名单词（包括动态添加的）都进行统一的数字格式化处理
2. 双向兼容：系统现在可以同时识别"下三滥"和"下3滥"两种形式
3. 一致性保证：删除操作也会同时处理所有数字变体形式

技术实现细节

修复后的系统工作流程如下：

1. 敏感词添加阶段：

   • 将原始格式的敏感词存入词库
   • 对包含中文数字的敏感词生成对应的阿拉伯数字变体并存入词库

2. 文本检测阶段：

   • 对输入文本进行数字标准化处理
   • 使用标准化后的文本与词库中的标准化敏感词进行匹配

3. 敏感词删除阶段：

   • 同时删除词库中该敏感词的所有数字变体形式

最佳实践建议

对于使用Sensitive-Word项目的开发者，在处理包含数字的敏感词时，建议：

1. 明确设置ignoreNumStyle参数，根据实际需求决定是否启用数字样式忽略
2. 对于包含中文数字的敏感词，可以同时添加阿拉伯数字版本以确保全面覆盖
3. 定期测试系统对各种数字变体的识别能力
4. 关注项目更新，及时获取类似问题的修复

总结

中文数字的敏感词过滤是一个具有挑战性的问题，需要系统在保持高效的同时处理各种数字表达形式。Sensitive-Word项目通过统一的格式化处理机制，解决了动态添加中文数字敏感词的识别问题，为开发者提供了一个更加健壮的敏感词过滤解决方案。这个案例也提醒我们，在设计文本处理系统时，需要特别注意各种文字变体的处理逻辑。