敏感词过滤库sensitive-word中的匹配优先级控制机制解析

敏感词过滤是内容安全领域的重要技术，而如何处理敏感词之间的包含关系（如"我的"和"我的世界"）是实际应用中常见的挑战。开源项目sensitive-word在v0.26.0版本中引入了匹配优先级控制机制，为开发者提供了灵活的匹配策略选择。

敏感词匹配的两种策略

在敏感词过滤场景中，当存在包含关系的敏感词时，通常有两种处理策略：

1. 最长匹配优先：优先匹配更长的敏感词，确保过滤的准确性
2. 快速失败：遇到第一个匹配的敏感词即返回，提高处理效率

sensitive-word通过wordFailFast配置项让开发者可以根据业务需求选择合适的策略。

配置与使用示例

以下是两种策略的具体实现方式：

// 最长匹配优先模式
SensitiveWordBs bs = SensitiveWordBs.newInstance()
        .wordFailFast(false)  // 设置为false启用最长匹配
        .wordDeny(() -> Arrays.asList("我的世界", "我的"))
        .init();

String text = "他的世界它的世界和她的世界都不是我的也不是我的世界";
List<String> textList = bs.findAll(text);
// 结果会包含"我的"和"我的世界"

// 快速失败模式
SensitiveWordBs bs2 = SensitiveWordBs.newInstance()
        .wordDeny(() -> Arrays.asList("我的世界", "我的"))
        .init();

List<String> textList2 = bs2.findAll(text);
// 结果只会包含两个"我的"

技术实现原理

在底层实现上，sensitive-word采用了Trie树（字典树）结构来存储敏感词。当wordFailFast设置为false时，算法会继续搜索可能存在的更长匹配；当设置为true（默认值）时，一旦发现某个节点标记为敏感词结尾（isEnd），就会立即返回结果。

实际应用建议

1. 内容审核场景：推荐使用最长匹配优先策略，确保不会遗漏更长的敏感词组合
2. 高性能场景：如实时聊天过滤，可考虑快速失败策略以提高吞吐量
3. 混合使用：某些业务可能需要组合使用两种策略，对不同类型的敏感词应用不同的匹配规则

sensitive-word的这一特性为开发者提供了更精细的敏感词控制能力，使得内容过滤可以更好地适应各种复杂的业务场景需求。