敏感词过滤库houbb/sensitive-word新增场景化标签功能解析

敏感词过滤作为内容安全的基础能力，在实际业务中常面临不同场景需要差异化处理的需求。近期houbb/sensitive-word项目在v0.24.0版本中引入了敏感词标签功能，为开发者提供了更精细化的控制手段。

功能背景

传统敏感词过滤通常采用全局匹配模式，当业务存在如下场景时会遇到挑战：

1. 用户昵称和评论内容需要不同级别的过滤标准
2. 不同国家/地区需要遵守不同的合规词库
3. 教育类产品和社交平台对敏感词的容忍度差异

技术实现

新版本通过标签系统实现了场景化过滤：

• 词库配置时支持为敏感词添加多个标签

敏感词: "示例词"
标签: ["昵称过滤","高危词"]

• 校验接口增加标签过滤参数

// 只校验带"昵称过滤"标签的词
List<String> result = SensitiveWordHelper.findAll(text, "昵称过滤"); 

• 核心算法升级为两阶段匹配：
  1. 先根据标签筛选候选敏感词集合
  2. 在缩小后的集合中执行Trie树匹配

应用场景示例

1. 多语言内容审核
   为不同语种配置对应标签，处理 multilingualContent 时指定语言标签即可自动匹配对应词库。

2. UGC分级管控
   用户生成内容按风险等级打标，评论区使用"comment"标签过滤，私信场景额外加载"private"标签的高风险词。

3. 动态规则切换
   在重大活动期间，通过临时标签快速启用特殊时期的审核规则，活动结束后移除标签即可恢复常态。

性能优化建议

虽然标签过滤会带来额外的筛选开销，但通过以下方式可保持高性能：

• 使用bitset存储标签组合
• 对高频标签建立倒排索引
• 采用懒加载方式初始化标签词库

该功能的引入使得敏感词系统具备了业务上下文感知能力，为复杂场景下的内容安全治理提供了更灵活的解决方案。开发者现在可以像使用CSS选择器一样精准控制过滤规则的应用范围。