敏感词过滤库sensitive-word实现多敏感词联合匹配的方法

在实际应用中，我们经常会遇到需要同时匹配多个敏感词才能触发过滤逻辑的场景。例如，系统要求文本必须同时包含"特定"和"内容"两个敏感词才需要进行处理，单独出现其中任意一个则不触发过滤。本文将详细介绍如何基于sensitive-word库实现这种多敏感词联合匹配的功能。

基本原理

sensitive-word库本身提供了基础的敏感词检测功能，可以返回文本中匹配到的所有敏感词。要实现多敏感词联合匹配，我们需要在获取匹配结果后，进行额外的逻辑判断。

实现步骤

1. 配置敏感词库

首先，我们需要将所有相关的敏感词都配置到词库中：

SensitiveWordBs sensitiveWordBs = SensitiveWordBs.newInstance()
        .wordDeny(new MyWordDeny()) // 添加自定义敏感词
        .init();

2. 执行敏感词检测

使用库提供的方法检测文本中的敏感词：

String text = "这是一段包含敏感词a和b的文本";
List<String> wordList = sensitiveWordBs.findAll(text);

3. 自定义联合匹配逻辑

在获取到匹配的敏感词列表后，我们可以实现自定义的联合匹配逻辑：

public boolean isMatchAllRequired(List<String> matchedWords, String... requiredWords) {
    Set<String> matchedSet = new HashSet<>(matchedWords);
    for (String required : requiredWords) {
        if (!matchedSet.contains(required)) {
            return false;
        }
    }
    return true;
}

4. 完整使用示例

// 定义必须同时出现的敏感词
String[] requiredWords = {"a", "b"};

// 检测文本
String text = "这是一段包含a和b的文本";
List<String> matchedWords = sensitiveWordBs.findAll(text);

// 判断是否同时匹配
if (isMatchAllRequired(matchedWords, requiredWords)) {
    System.out.println("文本同时包含所有必需的敏感词");
} else {
    System.out.println("文本未同时包含所有必需的敏感词");
}

高级应用

1. 权重匹配

可以为不同的敏感词设置权重，当匹配的敏感词总权重达到阈值时才触发过滤：

Map<String, Integer> wordWeights = new HashMap<>();
wordWeights.put("a", 1);
wordWeights.put("b", 2);
// ...其他敏感词权重

int totalWeight = matchedWords.stream()
        .mapToInt(word -> wordWeights.getOrDefault(word, 0))
        .sum();

if (totalWeight >= THRESHOLD) {
    // 触发过滤
}

2. 组合条件匹配

实现更复杂的匹配逻辑，如"(A且B)或(C且D)"：

boolean condition1 = isMatchAllRequired(matchedWords, "A", "B");
boolean condition2 = isMatchAllRequired(matchedWords, "C", "D");

if (condition1 || condition2) {
    // 触发过滤
}

性能优化建议

1. 对于频繁使用的联合匹配条件，可以预先将requiredWords转换为Set，避免每次匹配时重复创建
2. 如果文本量很大，可以考虑先进行快速筛选，排除明显不符合条件的文本
3. 对于固定的联合匹配条件，可以将其封装为独立的策略类，便于复用和管理

总结

通过结合sensitive-word库的基础检测功能和自定义的后处理逻辑，我们可以灵活实现各种复杂的敏感词匹配需求。这种方法既利用了现有库的高效检测能力，又通过上层逻辑满足了特定的业务需求，是一种实用且高效的解决方案。