Django项目文档搜索功能的优化实践

在Django项目的官方文档网站中，搜索功能是开发者获取信息的重要途径。本文将深入分析当前搜索功能的实现方式，并提出一种改进方案，使搜索功能在用户输入拼写错误时仍能返回相关结果。

当前搜索实现分析

目前Django文档搜索采用PostgreSQL的全文本搜索功能，主要依赖以下技术：

1. SearchQuery：使用websearch语法处理查询字符串
2. SearchRank：根据搜索向量计算匹配度
3. TrigramSimilarity：基于三元组相似度对结果进行排序

现有实现存在一个明显问题：当用户输入包含拼写错误的查询时，系统不会返回任何结果。这是因为当前实现首先严格过滤匹配搜索向量的文档，然后再使用三元组相似度进行排序，而没有考虑拼写错误的容错处理。

改进方案设计

我们提出了一种两阶段搜索策略：

第一阶段：精确搜索

首先执行标准的全文本搜索，使用SearchQuery过滤文档并按SearchRank排序。这一阶段保持现有功能不变，确保精确匹配的结果优先显示。

第二阶段：模糊搜索

当第一阶段没有返回结果时，自动触发模糊搜索：

1. 对查询字符串进行清理和规范化处理
2. 使用TrigramSimilarity计算标题相似度
3. 过滤相似度大于0.3的文档并按相似度排序

查询字符串处理

模糊搜索的关键是对查询字符串进行适当的预处理：

def sanitize(text: str) -> str:
    """
    清理查询字符串以适配PostgreSQL三元组搜索
    
    1. 移除以'-'开头的排除项
    2. Unicode标准化处理(NFKD)
    3. 仅保留字母、数字和空格
    4. 移除多余空格并修剪
    """
    text = re.sub(r'(\s|^)-[^\s"\']+|(\s|^)-["\'][^"\']+["\']', '', text)
    text = unicodedata.normalize("NFKD", text)
    text = re.sub(r"[^\w\s]", "", text, flags=re.UNICODE)
    return " ".join(text.split())

这种处理方式能够有效应对：

• 多语言字符(如法语、西班牙语的重音字符)
• 大小写不一致
• 特殊字符干扰
• 排除项(-keyword)的移除

实现效果对比

以查询"full text searc -releases"(包含拼写错误)为例：

原实现：严格匹配"searc"无结果返回

改进后：

1. 首先尝试精确匹配无结果
2. 自动触发模糊搜索，清理后查询变为"full text searc"
3. 返回相似度最高的文档

技术优势

1. 用户体验提升：拼写错误不再导致零结果
2. 性能优化：模糊搜索仅在必要时触发
3. 多语言支持：Unicode标准化处理支持多语言文档
4. 搜索语法保留：仍支持websearch的高级查询语法

未来优化方向

1. 改进搜索向量生成机制
2. 优化JSON字段的提取方式
3. 引入更智能的查询建议功能
4. 考虑添加同义词扩展功能

这种分阶段搜索策略在不影响现有精确搜索功能的前提下，显著提升了文档搜索的容错能力，为Django开发者提供了更好的文档查阅体验。