首页
/ MiniSearch 中如何处理同义词扩展与组合搜索

MiniSearch 中如何处理同义词扩展与组合搜索

2025-06-08 13:21:54作者:胡唯隽

在构建客户端搜索功能时,我们经常需要处理同义词扩展和组合搜索的需求。本文将以 MiniSearch 为例,介绍如何优雅地实现同时支持同义词扩展和 AND 组合搜索的功能。

问题背景

假设我们需要构建一个支持度量单位转换的搜索功能,用户可能输入"1/8th oz"或"3.5g"这样的查询。我们希望搜索能够识别这些同义词,同时还能支持组合查询如"cherry eighth"。

初始解决方案

开发者最初尝试使用 processTerm 方法来标准化度量单位,例如将"1/8th oz"转换为["eighth", "1/8th", "3.5g"]。当使用 combineWith: "OR" 时,这种方法工作良好。但当切换到 combineWith: "AND" 进行组合搜索时,由于额外的同义词标记会导致搜索结果被错误过滤。

优化方案

更优雅的解决方案是在索引阶段进行同义词扩展,而在搜索阶段保持原始查询不变:

const miniSearch = new MiniSearch({
  fields: [/* 字段定义 */],
  // 索引阶段使用自定义的同义词处理
  processTerm: customProcessTerm,
  searchOptions: {
    // 搜索阶段使用默认处理
    processTerm: MiniSearch.getDefault('processTerm')
  }
})

工作原理

  1. 索引阶段:文档中的文本会被 customProcessTerm 处理,扩展出所有同义词。例如:

    • "1/8th oz" → ["1", "one", "8th", "eighth", "oz"]
    • "3.5g" → ["3.5", "three point five", "g", "gram"]
  2. 搜索阶段:查询词保持原样处理,不进行同义词扩展。例如:

    • 查询"cherry eighth" → ["cherry", "eighth"]
    • 查询"cherry 1/8th" → ["cherry", "1", "8th"]

这样,使用 combineWith: "AND" 时,系统会正确匹配同时包含查询词的文档,而不会因为同义词扩展导致匹配失败。

技术优势

  1. 搜索精度高:AND 组合查询能准确找到同时包含所有查询词的文档
  2. 索引覆盖广:同义词扩展确保了各种表达方式都能被检索到
  3. 性能优化:同义词处理只在索引阶段执行一次,搜索阶段保持高效

实现建议

在实际实现 customProcessTerm 时,可以考虑:

function customProcessTerm(term) {
  // 处理度量单位转换
  if (term === '1/8th') return ['1', 'one', '8th', 'eighth', '3.5', 'three point five']
  if (term === 'oz') return ['oz', 'ounce', 'ounces', '28.35', 'twenty-eight point three five']
  // 其他同义词处理...
  return [term] // 默认返回原词
}

这种设计模式不仅适用于度量单位转换,还可以广泛应用于各种同义词处理场景,如产品规格、专业术语、多语言支持等。

登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起
docsdocs
暂无描述
Markdown
827
5.49 K
kernelkernel
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
494
518
ops-nnops-nn
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
786
1.58 K
pytorchpytorch
作为 Ascend for PyTorch 社区的核心组件,TorchNPU 是昇腾专为 PyTorch 打造的深度学习适配插件,使 PyTorch 框架能够直接调用昇腾 NPU,为开发者提供昇腾 AI 处理器的超强算力。
Python
803
1.14 K
ops-transformerops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
973
2.29 K
kernelkernel
deepin linux kernel
C
32
16
AscendNPU-IRAscendNPU-IR
AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优
C++
482
312
jiuwenswarmjiuwenswarm
JiuwenSwarm 是一款基于openJiuwen开发的智能AI Agent,它能够将大语言模型的强大能力,通过你日常使用的各类通讯应用,直接延伸至你的指尖。
Python
3.02 K
769
cannbot-skillscannbot-skills
CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。
Markdown
1.26 K
811
cann-learning-hubcann-learning-hub
CANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。
Jupyter Notebook
648
287