Higress项目中基于向量相似度的LLM缓存召回插件设计与实现

引言

在AI技术快速发展的今天，大型语言模型(LLM)已成为各类应用的核心组件。然而，直接调用LLM提供商API面临着成本高昂、响应延迟等问题。阿里云开源的云原生网关项目Higress通过Wasm插件机制，为解决这一问题提供了创新思路。

技术背景

Higress作为云原生网关，其Wasm插件架构为AI场景提供了独特优势。传统网关主要处理路由和负载均衡，而AI网关需要额外支持API协议转换、结果缓存、智能路由等高级功能。基于向量相似度的缓存召回机制，能够在保证结果质量的前提下显著降低LLM调用成本。

插件核心设计

整体架构

该插件采用三层架构设计：

1. 接入层：与LLM Proxy和AI Assistant插件协同工作
2. 处理层：实现向量生成、相似度计算和结果召回
3. 存储层：支持Redis及其他向量数据库作为后端存储

关键技术实现

向量化处理：插件需要将用户请求和LLM响应转换为向量表示。可采用预训练模型如BERT或Sentence-BERT生成语义向量，确保相似语义的请求能够被正确匹配。

相似度计算：采用余弦相似度或欧氏距离等度量方法，支持可配置的相似度阈值。当新请求与缓存中某条记录的向量相似度超过阈值时，直接返回缓存结果。

缓存策略：实现基于时间、使用频率等多维度的缓存淘汰机制，确保缓存内容的新鲜度和有效性。

性能优化考量

准确率提升：通过以下手段确保召回质量：

• 动态调整相似度阈值
• 支持多维度特征融合（如关键词+语义）
• 实现结果质量评估反馈机制

性能调优：针对Wasm环境特点优化：

• 向量计算采用SIMD指令加速
• 实现批处理机制减少存储访问次数
• 支持异步处理避免阻塞网关主流程

测试验证方案

设计全面的测试用例评估插件效果：

1. 功能测试：验证基本缓存和召回流程
2. 性能测试：测量不同负载下的吞吐量和延迟
3. 质量测试：评估召回结果的准确率和召回率

测试数据集应覆盖不同领域、不同长度的请求，并包含边缘案例（如近义词、反义词、模糊查询等）。

应用场景扩展

该插件技术可应用于：

1. 企业知识库问答系统
2. 客服机器人场景
3. 内容生成类应用
4. 多轮对话系统

通过灵活的配置，可以适应不同业务场景对响应质量和成本的不同要求。

未来展望

随着技术发展，该插件可进一步优化：

1. 支持更多向量数据库后端
2. 实现自适应相似度阈值调整
3. 结合LLM自身能力进行结果验证
4. 探索联邦学习下的分布式缓存方案

Higress的这一创新为AI应用的高效部署提供了重要基础设施，展现了云原生网关在AI时代的强大扩展能力。