Quivr项目本地Ollama模型集成配置指南

背景介绍

Quivr作为一个开源的知识管理平台，支持多种AI模型集成。其中Ollama作为本地运行的大型语言模型解决方案，能够为用户提供私有化部署的选择。本文将详细介绍如何在Quivr项目中配置使用本地Ollama模型。

环境准备

在开始配置前，需要确保以下基础环境已就绪：

1. 已安装Docker环境
2. 本地已部署Ollama服务
3. 获取Quivr项目源代码

详细配置步骤

第一步：Ollama服务部署

首先需要在本地运行Ollama服务，推荐使用以下命令启动：

ollama run llama2

这将下载并运行llama2模型，保持服务在后台运行。

第二步：数据库配置

Quivr使用Supabase作为后端数据库，需要进行以下数据库操作：

1. 执行迁移脚本：

mv supabase/migrations/local_20240107152745_ollama.sql supabase/migrations/20240107152745_ollama.sql
supabase db reset

2. 更新用户设置表，添加Ollama模型选项：

UPDATE user_settings 
SET models = '["ollama/llama2", "ollama/mistral"]'
WHERE user_id = 'your_user_id';

第三步：环境变量配置

在项目根目录下的.env文件中添加以下配置：

OLLAMA_API_BASE_URL=http://host.docker.internal:11434

这个配置使得Docker容器内的Quivr服务能够访问宿主机上运行的Ollama服务。

第四步：代码层适配

Quivr的核心代码中已经内置了对Ollama的支持：

1. QuivrRAG类负责模型集成
2. ChatLiteLLM类处理与Ollama的通信
3. 当检测到模型名称以"ollama/"开头时，系统会自动使用配置的API基础地址

注意事项

1. 不同Ollama模型可能需要调整嵌入维度参数
2. 首次使用需要下载模型权重文件，耗时较长
3. 建议在配置完成后重建Docker镜像以确保所有变更生效

验证配置

完成上述步骤后，可以通过以下方式验证配置是否成功：

1. 登录Quivr前端界面
2. 检查用户设置中的模型选项是否包含Ollama模型
3. 选择Ollama模型进行简单的问答测试

性能优化建议

1. 根据硬件配置选择合适的Ollama模型大小
2. 调整Docker资源分配以提高响应速度
3. 考虑使用量化版本的模型以减少内存占用

通过以上步骤，用户可以在Quivr平台上充分利用本地Ollama模型的能力，实现完全自主可控的知识管理解决方案。