Quivr项目本地Ollama模型配置指南

背景介绍

Quivr作为一个开源的知识管理平台，支持用户通过本地部署的Ollama模型来运行AI功能。本文将详细介绍如何在Quivr项目中配置本地Ollama模型，帮助开发者实现本地化AI能力。

准备工作

在开始配置前，需要确保已完成以下准备工作：

1. 已安装并运行Ollama服务
2. 已获取Quivr项目源代码
3. 具备基本的Docker和数据库操作知识

详细配置步骤

第一步：Ollama环境搭建

首先需要下载并安装Ollama，安装完成后通过命令行启动服务。建议使用以下命令测试Ollama是否正常运行：

ollama run llama2

第二步：数据库迁移

Quivr使用Supabase作为后端数据库，需要进行特定的数据库迁移操作：

1. 找到项目中的迁移文件
2. 执行数据库重置命令
3. 确保迁移文件已正确应用到数据库

第三步：模型配置

在Supabase数据库中，需要更新用户设置表以包含Ollama模型选项。可以通过两种方式进行配置：

1. 针对单个用户：直接修改相应用户的模型设置
2. 全局默认设置：重置整个用户设置表，使所有新用户默认使用Ollama模型

第四步：环境变量配置

在项目的环境变量文件中，需要添加以下关键配置：

OLLAMA_API_BASE_URL=http://host.docker.internal:11434

这个配置告诉Quivr如何连接到本地运行的Ollama服务。

第五步：代码层集成

Quivr的核心代码中已经内置了对Ollama的支持，主要体现在：

1. QuivrRAG类的实现中处理Ollama模型调用
2. ChatLiteLLM类根据模型前缀自动识别Ollama模型
3. 相关API路由已做好对接准备

注意事项

1. 确保Ollama服务在配置过程中保持运行状态
2. 不同Ollama模型可能需要调整嵌入维度参数
3. 修改配置后需要重新构建Docker镜像
4. 建议在开发环境充分测试后再部署到生产环境

常见问题解决方案

1. 连接失败：检查Ollama服务是否正常运行，防火墙设置是否正确
2. 模型不可用：确认模型名称拼写正确，且已在Ollama中下载
3. 性能问题：根据硬件配置调整Ollama模型的参数和并发设置

通过以上步骤，开发者可以成功在Quivr项目中集成本地Ollama模型，实现更加灵活和可控的AI功能。这种本地化部署方式不仅提高了数据安全性，还能根据具体需求灵活调整模型配置。