Langchain-Chatchat项目中Ollama模型接入配置指南

在Langchain-Chatchat项目0.3.0版本中，LLM和embedding模型的加载方式发生了重要变化，需要特别注意模型部署框架的配置。本文将详细介绍如何正确配置Ollama框架来接入中文embedding模型。

模型准备阶段

首先需要拉取所需的模型文件。对于中文环境，推荐使用以下两个模型：

1. 大语言模型：qwen2:72b
2. 中文embedding模型：bge-large-zh-v1.5

执行以下命令获取模型：

ollama pull qwen2:72b
ollama pull quentinz/bge-large-zh-v1.5:latest

配置文件设置

完成模型下载后，需要进行详细的配置设置。以下是完整的配置示例：

chatchat-config model --set_model_platforms "[{
    \"platform_name\": \"ollama\",
    \"platform_type\": \"ollama\",
    \"api_base_url\": \"http://127.0.0.1:11434/v1\",
    \"api_key\": \"sk-key\",
    \"api_concurrencies\": 5,
    \"llm_models\": [
        \"qwen2:72b\"
    ],
    \"embed_models\": [
        \"quentinz/bge-large-zh-v1.5:latest\"
    ],
    \"image_models\": [],
    \"reranking_models\": [],
    \"speech2text_models\": [],
    \"tts_models\": []
}]"

默认模型设置

为确保系统正常运行，还需要设置默认模型：

chatchat-config model --default_llm_model qwen2:72b
chatchat-config model --default_embedding_model quentinz/bge-large-zh-v1.5:latest

注意事项

1. 项目0.3.1版本已发布，优化了配置方式，修改配置项后无需重启服务器
2. 目前Ollama上可用的中文embedding模型较少，bge-large-zh-v1.5是较为可靠的选择
3. 确保Ollama服务正常运行，API端口(默认11434)可访问
4. 对于生产环境，建议根据实际需求调整api_concurrencies参数

通过以上配置，用户可以顺利在Langchain-Chatchat项目中集成Ollama提供的中文模型服务，为后续的知识库构建和问答系统打下坚实基础。