首页
/ Langchain-Chatchat项目中Ollama模型接入配置指南

Langchain-Chatchat项目中Ollama模型接入配置指南

2025-05-04 13:46:36作者:秋泉律Samson

在Langchain-Chatchat项目0.3.0版本中,LLM和embedding模型的加载方式发生了重要变化,需要特别注意模型部署框架的配置。本文将详细介绍如何正确配置Ollama框架来接入中文embedding模型。

模型准备阶段

首先需要拉取所需的模型文件。对于中文环境,推荐使用以下两个模型:

  1. 大语言模型:qwen2:72b
  2. 中文embedding模型:bge-large-zh-v1.5

执行以下命令获取模型:

ollama pull qwen2:72b
ollama pull quentinz/bge-large-zh-v1.5:latest

配置文件设置

完成模型下载后,需要进行详细的配置设置。以下是完整的配置示例:

chatchat-config model --set_model_platforms "[{
    \"platform_name\": \"ollama\",
    \"platform_type\": \"ollama\",
    \"api_base_url\": \"http://127.0.0.1:11434/v1\",
    \"api_key\": \"sk-key\",
    \"api_concurrencies\": 5,
    \"llm_models\": [
        \"qwen2:72b\"
    ],
    \"embed_models\": [
        \"quentinz/bge-large-zh-v1.5:latest\"
    ],
    \"image_models\": [],
    \"reranking_models\": [],
    \"speech2text_models\": [],
    \"tts_models\": []
}]"

默认模型设置

为确保系统正常运行,还需要设置默认模型:

chatchat-config model --default_llm_model qwen2:72b
chatchat-config model --default_embedding_model quentinz/bge-large-zh-v1.5:latest

注意事项

  1. 项目0.3.1版本已发布,优化了配置方式,修改配置项后无需重启服务器
  2. 目前Ollama上可用的中文embedding模型较少,bge-large-zh-v1.5是较为可靠的选择
  3. 确保Ollama服务正常运行,API端口(默认11434)可访问
  4. 对于生产环境,建议根据实际需求调整api_concurrencies参数

通过以上配置,用户可以顺利在Langchain-Chatchat项目中集成Ollama提供的中文模型服务,为后续的知识库构建和问答系统打下坚实基础。

登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起