Langchain-Chatchat项目基于Ollama部署Qwen2大模型的实践指南

2025-05-04 20:13:16作者：董斯意

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain

项目地址：https://gitcode.com/gh_mirrors/lang/Langchain-Chatchat

前言

随着大语言模型技术的快速发展，如何在本地环境中高效部署和使用这些模型成为了开发者关注的重点。本文将详细介绍如何在Langchain-Chatchat项目中利用Ollama平台部署Qwen2大模型，为开发者提供一个完整的本地大模型应用解决方案。

环境准备

Ollama安装与配置

首先需要安装最新版的Ollama平台，当前推荐版本为0.1.48。Ollama作为一个轻量级的模型管理工具，可以方便地拉取和管理各种开源大模型。

完成Ollama安装后，通过以下命令拉取所需模型：

ollama pull qwen2:7b  # 根据实际需求选择模型版本
ollama pull quentinz/bge-large-zh-v1.5  # 拉取中文向量模型

Python环境配置

推荐使用Pyenv进行Python环境管理，确保项目环境的隔离性。配置步骤如下：

安装Poetry依赖管理工具

pip install poetry
poetry config virtualenvs.prefer-active-python true

cd Langchain-Chatchat/libs/chatchat-server/
poetry install --with lint,test

项目配置

配置文件修改

核心配置文件chatchat/configs/_model_config.py需要做以下关键修改：

设置默认模型

self.DEFAULT_LLM_MODEL = "qwen2:7b"  # 设置默认LLM模型
self.DEFAULT_EMBEDDING_MODEL = "quentinz/bge-large-zh-v1.5"  # 设置默认向量模型

配置模型平台信息

self.MODEL_PLATFORMS = [
    {
        "platform_name": "ollama",
        "platform_type": "ollama",
        "api_base_url": "http://127.0.1:11434/v1",
        "api_key": "sk",
        "api_concurrencies": 5,
        "llm_models": ["qwen2:7b"],
        "embed_models": ["quentinz/bge-large-zh-v1.5"],
        "image_models": [],
        "reranking_models": [],
        "speech2text_models": [],
        "tts_models": []
    }
]

重要提示：向量模型名称中不要包含":latest"后缀，否则在使用FAISS向量库时会出现错误。

项目初始化与启动

数据库初始化

在chatchat-server目录下执行初始化命令：

python init_database.py --recreate-vs

初始化过程中可能会遇到文档加载错误，这通常不会影响主要功能，可以暂时忽略。

启动服务

使用以下命令启动完整服务：

python startup.py -a

服务启动后，可以通过浏览器访问http://127.0.0.1:8501/使用Web界面。

常见问题解决

模型名称不一致问题：确保DEFAULT_LLM_MODEL/LLM_MODEL_CONFIG中的名称与platforms["llm_models"]里的名称完全一致。
向量模型访问问题：检查DEFAULT_EMBEDDING_MODEL和MODEL_PLATFORMS中的embed_models是否一致，建议都去掉":latest"后缀。
模块导入错误：如果遇到chatchat模块不存在的错误，可以尝试将相关Python文件移动到chatchat-server目录下。