Langchain-Chatchat项目中使用Ollama部署Qwen2-7B模型的问题排查与解决方案

问题背景

在使用Langchain-Chatchat项目时，用户尝试通过Ollama部署Qwen2-7B模型进行对话交互，但在实际运行过程中遇到了"Internal Server Error"错误。该问题主要源于配置文件的设置不当，导致系统无法正确识别和加载模型平台。

错误现象分析

当用户尝试与Qwen2-7B模型进行对话时，系统抛出以下关键错误信息：

AssertionError: cannot find configured platform: None

这表明系统在尝试加载模型时，未能找到对应的平台配置信息。进一步查看日志可以发现，系统在调用OpenAI API时出现了内部服务器错误。

根本原因

经过深入分析，问题的根源在于Langchain-Chatchat 0.3.0版本的特殊配置机制。与早期版本不同，0.3.0版本不仅依赖代码中的配置文件（如_model_config.py），还会读取用户目录下的JSON配置文件（位于~/.chatchat）。当这两个位置的配置不一致时，系统会优先使用用户目录下的配置，从而导致代码修改不生效。

解决方案

1. 修改用户目录下的配置文件

用户需要检查并修改~/.chatchat目录下的JSON配置文件，确保以下关键配置项正确：

{
    "DEFAULT_LLM_MODEL": "qwen2:7b",
    "DEFAULT_EMBEDDING_MODEL": "quentinz/bge-large-zh-v1.5",
    "MODEL_PLATFORMS": [
        {
            "platform_name": "ollama",
            "platform_type": "ollama",
            "api_base_url": "http://127.0.0.1:11434/v1",
            "api_key": "EMPT",
            "api_concurrencies": 5,
            "llm_models": ["qwen2:7b"],
            "embed_models": ["quentinz/bge-large-zh-v1.5"],
            "image_models": [],
            "reranking_models": [],
            "speech2text_models": [],
            "tts_models": []
        }
    ]
}

2. 解决Embedding模型加载问题

在成功解决对话问题后，用户可能会遇到Embedding模型加载失败的问题，错误信息如下：

pydantic.v1.error_wrappers.ValidationError: Did not find openai_api_key

这是因为系统尝试使用OpenAI的API密钥来加载本地Embedding模型。解决方案是在配置中明确指定使用本地Embedding模型，并确保相关参数正确设置。

最佳实践建议

1. 配置一致性：在修改配置时，确保代码配置文件和用户目录下的配置文件保持一致。

2. 版本特性了解：在使用新版本软件时，应仔细阅读版本更新说明，了解配置机制的变更。

3. 日志分析：遇到问题时，应首先查看详细的错误日志，定位问题根源。

4. 分步验证：在配置复杂系统时，建议分步骤验证每个组件的功能，先确保基础功能正常，再逐步添加复杂功能。

5. 环境隔离：考虑使用虚拟环境或容器技术隔离不同项目的运行环境，避免配置冲突。

总结

通过正确配置用户目录下的JSON文件，可以解决Langchain-Chatchat项目中Ollama部署Qwen2-7B模型时出现的"Internal Server Error"问题。这一案例也提醒开发者，在软件升级后需要特别注意配置机制的变化，确保所有相关配置文件的一致性。对于类似框架的使用，理解其配置加载优先级和机制是解决问题的关键。