Langchain-Chatchat项目中OpenAI API与本地Embedding模型冲突问题解析

在Langchain-Chatchat项目实际部署过程中，开发者经常会遇到一个典型问题：当修改model_settings.yaml文件中的api_base_url指向OpenAI的API后，系统会错误地将Embedding模型请求也发送到该地址，导致404错误。本文将深入分析这一问题的成因，并提供完整的解决方案。

问题现象分析

当用户将model_settings.yaml中的api_base_url修改为OpenAI的API地址后，系统会尝试将所有模型请求（包括Embedding模型）都发送到该地址。对于本地部署的bge-large-zh-v1.5等Embedding模型，OpenAI的API显然无法处理这类请求，因此返回404错误。

从错误日志中可以清晰看到，系统尝试向OpenAI API发送Embedding请求时失败：

HTTP Request: POST https://api.deepseek.com/embeddings "HTTP/1.1 404 Not Found"
failed to access embed model 'bge-large-zh-v1.5': Error code: 404

技术背景

Langchain-Chatchat项目支持多种模型部署方式，包括：

1. 云端API（如OpenAI）
2. 本地推理服务（如Xinference）
3. 直接加载本地模型文件

项目通过model_settings.yaml配置文件统一管理这些模型的访问方式。当配置不当，特别是api_base_url设置不当时，会导致模型请求路由错误。

解决方案

要解决这一问题，需要正确配置Embedding模型的访问方式：

1. 分离配置：在model_settings.yaml中，应该为Embedding模型单独配置访问地址，而不是使用全局的api_base_url。

2. 本地模型配置：对于本地部署的bge-large-zh-v1.5模型，应该配置为本地推理服务的地址，例如Xinference服务的地址。

3. 配置示例：

embed_model:
  bge-large-zh-v1.5:
    model_name: bge-large-zh-v1.5
    model_path: /path/to/local/model
    device: cuda
    api_base_url: http://localhost:9997  # 本地推理服务地址

实施步骤

1. 确认本地模型服务：首先确保本地模型服务（如Xinference）已正确启动并监听指定端口。

2. 修改配置文件：编辑model_settings.yaml，为Embedding模型单独配置api_base_url，指向本地服务地址。

3. 验证配置：通过简单的查询测试验证Embedding服务是否正常工作。

4. 重启服务：修改配置后，需要重启Langchain-Chatchat服务使配置生效。

最佳实践建议

1. 配置分离原则：不同类型的模型（LLM和Embedding）建议使用独立的配置块，避免相互影响。

2. 本地模型优化：对于bge-large-zh-v1.5等大型Embedding模型，可以启用量化技术减少显存占用。

3. 监控与日志：配置完成后，建议监控模型服务的资源使用情况和请求日志，确保服务稳定运行。

4. 多环境支持：开发环境中可以使用小模型快速验证，生产环境再切换到大模型。

总结

通过正确配置model_settings.yaml文件，开发者可以灵活地在Langchain-Chatchat项目中同时使用云端API和本地模型服务。关键是要理解不同模型类型的请求路由机制，并为每种模型类型配置正确的访问方式。这样既能利用云端API的强大能力，又能充分发挥本地定制模型的优势。