首页
/ Cheshire Cat AI 项目在 Windows 环境下使用本地 LLM 和 Qdrant 的部署问题解析

Cheshire Cat AI 项目在 Windows 环境下使用本地 LLM 和 Qdrant 的部署问题解析

2025-06-29 01:39:01作者:宣聪麟

问题背景

在 Windows 10 环境下部署 Cheshire Cat AI 项目时,用户尝试按照官方文档使用本地 LLM 和 Qdrant 向量数据库的组合方案。系统配置为 i7 3770 CPU、32GB RAM 和 GeForce RTX 3060 12GB 显卡,使用最新版 Docker Desktop 4.28.0。

核心错误现象

在启动过程中,系统报出以下关键错误:

  1. FastEmbed 库的警告信息,提示 DefaultEmbedding、FlagEmbedding 和 JinaEmbedding 已被弃用
  2. Qdrant 客户端在解析响应时出现验证错误,具体为 max_optimization_threads 参数应为整数但收到了 None 值
  3. 最终导致应用启动失败

技术分析

该问题主要源于 Windows 环境下 Qdrant 服务的兼容性问题。错误链显示:

  1. 首先出现的是 FastEmbed 库的弃用警告,这属于正常现象,不影响核心功能
  2. 关键问题出现在 Qdrant 客户端尝试获取集合信息时,无法正确处理返回的配置参数
  3. 具体表现为 optimizer_config.max_optimization_threads 参数应为整数但收到了 None 值,导致验证失败

解决方案

经过验证,在 Windows 环境下可采用以下部署方案:

  1. 仅保留 docker-compose.yml 中的 cheshire-cat-core 和 ollama 服务
  2. 注释或移除 qdrant 服务相关配置
  3. 通过 Cheshire Cat 的管理面板手动添加 Qdrant 连接

这种方案绕过了 Windows 环境下 Qdrant 容器化部署的兼容性问题,同时仍能保持全部功能。

部署建议

对于 Windows 用户,推荐以下最佳实践:

  1. 使用精简版 docker-compose.yml,仅包含核心服务和 Ollama
  2. 通过管理界面配置 Qdrant 连接,而非通过容器化部署
  3. 确保 GPU 资源正确分配给 Ollama 容器以加速本地 LLM 推理
  4. 监控系统资源使用情况,特别是 GPU 内存占用

这种部署方式已在多个 Windows 环境中验证可行,能够稳定运行 Cheshire Cat AI 项目的全部功能。

登录后查看全文
热门项目推荐
相关项目推荐