doctor 的安装和配置教程

1. 项目基础介绍和主要编程语言

doctor 是一个开源系统，它允许 LLM（大型语言模型）代理发现、爬取和索引网站，以实现更准确和更新的推理和代码生成。该项目主要使用 Python 编程语言实现，利用了容器化技术 Docker 和相关服务进行部署。

2. 项目使用的关键技术和框架

在实现过程中，doctor 使用了以下关键技术和框架：

• crawl4ai：用于爬取网页的内容。
• LangChain：对文本进行分块处理。
• OpenAI：通过 litellm 创建文本的嵌入表示。
• DuckDB：存储文档数据和嵌入向量，并支持向量搜索的数据库。
• Redis：作为消息代理，用于异步任务处理。
• FastAPI：构建 Web 服务，提供数据检索和搜索功能。
• MCP（Machine Comprehension Platform）Server：允许 LLMs 通过 MCP 服务器访问 doctor 的能力。

3. 项目安装和配置的准备工作与详细步骤

准备工作

在开始安装之前，请确保您的系统已经安装以下软件：

• Docker 和 Docker Compose：用于容器化部署。
• Python 3.10 或更高版本：项目的运行环境。
• uv（Python 包管理器）：用于管理 Python 包。
• OpenAI API key：用于访问 OpenAI 的服务。

安装步骤

1. 克隆项目仓库

   打开命令行终端，运行以下命令克隆项目：

   git clone https://github.com/sisig-ai/doctor.git
   cd doctor
   

2. 设置环境变量

   将您的 OpenAI API key 设置为环境变量，如下所示：

   export OPENAI_API_KEY=your-openai-key
   

   请替换 your-openai-key 为您从 OpenAI 获取的实际 API key。

3. 运行项目

   在项目目录中，使用以下命令启动 Docker 容器：

   docker-compose up
   

   这将启动所有必要的服务，包括爬虫、数据库、Web服务等。

4. 使用项目

   项目启动后，您可以通过访问 http://localhost:9111/docs 查看OpenAPI文档，了解如何通过API与项目交互。

   • 使用 /fetch_url 端点开始爬取一个URL。
   • 使用 /search_docs 端点搜索已索引的文档。
   • 使用 /job_progress 端点检查爬取任务进度。
   • 使用 /list_doc_pages 端点列出已索引的页面。
   • 使用 /get_doc_page 端点获取页面的完整文本。

以上就是 doctor 项目的详细安装和配置指南。按照上述步骤操作后，您应该能够成功运行 doctor 并开始使用它的功能。