MCP-Crawl4AI-RAG 项目启动与配置教程

1. 项目目录结构及介绍

MCP-Crawl4AI-RAG 项目采用了清晰的目录结构来组织代码和资源。以下是项目的目录结构及其简要说明：

mcp-crawl4ai-rag/
│
├── .gitignore           # Git 忽略文件配置
├── README.md            # 项目说明文件
├── requirements.txt     # 项目依赖列表
│
├── crawl                # 爬虫模块目录
│   ├── __init__.py
│   ├── ...
│
├── rag                  # RAG 模块目录
│   ├── __init__.py
│   ├── ...
│
├── config               # 配置文件目录
│   ├── __init__.py
│   ├── default_config.py
│
├── main.py              # 项目主启动文件
│
└── tests                # 测试模块目录
    ├── __init__.py
    ├── ...

• crawl/：包含爬虫相关的所有代码和模块。
• rag/：包含 RAG（Retrieval Augmented Generation）相关的所有代码和模块。
• config/：包含项目的配置文件。
• main.py：项目的主启动文件，用于运行整个项目。
• tests/：包含项目的测试代码。

2. 项目的启动文件介绍

项目的启动文件是 main.py。该文件负责初始化配置、加载必要的模块，并启动爬虫和 RAG 相关任务。以下是 main.py 的基本结构：

import sys
from config.default_config import load_config
from crawl import crawl_module
from rag import rag_module

def main():
    # 加载配置
    config = load_config()
    
    # 启动爬虫模块
    crawl_module.start(config)
    
    # 启动 RAG 模块
    rag_module.start(config)

if __name__ == "__main__":
    main()

3. 项目的配置文件介绍

项目的配置文件位于 config/ 目录下，以 default_config.py 文件为例。该文件定义了项目运行所需的各项配置，如数据库连接信息、API 密钥、爬虫参数等。以下是 default_config.py 的基本结构：

import os

class Config:
    # 基本配置
    DEBUG = False
    TESTING = False
    SECRET_KEY = 'your_secret_key'

    # 数据库配置
    DATABASE_URI = 'mysql://username:password@host:port/dbname'

    # 爬虫配置
    CRAWL_CONFIG = {
        'start_url': 'http://example.com',
        'max_depth': 2,
        # 其他配置项...
    }

    # RAG 配置
    RAG_CONFIG = {
        'model_path': '/path/to/your/model',
        # 其他配置项...
    }

def load_config():
    return Config()

在运行项目之前，您可能需要根据实际情况修改这些配置项，以确保项目能够正确运行。