Dhtcrawler2 项目启动与配置教程

1. 项目目录结构及介绍

Dhtcrawler2 项目是一个用于爬取 DHT 网络流媒体种子文件的开源项目。以下是项目的目录结构及各部分功能的简要介绍：

dhtcrawler2/
│
├── bin/                     # 存放启动脚本
├── build/                    # 构建目录
├── doc/                      # 文档目录
├── dhtcrawler2/              # 项目核心代码目录
│   ├── __init__.py
│   ├── crawler.py            # 爬虫逻辑
│   ├── dht.py                # DHT 网络处理
│   ├── http_server.py        # HTTP 服务器逻辑
│   ├── logger.py             # 日志处理
│   └── ...
│
├── requirements.txt          # 项目依赖
└── setup.py                  # 项目安装脚本

• bin/：包含启动和运行项目的脚本。
• build/：构建项目时生成的文件存放目录。
• doc/：存放项目文档。
• dhtcrawler2/：项目的主要代码库，包含了爬虫的核心逻辑。
• requirements.txt：项目依赖文件，列出了项目运行所需的第三方库。
• setup.py：项目安装脚本，用于安装项目依赖。

2. 项目的启动文件介绍

项目的启动文件位于 bin/ 目录下，通常为 start.sh（对于 Linux 和 macOS 系统）或 start.bat（对于 Windows 系统）。

• start.sh（Linux/macOS）：运行此脚本会启动爬虫和 HTTP 服务器。以下是脚本的内容示例：

#!/bin/bash
cd "$(dirname "$0")/.."
python dhtcrawler2/crawler.py &
python dhtcrawler2/http_server.py

• start.bat（Windows）：运行此批处理文件会执行相同的操作。以下是脚本的内容示例：

@echo off
cd "%~dp0.."
python dhtcrawler2/crawler.py &
python dhtcrawler2/http_server.py

3. 项目的配置文件介绍

项目的配置文件通常位于项目根目录下，名为 config.json。以下是配置文件的一个示例：

{
  "http_server": {
    "host": "0.0.0.0",
    "port": 8000
  },
  "database": {
    "engine": "sqlite",
    "database": "dhtcrawler2.db"
  },
  "dht": {
    "nodes": [
      "/ip4/127.0.0.1/tcp/6881",
      "/ip4/104.236.179.241/tcp/6881"
    ]
  }
}

• http_server：定义 HTTP 服务器的监听地址和端口。
• database：定义数据库引擎和存储位置。
• dht：定义初始的 DHT 节点列表，用于连接到 DHT 网络。

确保在开始项目之前配置好这些选项，以适应您的具体需求和环境。