ZhihuSpider 项目使用教程

1. 项目的目录结构及介绍

ZhihuSpider/
├── README.md
├── config
│   └── config.yaml
├── main.py
├── requirements.txt
├── src
│   ├── __init__.py
│   ├── crawler.py
│   └── utils.py
└── tests
    └── test_crawler.py

• README.md: 项目说明文件。
• config: 配置文件目录，包含 config.yaml。
• main.py: 项目启动文件。
• requirements.txt: 项目依赖文件。
• src: 源代码目录，包含主要的爬虫逻辑和工具函数。
  • crawler.py: 爬虫核心逻辑。
  • utils.py: 工具函数。
• tests: 测试目录，包含测试用例。

2. 项目的启动文件介绍

main.py 是项目的启动文件，负责初始化配置和启动爬虫。以下是 main.py 的主要内容：

import os
from src.crawler import ZhihuCrawler
from config.config import load_config

def main():
    config = load_config()
    crawler = ZhihuCrawler(config)
    crawler.start()

if __name__ == "__main__":
    main()

• load_config: 加载配置文件。
• ZhihuCrawler: 爬虫类，负责具体的爬取任务。
• start: 启动爬虫。

3. 项目的配置文件介绍

config/config.yaml 是项目的配置文件，包含爬虫的各种配置参数。以下是配置文件的一个示例：

database:
  host: "localhost"
  port: 3306
  user: "root"
  password: "123456"
  db_name: "zhihu"

crawler:
  max_threads: 10
  timeout: 10
  user_agent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"

• database: 数据库配置，包括主机、端口、用户名、密码和数据库名。
• crawler: 爬虫配置，包括最大线程数、超时时间和用户代理。

以上是 ZhihuSpider 项目的基本使用教程，涵盖了项目的目录结构、启动文件和配置文件的介绍。希望对您有所帮助！