PatentCrawler 项目使用教程

1. 项目目录结构及介绍

PatentCrawler/
├── README.md
├── requirements.txt
├── src/
│   ├── __init__.py
│   ├── crawler.py
│   ├── config.py
│   └── utils.py
├── tests/
│   ├── __init__.py
│   └── test_crawler.py
└── setup.py

目录结构说明

• README.md: 项目介绍和使用说明。
• requirements.txt: 项目依赖的Python包列表。
• src/: 项目源代码目录。
  • init.py: 使 src 目录成为一个Python包。
  • crawler.py: 爬虫核心逻辑实现。
  • config.py: 配置文件处理模块。
  • utils.py: 工具函数模块。
• tests/: 测试代码目录。
  • init.py: 使 tests 目录成为一个Python包。
  • test_crawler.py: 爬虫功能测试代码。
• setup.py: 项目安装脚本。

2. 项目启动文件介绍

启动文件: src/crawler.py

crawler.py 是项目的启动文件，负责初始化爬虫并开始爬取专利信息。

主要功能

• 初始化配置: 从 config.py 中读取配置信息。
• 启动爬虫: 根据配置信息启动爬虫，开始爬取专利数据。
• 数据存储: 将爬取到的数据存储到指定位置。

使用方法

python src/crawler.py

3. 项目配置文件介绍

配置文件: src/config.py

config.py 文件包含了爬虫的配置信息，如目标网站、爬取深度、存储路径等。

配置项

• TARGET_URL: 目标网站的URL。
• CRAWL_DEPTH: 爬取深度，控制爬虫的爬取范围。
• STORAGE_PATH: 数据存储路径。
• LOG_LEVEL: 日志级别，控制日志输出的详细程度。

示例配置

TARGET_URL = "https://patents.google.com"
CRAWL_DEPTH = 3
STORAGE_PATH = "./data"
LOG_LEVEL = "INFO"

修改配置

用户可以根据需要修改 config.py 文件中的配置项，以适应不同的爬取需求。

# 修改存储路径
STORAGE_PATH = "/path/to/your/storage"

注意事项

• 修改配置后，需要重新启动爬虫以应用新的配置。
• 确保配置项的值符合项目要求，避免因配置错误导致爬虫无法正常工作。

---

通过以上步骤，您可以顺利启动并配置 PatentCrawler 项目，开始爬取专利信息。