GoodreadsScraper 项目使用教程

1. 项目目录结构及介绍

GoodreadsScraper 是一个基于 Python 的网络爬虫项目，用于从 Goodreads 网站抓取书籍和作者信息。以下是项目的目录结构及文件介绍：

GoodreadsScraper/
│
├── .gitignore           # 忽略文件列表
├── LICENSE              # 项目许可证文件
├── README.md            # 项目说明文件
│
├── amazon_price_extractor.py  # 从 Amazon 提取书籍价格的脚本
├── cleanup.py           # 数据清洗和聚合的脚本
├── crawl.py             # 爬虫主程序
├── populate_kindle_price.py   # 提取并填充 Kindle 价格信息的脚本
│
├── requirements.txt     # 项目依赖文件
├── scrapy.cfg           # Scrapy 配置文件
└── └── data/            # 存储爬取数据的目录

2. 项目的启动文件介绍

项目的启动文件是 crawl.py。这个文件是爬虫的主程序，提供了命令行接口来运行不同的爬取任务。以下是启动文件的基本使用方法：

python3 crawl.py --help

运行上述命令将显示所有可用的子命令和参数。以下是一些常用的子命令：

• author: 爬取 Goodreads 上的所有作者信息。
• list: 爬取 Goodreads 列表中的书籍信息。
• my-books: 爬取特定用户书架上的书籍信息。

例如，要爬取一个 Goodreads 列表的前 50 页书籍信息，可以使用以下命令：

python3 crawl.py list --list_name="1.Best_Books_Ever" --start_page=1 --end_page=50 --output_file_suffix="best_001_050"

3. 项目的配置文件介绍

项目的配置文件是 scrapy.cfg。这个文件包含了 Scrapy 框架的基本配置，包括项目名称、爬虫类路径等。以下是配置文件的一个示例：

[settings]
default = GoodreadsScraper.settings

[spiders]
my_spider = GoodreadsScraper.spiders.MySpider

在 GoodreadsScraper/settings.py 文件中，可以设置爬虫的延迟时间、用户代理和其他 Scrapy 设置，以避免因请求频繁而被网站封禁。以下是一些常用的设置：

# Configure a user agent
USER_AGENT = 'goodreads_scraper (+http://www.yourdomain.com)'

# Configure a download delay for requests
DOWNLOAD_DELAY = 1

确保在运行爬虫之前正确配置这些设置，以保护您的 IP 地址并遵守 Goodreads 的使用条款。