News_Spider 项目教程

1. 项目的目录结构及介绍

news_spider/
├── news_spider/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders/
│       ├── __init__.py
│       ├── news_spider.py
├── scrapy.cfg

• news_spider/: 项目的主目录。
  • __init__.py: 初始化文件。
  • items.py: 定义爬取数据的结构。
  • middlewares.py: 中间件文件，处理请求和响应。
  • pipelines.py: 数据处理管道文件。
  • settings.py: 项目的配置文件。
  • spiders/: 存放爬虫文件的目录。
    • __init__.py: 初始化文件。
    • news_spider.py: 具体的爬虫文件。
• scrapy.cfg: Scrapy项目的配置文件。

2. 项目的启动文件介绍

项目的启动文件是 news_spider/spiders/news_spider.py。这个文件包含了爬虫的主要逻辑，包括如何发送请求、解析响应以及提取数据。

import scrapy

class NewsSpider(scrapy.Spider):
    name = "news_spider"
    start_urls = ["http://example.com"]

    def parse(self, response):
        # 解析逻辑
        pass

• name: 爬虫的名称。
• start_urls: 爬虫开始爬取的URL列表。
• parse: 解析响应的回调函数。

3. 项目的配置文件介绍

项目的配置文件是 news_spider/settings.py。这个文件包含了爬虫的各种配置，如并发请求数、下载延迟、数据存储方式等。

BOT_NAME = 'news_spider'

SPIDER_MODULES = ['news_spider.spiders']
NEWSPIDER_MODULE = 'news_spider.spiders'

ROBOTSTXT_OBEY = True

CONCURRENT_REQUESTS = 16

DOWNLOAD_DELAY = 3

ITEM_PIPELINES = {
    'news_spider.pipelines.NewsSpiderPipeline': 300,
}

• BOT_NAME: 爬虫机器人的名称。
• SPIDER_MODULES: 爬虫模块的列表。
• NEWSPIDER_MODULE: 新爬虫模块的路径。
• ROBOTSTXT_OBEY: 是否遵守robots.txt规则。
• CONCURRENT_REQUESTS: 并发请求数。
• DOWNLOAD_DELAY: 下载延迟。
• ITEM_PIPELINES: 数据处理管道的配置。