Scrapy Inline Requests 项目教程

1. 项目的目录结构及介绍

scrapy-inline-requests/
├── scrapy_inline_requests/
│   ├── __init__.py
│   ├── inline_requests.py
│   └── ...
├── tests/
│   ├── __init__.py
│   ├── test_inline_requests.py
│   └── ...
├── setup.py
├── requirements.txt
├── README.md
└── ...

• scrapy_inline_requests/: 核心代码目录，包含装饰器 inline_requests.py 和其他相关文件。
• tests/: 测试代码目录，包含测试用例 test_inline_requests.py 和其他测试文件。
• setup.py: 项目安装文件，用于安装项目依赖。
• requirements.txt: 项目依赖文件，列出了项目运行所需的依赖包。
• README.md: 项目说明文件，包含项目的基本介绍和使用说明。

2. 项目的启动文件介绍

项目的启动文件主要是 scrapy_inline_requests/inline_requests.py，该文件定义了用于编写协程式蜘蛛回调的装饰器。

from scrapy import Spider, Request
from inline_requests import inline_requests

class MySpider(Spider):
    name = 'myspider'
    start_urls = ['http://httpbin.org/html']

    @inline_requests
    def parse(self, response):
        urls = [response.url]
        for i in range(5):
            yield Request(url=urls[0], callback=self.parse_page)

    def parse_page(self, response):
        pass

• inline_requests: 装饰器，用于在 parse 方法中进行内联请求。
• MySpider: 示例蜘蛛类，展示了如何使用 inline_requests 装饰器进行页面抓取和链接跟踪。

3. 项目的配置文件介绍

项目的配置文件主要包括 setup.py 和 requirements.txt。

setup.py

from setuptools import setup, find_packages

setup(
    name='scrapy-inline-requests',
    version='0.3.1',
    packages=find_packages(),
    install_requires=[
        'Scrapy>=1.0',
    ],
    author='Rolando Espinoza',
    author_email='[e-mail]',
    description='A decorator for writing coroutine-like spider callbacks',
    license='MIT',
    keywords='scrapy inline requests coroutine',
    url='https://github.com/rmax/scrapy-inline-requests',
)

• name: 项目名称。
• version: 项目版本。
• packages: 需要包含的包。
• install_requires: 项目依赖。
• author: 作者信息。
• description: 项目描述。
• license: 项目许可证。
• keywords: 项目关键词。
• url: 项目仓库地址。

requirements.txt

Scrapy>=1.0

• Scrapy>=1.0: 项目依赖的 Scrapy 库版本。

以上是 Scrapy Inline Requests 项目的目录结构、启动文件和配置文件的介绍。希望这份文档能帮助你更好地理解和使用该项目。