Gerapy 分布式爬虫管理框架使用教程

1. 项目的目录结构及介绍

Gerapy 是一个基于 Python 的分布式爬虫管理框架，旨在帮助开发者更方便地管理、配置和部署 Scrapy 爬虫项目。项目的目录结构如下：

• gerapy/: Gerapy 的主目录，包含项目的核心代码。
• gerapy/Gerapy/: 包含 Gerapy 的主要模块和组件。
• gerapy/Gerapy/settings/: 包含项目的配置文件。
• gerapy/Gerapy/projects/: 用于存放和管理 Scrapy 项目的文件夹。
• gerapy/Gerapy/migrations/: 包含数据库迁移脚本。
• gerapy/Gerapy/static/: 包含静态文件，如 CSS、JavaScript 和图片。
• gerapy/Gerapy/templates/: 包含项目的 HTML 模板文件。
• gerapy/manage.py: 用于管理项目的主命令行脚本。
• gerapy/requirements.txt: 包含项目依赖的第三方库。

2. 项目的启动文件介绍

项目的启动文件是 gerapy/manage.py，它是一个命令行工具，用于执行 Django 的各种命令，如启动服务器、运行迁移等。以下是启动文件的主要内容：

#!/usr/bin/env python
import os
import sys

if __name__ == '__main__':
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'gerapy.settings')
    try:
        from django.core.management import execute_from_command_line
    except ImportError as exc:
        raise ImportError(
            "Couldn't import Django. Are you sure it's installed and "
            "available on your PYTHONPATH environment variable? Did you "
            "forget to activate a virtual environment?"
        ) from exc

    execute_from_command_line(sys.argv)

要启动 Gerapy，可以在命令行中运行以下命令：

python manage.py runserver

这会启动一个本地服务器，通常监听 8000 端口。

3. 项目的配置文件介绍

项目的配置文件位于 gerapy/Gerapy/settings/ 目录下，主要配置文件是 base.py。以下是配置文件的一些关键部分：

# Django settings for gerapy project.

from pathlib import Path

# Build paths inside the project like this: BASE_DIR / "subdir".
BASE_DIR = Path(__file__).resolve().parent.parent

# SECURITY WARNING: keep the secret key used in production secret!
SECRET_KEY = 'your-secret-key'

# SECURITY WARNING: don't run with debug turned on in production!
DEBUG = True

# Application definition
INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    # Gerapy apps
    'gerapy',
]

MIDDLEWARE = [
    'django.middleware.security.SecurityMiddleware',
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.common.CommonMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
    'django.middleware.clickjacking.XFrameOptionsMiddleware',
]

ROOT_URLCONF = 'gerapy.urls'

TEMPLATES = [
    {
        'BACKEND': 'django.template.backends.django.DjangoTemplates',
        'DIRS': [BASE_DIR / 'templates'],
        'APP_DIRS': True,
        'OPTIONS': {
            'context_processors': [
                'django.template.context_processors.debug',
                'django.template.context_processors.request',
                'django.contrib.auth.context_processors.auth',
                'django.contrib.messages.context_processors.messages',
            ],
        },
    },
]

WSGI_APPLICATION = 'gerapy.wsgi.application'

# Database
# https://docs.djangoproject.com/en/3.2/ref/databases/

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.sqlite3',
        'NAME': BASE_DIR / 'db.sqlite3',
    }
}

# Password validation
# https://docs.djangoproject.com/en/3.2/ref/auth/password_validation/

AUTH_PASSWORD_VALIDATORS = [
    # ...
]

# Internationalization
# https://docs.djangoproject.com/en/3.2/topics/i18n/

LANGUAGE_CODE = 'zh-hans'
TIME_ZONE = 'Asia/Shanghai'
USE_I18N = True
USE_L10N = True
USE_TZ = True

# Static files (CSS, JavaScript, Images)
# https://docs.djangoproject.com/en/3.2/howto/static-files/

STATIC_URL = '/static/'

# Default primary key field type
# https://docs.djangoproject.com/en/3.2/ref/models/fields/#default-primary-key-field-type

DEFAULT_AUTO_FIELD = 'django.db.models.BigAutoField'

在这个配置文件中，你可以设置数据库配置、安全密钥、应用列表、中间