Crawlee Python 爬虫框架处理请求失败问题解析

问题现象

在使用 Crawlee Python 框架爬取特定网站时，开发者遇到了部分 URL 请求返回空响应的问题。具体表现为某些页面（如特定格式的 deck 页面）无法获取到有效内容，而其他类型的页面却能正常爬取。

问题根源分析

经过深入排查，发现问题的根本原因是目标网站对某些特定路径的请求返回了 406 HTTP 状态码（Not Acceptable）。这种响应通常表示服务器无法根据客户端请求的内容特性完成请求。

通过 curl 命令验证可以确认这一现象：

curl -vvv https://www.mtggoldfish.com/deck/6610848

解决方案

1. 使用 CurlImpersonateHttpClient

Crawlee 提供了专门的 HTTP 客户端实现来应对这类反爬机制：

from crawlee.http_clients.curl_impersonate import CurlImpersonateHttpClient

crawler = BeautifulSoupCrawler(
    http_client=CurlImpersonateHttpClient()
    # 其他配置...
)

这种方法通过模拟真实浏览器的请求特征，可以有效绕过部分网站的反爬检测。

2. 处理 Windows 平台警告

在使用 CurlImpersonateHttpClient 时，Windows 平台可能会出现事件循环警告。可以通过以下方式解决：

import asyncio
from asyncio import WindowsSelectorEventLoopPolicy

asyncio.set_event_loop_policy(WindowsSelectorEventLoopPolicy())

3. 请求速率控制

当爬取大量数据时，网站可能会实施请求限流。可以通过两种方式优化：

方法一：配置并发设置

from crawlee import ConcurrencySettings

crawler = BeautifulSoupCrawler(
    concurrency_settings=ConcurrencySettings(max_tasks_per_minute=60)
    # 其他配置...
)

方法二：自定义重试逻辑

class ThrottlingHandler:
    def __init__(self):
        self.wait_time = 5
        self.throttle_count = 0

    def handle(self, context):
        if context.http_response.status_code >= 400:
            context.log.warning(f"请求被限制，等待 {self.wait_time} 秒")
            time.sleep(self.wait_time)
            self.wait_time += random.randint(5, 10)
            raise RuntimeError("请求被限制")

最佳实践建议

1. 完善的错误处理：始终检查响应状态码和内容，对异常情况做出适当处理
2. 合理的请求间隔：根据目标网站的承受能力调整请求频率
3. 日志记录：详细记录爬取过程中的关键信息，便于问题排查
4. 渐进式退避：当遇到限制时，采用逐步增加等待时间的策略

框架改进方向

Crawlee 团队计划在未来版本中：

• 对 4xx 响应自动标记为失败并避免重试
• 提供更完善的请求限制处理机制
• 优化 Windows 平台的事件循环警告

通过以上分析和解决方案，开发者可以更有效地使用 Crawlee Python 框架处理复杂的爬取场景，特别是面对有反爬机制的网站时。