为什么TRAWL是自建爬虫的救星:Cloudflare绕过与验证码破解的完整指南

原创2026-10-20 20:30:591,416 阅读

为什么TRAWL是自建爬虫的救星:Cloudflare绕过与验证码破解的完整指南

做自建爬虫时,被 Cloudflare 的"Just a moment"拦截页挡住、或者卡在 Turnstile、reCAPTCHA、hCaptcha 等验证码上,是最常见也最头疼的问题。TRAWL 是一个可自托管(self-hosted)的网络抓取引擎,能通过 API 或 MCP 接口返回网页内容,并内置对 Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest 等多种 JS 挑战与验证码的自动处理。它是 FlareSolverr 与 Byparr 的替代者,也能作为 *arr(Prowlarr、Jackett)技术栈的即插即用(drop-in replacement)方案。

TRAWL 自适应网络抓取引擎,支持 Cloudflare 绕过、验证码破解与代理

TRAWL 是什么:一个会"绕过反爬墙"的自建抓取引擎

用一句话概括:你只需要把目标 URL 发给 TRAWL 的 API,它负责替你处理掉中间的所有反爬障碍,然后把干净的 HTML 还给你。

它的核心工作方式(详见 README.md):

  1. 先用最便宜的 HTTP 请求(Tier 1)直接抓取;
  2. 如果被识别为 Cloudflare 等挑战页,复用已验证通过的缓存会话(Tier 2);
  3. 缓存失效时,打开 Camoufox(指纹加固版 Firefox)浏览器现场解题(Tier 3);
  4. 仍被 IP 标记时,切换到住宅代理再解一次(Tier 4)。

也就是说:普通请求不会白白消耗浏览器资源,而被保护页面又能自动升级处理。重复请求还能复用"通行证"(clearance),不必每次重新解题。

此外还提供:

  • MCP 接口:AI 客户端可以直接 read 网页 Markdown、scrape HTML、extract 结构化 JSON、截图,适合接入 AI Agent;
  • 隔离浏览器会话:保留 cookies、localStorage 和登录态,适合需要"保持登录"的抓取任务;
  • HTTP/HTTPS 正向代理模式:开启 MITM_ENABLED=true 后,端口 8192 可当普通代理用,检测到挑战页自动走浏览器解题,详见 apps/docs/proxy/overview.md。

支持哪些反爬墙和验证码

TRAWL 能识别受支持的"墙"并自动执行对应的浏览器流程,覆盖范围包括(完整矩阵见 apps/docs/getting-started/challenge-support.md):

类别 支持项
🛡️ 反爬墙 Cloudflare、Anubis、Akamai Bot Manager、Imperva/Incapsula、DDoS-Guard、AWS WAF、DataDome
🧩 验证码 Turnstile、reCAPTCHA v2(复选框/音频)、hCaptcha、GeeTest 滑块、ALTCHA、Friendly Captcha、CAP
🔁 其他 JavaScript 质数证明(proof-of-work)、metarefresh 跳转、Google /sorry/ 机器人墙检测

几个新手常关心的细节:

  • reCAPTCHA v3 没有内置评分求解器(它本来就不是交互式验证码);
  • hCaptcha 不含图片九宫格求解;
  • 内置解题失败时,可以可选接入 2Captcha 作为付费兜底(默认关闭,配置见 apps/docs/getting-started/configuration.md);
  • 官方也明确提示:解题是"尽力而为",最终成功率取决于目标站的挑战变体、IP 信誉和网络环境。

四层阶梯执行机制是如何工作的

这是 TRAWL 最值得理解的设计,源码流程在 apps/docs/architecture/tiered-execution.md:

请求
  ▼
Tier 1: 纯 HTTP 抓取(Bun fetch,最快最省)
  │ 被拦截 / 需要 JS
  ▼
Tier 2: 缓存的浏览器会话(注入已保存的 cookies)
  │ 会话过期 / 缓存未命中
  ▼
Tier 3: 全新浏览器现场解题(Camoufox 浏览器池)
  │ IP 被标记
  ▼
Tier 4: 住宅代理解题(需配置)
  │
  ▼
返回 HTML + cookies + 命中的层级信息

对新手来说,最直观的好处是速度和成本的平衡:

  • 没被保护的站点:Tier 1 直接返回,根本不启动浏览器;
  • 被 Cloudflare 保护的站点:第一次走 Tier 3 解题(几秒级),之后重复请求走 Tier 2 甚至 Tier 1 的 cookie 复用,快一个数量级;
  • 想省事的话,也可以用请求参数 maxTier 或环境变量 SCRAPE_MIN_TIER 控制走哪几层。

快速上手:3 步部署 TRAWL 自建爬虫

🚀 只需 Docker,两分钟跑起来。最简方式(单机、内存缓存、开启 MCP 和仪表盘):

docker run -d --name trawl \
  -p 127.0.0.1:8191:8191 \
  --shm-size=1gb \
  -e SESSION_CACHE_DRIVER=memory \
  -e BROWSER_POOL_SIZE=1 \
  -e MCP_ENABLED=true \
  -e METRICS_DASHBOARD_ENABLED=true \
  -v trawl_metrics:/data/metrics \
  ghcr.io/germondai/trawl:1.9.1

curl http://localhost:8191/health

接着发第一个抓取请求(原生 API):

curl -X POST http://localhost:8191/scrape \
  -H 'Content-Type: application/json' \
  -d '{"url":"https://example.com","solveEmbeddedCaptchas":false}'

响应里会直接告诉你 tier(命中的层级)、timings(各阶段耗时)等信息,非常利于调试。

如果你更喜欢 Compose 方式(trawl + Redis 两个容器),官方给出了完整模板 docker-compose.yml 和精简版 docker-compose.minimal.yml,步骤详见 apps/docs/getting-started/quick-start.md。

替换 FlareSolverr:*arr 栈的零改动迁移

这是 TRAWL 对 *arr 用户最诱人的点——它完整实现了 FlareSolverr v2 API(包括版本校验字段),所以就是"换一个 URL"的事:

  1. 打开 Prowlarr → Settings → Indexers → FlareSolverr;
  2. 把 URL 改成 http://localhost:8191(Docker 同网络下为 http://trawl:8191);
  3. 点 Test,看到绿勾即成功,无需任何其他配置。

Jackett 的接法类似,详见 apps/docs/integrations/jackett.md 和 apps/docs/integrations/prowlarr.md。注意 /v1 端点默认只追求"把页面交付出来",不会顺手去解页面里嵌入的可选验证码组件——这是刻意为之,避免拖慢索引器。

真实性能:重复请求快多少?

官方在同一台机器上对比了 FlareSolverr 和 Byparr(完整数据见 benchmarks/RESULTS.md):

受保护页面 首次请求 重复请求
NopeCHA Cloudflare 演示页 6.0 s 879 ms
1337x 3.8 s 85 ms
EZTV 4.6 s 473 ms

关键结论:首次解题需要几秒,但只要缓存会话还有效,重复请求能压到几百毫秒甚至几十毫秒。这正是缓存复用(apps/docs/architecture/session-cache.md)带来的收益,对你日常高频抓取同一个站点帮助极大。

自建部署必看的配置参数

参数 默认值 作用
BROWSER_POOL_SIZE 1 常驻热浏览器数量,影响并发能力
SESSION_CACHE_DRIVER redis 会话缓存后端;单机可用 memory
SCRAPE_MAX_TIMEOUT_MS 60000 默认抓取超时
TIER1_TRANSPORT bun 设为 wreq 可启用 Firefox TLS/HTTP2 指纹模拟
PROXY_URL / RESIDENTIAL_PROXY_URL 未设置 上游代理与住宅代理池
MCP_ENABLED 关 开启 MCP 供 AI 客户端接入

完整参数表在 apps/docs/getting-started/configuration.md,老硬件或 NAS 用户可改用 :1.9.1-baseline 镜像。

写在最后:TRAWL 适合谁

✅ 适合:想在自己服务器/NAS 上长期跑抓取服务、*arr 栈用户、需要给 AI Agent 提供"能过反爬的网页读取能力"的人。

⚠️ 注意两点:

  • 把 API 和 MCP 端点放在可信网络内,不要直接暴露公网;
  • 开启正向代理(8192 端口)时,HTTPS 客户端需要信任 TRAWL 生成的 CA 证书,安装方法见 apps/docs/proxy/ca-installation.md。

一句话总结:TRAWL 把"绕过 Cloudflare + 解验证码"这件最脏最累的事,封装成了你只管发 URL 的自建爬虫服务,而且能无缝替换掉 FlareSolverr。

登录后查看全文
trawl