为什么TRAWL是自建爬虫的救星:Cloudflare绕过与验证码破解的完整指南
为什么TRAWL是自建爬虫的救星:Cloudflare绕过与验证码破解的完整指南
做自建爬虫时,被 Cloudflare 的"Just a moment"拦截页挡住、或者卡在 Turnstile、reCAPTCHA、hCaptcha 等验证码上,是最常见也最头疼的问题。TRAWL 是一个可自托管(self-hosted)的网络抓取引擎,能通过 API 或 MCP 接口返回网页内容,并内置对 Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest 等多种 JS 挑战与验证码的自动处理。它是 FlareSolverr 与 Byparr 的替代者,也能作为 *arr(Prowlarr、Jackett)技术栈的即插即用(drop-in replacement)方案。
TRAWL 是什么:一个会"绕过反爬墙"的自建抓取引擎
用一句话概括:你只需要把目标 URL 发给 TRAWL 的 API,它负责替你处理掉中间的所有反爬障碍,然后把干净的 HTML 还给你。
它的核心工作方式(详见 README.md):
- 先用最便宜的 HTTP 请求(Tier 1)直接抓取;
- 如果被识别为 Cloudflare 等挑战页,复用已验证通过的缓存会话(Tier 2);
- 缓存失效时,打开 Camoufox(指纹加固版 Firefox)浏览器现场解题(Tier 3);
- 仍被 IP 标记时,切换到住宅代理再解一次(Tier 4)。
也就是说:普通请求不会白白消耗浏览器资源,而被保护页面又能自动升级处理。重复请求还能复用"通行证"(clearance),不必每次重新解题。
此外还提供:
- MCP 接口:AI 客户端可以直接
read网页 Markdown、scrapeHTML、extract结构化 JSON、截图,适合接入 AI Agent; - 隔离浏览器会话:保留 cookies、localStorage 和登录态,适合需要"保持登录"的抓取任务;
- HTTP/HTTPS 正向代理模式:开启
MITM_ENABLED=true后,端口 8192 可当普通代理用,检测到挑战页自动走浏览器解题,详见 apps/docs/proxy/overview.md。
支持哪些反爬墙和验证码
TRAWL 能识别受支持的"墙"并自动执行对应的浏览器流程,覆盖范围包括(完整矩阵见 apps/docs/getting-started/challenge-support.md):
| 类别 | 支持项 |
|---|---|
| 🛡️ 反爬墙 | Cloudflare、Anubis、Akamai Bot Manager、Imperva/Incapsula、DDoS-Guard、AWS WAF、DataDome |
| 🧩 验证码 | Turnstile、reCAPTCHA v2(复选框/音频)、hCaptcha、GeeTest 滑块、ALTCHA、Friendly Captcha、CAP |
| 🔁 其他 | JavaScript 质数证明(proof-of-work)、metarefresh 跳转、Google /sorry/ 机器人墙检测 |
几个新手常关心的细节:
- reCAPTCHA v3 没有内置评分求解器(它本来就不是交互式验证码);
- hCaptcha 不含图片九宫格求解;
- 内置解题失败时,可以可选接入 2Captcha 作为付费兜底(默认关闭,配置见 apps/docs/getting-started/configuration.md);
- 官方也明确提示:解题是"尽力而为",最终成功率取决于目标站的挑战变体、IP 信誉和网络环境。
四层阶梯执行机制是如何工作的
这是 TRAWL 最值得理解的设计,源码流程在 apps/docs/architecture/tiered-execution.md:
请求
▼
Tier 1: 纯 HTTP 抓取(Bun fetch,最快最省)
│ 被拦截 / 需要 JS
▼
Tier 2: 缓存的浏览器会话(注入已保存的 cookies)
│ 会话过期 / 缓存未命中
▼
Tier 3: 全新浏览器现场解题(Camoufox 浏览器池)
│ IP 被标记
▼
Tier 4: 住宅代理解题(需配置)
│
▼
返回 HTML + cookies + 命中的层级信息
对新手来说,最直观的好处是速度和成本的平衡:
- 没被保护的站点:Tier 1 直接返回,根本不启动浏览器;
- 被 Cloudflare 保护的站点:第一次走 Tier 3 解题(几秒级),之后重复请求走 Tier 2 甚至 Tier 1 的 cookie 复用,快一个数量级;
- 想省事的话,也可以用请求参数
maxTier或环境变量SCRAPE_MIN_TIER控制走哪几层。
快速上手:3 步部署 TRAWL 自建爬虫
🚀 只需 Docker,两分钟跑起来。最简方式(单机、内存缓存、开启 MCP 和仪表盘):
docker run -d --name trawl \
-p 127.0.0.1:8191:8191 \
--shm-size=1gb \
-e SESSION_CACHE_DRIVER=memory \
-e BROWSER_POOL_SIZE=1 \
-e MCP_ENABLED=true \
-e METRICS_DASHBOARD_ENABLED=true \
-v trawl_metrics:/data/metrics \
ghcr.io/germondai/trawl:1.9.1
curl http://localhost:8191/health
接着发第一个抓取请求(原生 API):
curl -X POST http://localhost:8191/scrape \
-H 'Content-Type: application/json' \
-d '{"url":"https://example.com","solveEmbeddedCaptchas":false}'
响应里会直接告诉你 tier(命中的层级)、timings(各阶段耗时)等信息,非常利于调试。
如果你更喜欢 Compose 方式(trawl + Redis 两个容器),官方给出了完整模板 docker-compose.yml 和精简版 docker-compose.minimal.yml,步骤详见 apps/docs/getting-started/quick-start.md。
替换 FlareSolverr:*arr 栈的零改动迁移
这是 TRAWL 对 *arr 用户最诱人的点——它完整实现了 FlareSolverr v2 API(包括版本校验字段),所以就是"换一个 URL"的事:
- 打开 Prowlarr → Settings → Indexers → FlareSolverr;
- 把 URL 改成
http://localhost:8191(Docker 同网络下为http://trawl:8191); - 点 Test,看到绿勾即成功,无需任何其他配置。
Jackett 的接法类似,详见 apps/docs/integrations/jackett.md 和 apps/docs/integrations/prowlarr.md。注意 /v1 端点默认只追求"把页面交付出来",不会顺手去解页面里嵌入的可选验证码组件——这是刻意为之,避免拖慢索引器。
真实性能:重复请求快多少?
官方在同一台机器上对比了 FlareSolverr 和 Byparr(完整数据见 benchmarks/RESULTS.md):
| 受保护页面 | 首次请求 | 重复请求 |
|---|---|---|
| NopeCHA Cloudflare 演示页 | 6.0 s | 879 ms |
| 1337x | 3.8 s | 85 ms |
| EZTV | 4.6 s | 473 ms |
关键结论:首次解题需要几秒,但只要缓存会话还有效,重复请求能压到几百毫秒甚至几十毫秒。这正是缓存复用(apps/docs/architecture/session-cache.md)带来的收益,对你日常高频抓取同一个站点帮助极大。
自建部署必看的配置参数
| 参数 | 默认值 | 作用 |
|---|---|---|
BROWSER_POOL_SIZE |
1 |
常驻热浏览器数量,影响并发能力 |
SESSION_CACHE_DRIVER |
redis |
会话缓存后端;单机可用 memory |
SCRAPE_MAX_TIMEOUT_MS |
60000 |
默认抓取超时 |
TIER1_TRANSPORT |
bun |
设为 wreq 可启用 Firefox TLS/HTTP2 指纹模拟 |
PROXY_URL / RESIDENTIAL_PROXY_URL |
未设置 | 上游代理与住宅代理池 |
MCP_ENABLED |
关 | 开启 MCP 供 AI 客户端接入 |
完整参数表在 apps/docs/getting-started/configuration.md,老硬件或 NAS 用户可改用 :1.9.1-baseline 镜像。
写在最后:TRAWL 适合谁
✅ 适合:想在自己服务器/NAS 上长期跑抓取服务、*arr 栈用户、需要给 AI Agent 提供"能过反爬的网页读取能力"的人。
⚠️ 注意两点:
- 把 API 和 MCP 端点放在可信网络内,不要直接暴露公网;
- 开启正向代理(8192 端口)时,HTTPS 客户端需要信任 TRAWL 生成的 CA 证书,安装方法见 apps/docs/proxy/ca-installation.md。
一句话总结:TRAWL 把"绕过 Cloudflare + 解验证码"这件最脏最累的事,封装成了你只管发 URL 的自建爬虫服务,而且能无缝替换掉 FlareSolverr。
