MCP浏览器自动化深度解析:reverse-api-engineer如何玩转Playwright MCP与Chrome DevTools MCP

原创2026-10-12 18:02:061,680 阅读

MCP浏览器自动化深度解析:reverse-api-engineer如何玩转Playwright MCP与Chrome DevTools MCP

reverse-api-engineer 是一款能把网站变成 API 的逆向工具:你只需给出一句自然语言目标,它就让 AI 驱动浏览器自动访问站点、抓取网络流量(HAR),并生成一份开箱即用的 API 客户端。其核心在于 MCP(Model Context Protocol)浏览器自动化——通过 Playwright MCP 或 Chrome DevTools MCP 两种浏览器后端,让大模型"亲手"操作页面。本文将带你快速看懂并上手这两套方案。

reverse-api-engineer 把网站变成 API 的核心口号宣传图

什么是 MCP 浏览器自动化?

传统逆向 API 的方式,需要你手动打开 DevTools、复制 cURL 命令、再拼凑出一个 HTTP 客户端,繁琐且容易出错。

MCP 浏览器自动化则把"操作浏览器"这件事交给 AI 代理(Agent):

  • 🖥️ 浏览器工具化:导航、点击、输入、截图、执行 JS、读取网络请求等操作,都被封装成 MCP 工具(如 browser_navigate、navigate_page)
  • 📡 流量自动捕获:浏览过程中持续监控 XHR/fetch 请求,自动记录认证头、Cookie、Token 模式
  • 🧠 边浏览边逆向:AI 一边操作页面,一边分析接口结构,最后直接写出可运行的 API 客户端

reverse-api-engineer 内置了两种 MCP 浏览器方案,通过 agent_provider 配置一键切换,源码中的默认值定义在 config.py:

{ "agent_provider": "auto" }
// "auto"(Playwright MCP)| "chrome-mcp"(Chrome DevTools MCP)| "agent-browser"

AI 驱动的浏览器自动化工作台插画,展示网站转 API 的自动化流程

快速上手:一条命令安装,启动 Agent 模式

Agent 模式(默认模式)通过 npx 启动浏览器工具,不需要额外安装 Python 包:

uv tool install reverse-api-engineer   # 或 pip install reverse-api-engineer

启动后直接输入目标即可,AI 会自动打开浏览器完成任务:

reverse-api-engineer
> fetch all apple jobs from their careers page

执行结束后,你得到一个现成的 API 客户端目录(如 ./scripts/apple_jobs_api/,内含 api_client.py、README.md 等)。更多用法可参考官方文档 agent 模式说明。

下面这张动图展示的就是 Playwright MCP 驱动下的 Agent 模式:AI 全程自主浏览、抓包并生成 scraper 代码。

reverse-api-engineer Agent 模式演示:MCP 浏览器自动化自动抓取汽车网站 API 并生成客户端

Playwright MCP(auto 模式):独立 Chromium + 完整 HAR 抓包

auto 是默认 provider,它通过 npx 拉起 rae-playwright-mcp 服务器,控制一个独立的 Chromium 实例,并带有完整的 HAR 流量录制能力。

在 auto_engineer.py 的 _get_mcp_config() 中可以看到注册逻辑:

npx rae-playwright-mcp@latest run-mcp-server --run-id <run_id> [--headless]

配套的工作流提示词位于 user_playwright.md,分为 4 个阶段:

  1. BROWSE:调用 browser_navigate、browser_click、browser_snapshot(无障碍树快照,比截图更省 token)等工具完成操作
  2. MONITOR:周期性调用 browser_network_requests() 监控 API 流量
  3. CAPTURE:调用 browser_close() 时自动把完整 HAR 文件落盘到 recording.har
  4. REVERSE ENGINEER:基于 HAR 分析出端点、认证模式与数据结构,生成代码

💡 在无显示器的服务器或 CI 环境,加上 --headless 参数即可无头运行。

Chrome DevTools MCP(chrome-mcp 模式):接管你的真实 Chrome

如果目标网站需要已登录状态、现有 Cookie 或私有会话,chrome-mcp 方案就是为你准备的:它通过 chrome-devtools-mcp 直接连接你日常使用的 Chrome 浏览器,AI 无需重新登录。

注册命令同样在 auto_engineer.py:

npx chrome-devtools-mcp@latest --no-usage-statistics --autoConnect

与 Playwright 方案的关键差异(工作流见 user_chrome_mcp.md):

  • 🍪 复用登录态:你浏览器里已有的认证会话直接可用,AI 可以"搭便车"访问需鉴权的接口
  • 📋 工具命名不同:使用 navigate_page、click(按元素 uid 点击)、take_snapshot 等
  • 🌐 无 HAR 文件:需通过 list_network_requests() + get_network_request(reqid) 手动捕获每条请求的完整细节
  • ⚙️ 环境要求:Chrome 146+、Node.js 20.19+,并在 chrome://inspect/#remote-debugging 开启 auto-connect

⚠️ 注意:不带 --headless 的 chrome-mcp 必须连接一个真实(headed)Chrome 实例并启用远程调试;加 --headless 时会退化为 MCP 自行启动的无头 Chromium(此时不再自动连接)。

如何切换 Agent Provider?两种方式任选

方式一:CLI 交互式切换(推荐新手)

在 reverse-api-engineer 的 REPL 中输入 /settings,选择 "agent provider"

方式二:直接编辑配置文件 ~/.reverse-api/config.json:

{ "agent_provider": "chrome-mcp" }

两种配置方式与详细说明见 Agent 配置文档。切换后 AI 的提示词、MCP 服务器注册参数、错误诊断信息都会自动适配。

Playwright MCP vs Chrome DevTools MCP:怎么选?

对比项 auto(Playwright MCP) chrome-mcp(Chrome DevTools MCP)
浏览器实例 独立 Chromium,干净环境 你的真实 Chrome,带登录态
流量捕获 自动落盘完整 HAR 文件 工具逐条查询,无 HAR
认证场景 需要登录时 AI 现场走登录流程 直接复用现有 Cookie/会话 ✅
环境要求 最低,npx 即可 Chrome 146+ / Node 20.19+ / auto-connect
适用场景 公开站点、CI、无头服务器 需鉴权的私有接口、个人工作流

经验法则:抓公开 API(招聘站、文档站、营销页)选 auto;要复用浏览器里的登录身份,选 chrome-mcp。

常见问题速查(FAQ)

  • ❓ 报错提示 MCP server / npx 相关:确认 Node.js 可用。chrome-mcp 可手动验证 npx chrome-devtools-mcp@latest;auto 模式需 npm install -g rae-playwright-mcp。诊断逻辑见 auto_engineer.py
  • ❓ chrome-mcp 连接不上:检查 Chrome 版本 ≥ 146,并在 chrome://inspect/#remote-debugging 开启 auto-connect
  • ❓ 截图报错 "exceeds 1MB limit":AI 已被告知优先对元素截图或使用 browser_snapshot 获取页面结构,通常会自动规避
  • ❓ 服务器上没有图形界面:使用 --headless 运行任意 MCP 方案

写在最后

reverse-api-engineer 的巧妙之处在于:它没有把 MCP 当成炫技的附加项,而是把 Playwright MCP 的完整 HAR 录制 与 Chrome DevTools MCP 的真实会话接管 做成可切换的标准化后端,AI 的工作流(浏览 → 监控 → 捕获 → 逆向)在两种方案下保持一致。掌握 agent_provider 这一个配置项,你就能在"干净环境"与"登录态复用"之间自由切换,把任意网站快速变成可复用的 API。

登录后查看全文
reverse-api-engineer