MCP浏览器自动化深度解析:reverse-api-engineer如何玩转Playwright MCP与Chrome DevTools MCP
MCP浏览器自动化深度解析:reverse-api-engineer如何玩转Playwright MCP与Chrome DevTools MCP
reverse-api-engineer 是一款能把网站变成 API 的逆向工具:你只需给出一句自然语言目标,它就让 AI 驱动浏览器自动访问站点、抓取网络流量(HAR),并生成一份开箱即用的 API 客户端。其核心在于 MCP(Model Context Protocol)浏览器自动化——通过 Playwright MCP 或 Chrome DevTools MCP 两种浏览器后端,让大模型"亲手"操作页面。本文将带你快速看懂并上手这两套方案。
什么是 MCP 浏览器自动化?
传统逆向 API 的方式,需要你手动打开 DevTools、复制 cURL 命令、再拼凑出一个 HTTP 客户端,繁琐且容易出错。
MCP 浏览器自动化则把"操作浏览器"这件事交给 AI 代理(Agent):
- 🖥️ 浏览器工具化:导航、点击、输入、截图、执行 JS、读取网络请求等操作,都被封装成 MCP 工具(如
browser_navigate、navigate_page) - 📡 流量自动捕获:浏览过程中持续监控 XHR/fetch 请求,自动记录认证头、Cookie、Token 模式
- 🧠 边浏览边逆向:AI 一边操作页面,一边分析接口结构,最后直接写出可运行的 API 客户端
reverse-api-engineer 内置了两种 MCP 浏览器方案,通过 agent_provider 配置一键切换,源码中的默认值定义在 config.py:
{ "agent_provider": "auto" }
// "auto"(Playwright MCP)| "chrome-mcp"(Chrome DevTools MCP)| "agent-browser"
快速上手:一条命令安装,启动 Agent 模式
Agent 模式(默认模式)通过 npx 启动浏览器工具,不需要额外安装 Python 包:
uv tool install reverse-api-engineer # 或 pip install reverse-api-engineer
启动后直接输入目标即可,AI 会自动打开浏览器完成任务:
reverse-api-engineer
> fetch all apple jobs from their careers page
执行结束后,你得到一个现成的 API 客户端目录(如 ./scripts/apple_jobs_api/,内含 api_client.py、README.md 等)。更多用法可参考官方文档 agent 模式说明。
下面这张动图展示的就是 Playwright MCP 驱动下的 Agent 模式:AI 全程自主浏览、抓包并生成 scraper 代码。
Playwright MCP(auto 模式):独立 Chromium + 完整 HAR 抓包
auto 是默认 provider,它通过 npx 拉起 rae-playwright-mcp 服务器,控制一个独立的 Chromium 实例,并带有完整的 HAR 流量录制能力。
在 auto_engineer.py 的 _get_mcp_config() 中可以看到注册逻辑:
npx rae-playwright-mcp@latest run-mcp-server --run-id <run_id> [--headless]
配套的工作流提示词位于 user_playwright.md,分为 4 个阶段:
- BROWSE:调用
browser_navigate、browser_click、browser_snapshot(无障碍树快照,比截图更省 token)等工具完成操作 - MONITOR:周期性调用
browser_network_requests()监控 API 流量 - CAPTURE:调用
browser_close()时自动把完整 HAR 文件落盘到recording.har - REVERSE ENGINEER:基于 HAR 分析出端点、认证模式与数据结构,生成代码
💡 在无显示器的服务器或 CI 环境,加上 --headless 参数即可无头运行。
Chrome DevTools MCP(chrome-mcp 模式):接管你的真实 Chrome
如果目标网站需要已登录状态、现有 Cookie 或私有会话,chrome-mcp 方案就是为你准备的:它通过 chrome-devtools-mcp 直接连接你日常使用的 Chrome 浏览器,AI 无需重新登录。
注册命令同样在 auto_engineer.py:
npx chrome-devtools-mcp@latest --no-usage-statistics --autoConnect
与 Playwright 方案的关键差异(工作流见 user_chrome_mcp.md):
- 🍪 复用登录态:你浏览器里已有的认证会话直接可用,AI 可以"搭便车"访问需鉴权的接口
- 📋 工具命名不同:使用
navigate_page、click(按元素 uid 点击)、take_snapshot等 - 🌐 无 HAR 文件:需通过
list_network_requests()+get_network_request(reqid)手动捕获每条请求的完整细节 - ⚙️ 环境要求:Chrome 146+、Node.js 20.19+,并在
chrome://inspect/#remote-debugging开启 auto-connect
⚠️ 注意:不带 --headless 的 chrome-mcp 必须连接一个真实(headed)Chrome 实例并启用远程调试;加 --headless 时会退化为 MCP 自行启动的无头 Chromium(此时不再自动连接)。
如何切换 Agent Provider?两种方式任选
方式一:CLI 交互式切换(推荐新手)
在 reverse-api-engineer 的 REPL 中输入 /settings,选择 "agent provider"
方式二:直接编辑配置文件 ~/.reverse-api/config.json:
{ "agent_provider": "chrome-mcp" }
两种配置方式与详细说明见 Agent 配置文档。切换后 AI 的提示词、MCP 服务器注册参数、错误诊断信息都会自动适配。
Playwright MCP vs Chrome DevTools MCP:怎么选?
| 对比项 | auto(Playwright MCP) | chrome-mcp(Chrome DevTools MCP) |
|---|---|---|
| 浏览器实例 | 独立 Chromium,干净环境 | 你的真实 Chrome,带登录态 |
| 流量捕获 | 自动落盘完整 HAR 文件 | 工具逐条查询,无 HAR |
| 认证场景 | 需要登录时 AI 现场走登录流程 | 直接复用现有 Cookie/会话 ✅ |
| 环境要求 | 最低,npx 即可 |
Chrome 146+ / Node 20.19+ / auto-connect |
| 适用场景 | 公开站点、CI、无头服务器 | 需鉴权的私有接口、个人工作流 |
经验法则:抓公开 API(招聘站、文档站、营销页)选 auto;要复用浏览器里的登录身份,选 chrome-mcp。
常见问题速查(FAQ)
- ❓ 报错提示 MCP server / npx 相关:确认 Node.js 可用。chrome-mcp 可手动验证
npx chrome-devtools-mcp@latest;auto 模式需npm install -g rae-playwright-mcp。诊断逻辑见 auto_engineer.py - ❓ chrome-mcp 连接不上:检查 Chrome 版本 ≥ 146,并在
chrome://inspect/#remote-debugging开启 auto-connect - ❓ 截图报错 "exceeds 1MB limit":AI 已被告知优先对元素截图或使用
browser_snapshot获取页面结构,通常会自动规避 - ❓ 服务器上没有图形界面:使用
--headless运行任意 MCP 方案
写在最后
reverse-api-engineer 的巧妙之处在于:它没有把 MCP 当成炫技的附加项,而是把 Playwright MCP 的完整 HAR 录制 与 Chrome DevTools MCP 的真实会话接管 做成可切换的标准化后端,AI 的工作流(浏览 → 监控 → 捕获 → 逆向)在两种方案下保持一致。掌握 agent_provider 这一个配置项,你就能在"干净环境"与"登录态复用"之间自由切换,把任意网站快速变成可复用的 API。


