使用SeleniumBase的CDP模式获取Fetch请求响应体

在自动化测试和网页抓取过程中，获取网络请求的响应体是一个常见需求。SeleniumBase项目通过Chrome DevTools Protocol(CDP)模式提供了强大的网络请求监控能力。

CDP模式简介

SeleniumBase的CDP模式允许开发者直接与Chrome浏览器的开发者工具协议交互，这为监控和修改网络请求提供了可能。通过这种方式，我们可以捕获页面加载过程中发出的所有请求及其响应。

获取响应体的实现方法

要获取Fetch请求的响应体，可以使用SeleniumBase提供的CDP事件处理器。主要涉及两个关键事件：

1. RequestWillBeSent - 当浏览器即将发送请求时触发
2. ResponseReceived - 当浏览器接收到响应时触发

实际应用示例

以下是一个完整的实现示例，展示了如何捕获并处理网络请求和响应：

import colorama
from seleniumbase import SB

# 设置控制台颜色输出
c1 = colorama.Fore.BLUE + colorama.Back.LIGHTYELLOW_EX
c2 = colorama.Fore.BLUE + colorama.Back.LIGHTGREEN_EX
cr = colorama.Style.RESET_ALL

async def request_handler(event):
    """处理即将发送的请求"""
    request = event.request
    print(f"{c1}请求方法: {request.method}{cr}")
    print(f"{c1}请求URL: {request.url}{cr}")
    print(f"{c1}请求头: {request.headers}{cr}")

async def response_handler(event):
    """处理接收到的响应"""
    response = event.response
    print(f"{c2}响应状态: {response.status}{cr}")
    print(f"{c2}响应URL: {response.url}{cr}")
    print(f"{c2}响应头: {response.headers}{cr}")
    # 这里可以进一步获取响应体内容

with SB(uc=True, test=True) as sb:
    sb.activate_cdp_mode("https://example.com")
    sb.cdp.add_handler("network.RequestWillBeSent", request_handler)
    sb.cdp.add_handler("network.ResponseReceived", response_handler)
    sb.sleep(5)  # 等待网络请求完成

获取响应体内容的进阶技巧

要获取完整的响应体内容，需要使用network.getResponseBody命令。这需要在响应接收后额外调用CDP命令：

async def response_handler(event):
    response = event.response
    request_id = event.requestId
    body = await sb.cdp.execute("network.getResponseBody", {"requestId": request_id})
    print(f"响应体内容: {body}")

实际应用场景

1. API测试：验证后端API返回的数据是否符合预期
2. 数据抓取：获取动态加载的内容
3. 性能监控：分析网络请求耗时
4. 错误调试：检查失败请求的详细信息

注意事项

1. 确保使用最新版本的SeleniumBase
2. 某些网站可能有反爬机制，需要合理设置请求头
3. 大量网络请求监控可能会影响性能
4. 对于HTTPS请求，可能需要额外配置

通过SeleniumBase的CDP模式，开发者可以轻松实现网络请求的全面监控，为自动化测试和数据分析提供了强大工具。