Playwright-Python中持续监听网络请求的最佳实践

在使用Playwright进行Web自动化测试或爬虫开发时，监听页面网络请求是一个常见需求。本文将深入探讨如何正确实现持续监听机制，避免常见陷阱。

问题现象

开发者通常会尝试以下代码来监听网络请求：

from playwright.sync_api import sync_playwright
import time

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    
    def log_response(response):
        print(f"捕获请求: {response.request.method} {response.url}")
    
    page.on("response", log_response)
    page.goto("https://example.com")
    
    try:
        while True:
            time.sleep(1)  # 保持程序运行
    except KeyboardInterrupt:
        print("程序结束")

这段代码在初次加载页面时可以正常工作，但当页面刷新后，监听功能就会失效。

根本原因

问题出在Python标准库的time.sleep()方法上。Playwright的设计原理决定了它需要在事件循环中保持活跃状态才能正常工作。使用time.sleep()会导致Playwright的内部状态过期，从而中断事件监听机制。

解决方案

Playwright提供了专门的等待方法page.wait_for_timeout()，这是保持监听有效的正确方式：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    
    def log_response(response):
        print(f"持续捕获: {response.request.method} {response.url}")
    
    page.on("response", log_response)
    page.goto("https://example.com")
    
    try:
        while True:
            page.wait_for_timeout(1000)  # 正确的等待方式
    except KeyboardInterrupt:
        print("优雅退出")

进阶技巧

1. 条件终止：可以在循环中加入条件判断，实现自动化退出
2. 请求过滤：在回调函数中添加URL过滤逻辑，只监听特定请求
3. 异步模式：对于复杂场景，考虑使用async/await模式

最佳实践建议

1. 始终使用Playwright提供的等待方法而非标准库的sleep
2. 对于长时间运行的监听任务，考虑添加异常处理
3. 在回调函数中避免耗时操作，以免影响监听性能
4. 对于生产环境，建议结合日志系统记录网络请求

通过遵循这些实践，开发者可以构建稳定可靠的网络请求监听机制，满足各种自动化测试和爬虫开发需求。