Puppeteer中请求失败导致页面导航超时的解决方案

在Puppeteer自动化测试中，开发者经常会遇到页面导航超时的问题。本文将深入分析一个典型场景：当页面中存在某些请求失败时，如何避免page.goto()方法出现超时错误。

问题现象

在使用Puppeteer进行网页自动化操作时，开发者可能会遇到这样的情况：当尝试导航到某个页面时，即使设置了合理的超时时间，page.goto()方法仍然会抛出超时错误。这种情况特别容易发生在启用了请求拦截功能的场景中。

根本原因

通过分析发现，这类问题通常是由于页面中某些第三方请求（如广告、统计脚本等）无法正常完成导致的。在示例中，一个指向dcs.conac.cn域名的请求始终处于挂起状态，没有响应。由于page.goto()默认会等待所有网络活动完成（特别是当使用waitUntil: "networkidle2"参数时），这些未完成的请求会阻止导航操作完成。

解决方案

针对这类问题，开发者可以通过以下方式处理：

1. 识别并拦截问题请求：在请求拦截回调中，检测到特定域名的请求时主动终止它们。

page.on("request", async (req) => {
  if (req.url().includes('dcs.conac.cn')) {
    await req.abort();
    return;
  }
  // 其他请求处理逻辑
});

2. 调整导航等待策略：根据实际需求选择合适的waitUntil选项：

   • load：等待load事件触发
   • domcontentloaded：等待DOMContentLoaded事件
   • networkidle0：500ms内没有网络连接
   • networkidle2：500ms内不超过2个网络连接

3. 设置合理的超时时间：为page.goto()方法配置适当的超时阈值。

最佳实践建议

1. 精细化请求拦截：在拦截请求时，建议维护一个需要拦截的域名列表，而不是简单的字符串匹配。

2. 错误处理：为页面导航操作添加try-catch块，捕获可能的超时错误并进行适当处理。

3. 监控网络活动：在复杂场景下，可以记录所有网络请求，帮助诊断问题。

4. 考虑使用更宽松的等待策略：对于不需要严格等待所有资源加载的场景，使用domcontentloaded而非networkidle系列选项。

通过以上方法，开发者可以有效解决因请求失败导致的页面导航超时问题，提高自动化测试的稳定性和可靠性。