在streetmerchant项目中实现Chromium无头模式下持久化Cookie设置的技术方案

背景介绍

streetmerchant是一个基于Node.js和Puppeteer的电商商品库存监控工具，它使用Chromium浏览器自动化技术来抓取各大电商网站的商品信息。在实际使用过程中，用户发现某些电商网站（如Newegg）会通过Cookie识别爬虫行为并返回403错误或验证码。

问题分析

经过用户测试发现，当Chromium浏览器设置为"阻止所有Cookie"时，可以有效避免被目标网站识别为爬虫。这是因为：

1. 阻止Cookie后网站无法建立用户会话跟踪
2. 每次访问都被视为首次访问，降低了触发反爬机制的概率
3. 避免了基于Cookie的行为分析

当前streetmerchant的主要限制在于：

• 无法在无头模式下持久化Cookie设置
• 每次启动都会重置浏览器设置
• 现有隐身模式(INCOGNITO)仅阻止第三方Cookie，无法完全禁用所有Cookie

技术解决方案

方案一：使用持久化用户数据目录

通过Puppeteer启动参数配置持久化的用户数据目录，可以保存浏览器设置：

args.push('--user-data-dir=/path/to/profile');
args.push('--disable-dev-profile');

这种方法：

1. 创建固定位置的用户配置文件
2. 禁用开发人员配置文件(避免设置重置)
3. 允许手动配置浏览器设置并保持

方案二：通过Puppeteer API设置Cookie策略

虽然Puppeteer没有直接设置"阻止所有Cookie"的API，但可以通过以下方式间接实现：

1. 启动时设置内容设置规则：

await client.send('Network.setCookieBlockingEnabled', {
  enabled: true
});

2. 或者通过Protocol直接修改内容设置：

await client.send('Browser.setPermission', {
  origin: '',
  setting: 'block'
});

方案三：拦截和清除网络请求中的Cookie

可以在页面加载前清除所有Cookie：

await page.setRequestInterception(true);
page.on('request', request => {
  const headers = request.headers();
  delete headers['cookie'];
  request.continue({headers});
});

实现建议

对于streetmerchant项目，推荐采用以下改进方案：

1. 扩展环境变量配置，增加：

   • USER_DATA_DIR：自定义用户数据目录路径
   • BLOCK_ALL_COOKIES：完全阻止Cookie的开关

2. 修改浏览器启动逻辑，根据配置：

   • 设置持久化用户目录
   • 应用Cookie阻止策略
   • 确保无头模式兼容性

3. 增加启动时的Cookie清理功能：

   const client = await page.target().createCDPSession();
   await client.send('Network.clearBrowserCookies');
   await client.send('Network.clearBrowserCache');
   

注意事项

1. 不同网站对无Cookie访问的反应不同，需测试调整
2. 持久化用户目录会增加磁盘使用
3. 完全阻止Cookie可能影响某些网站功能
4. 需要平衡反爬规避与合法爬取边界

总结

通过合理配置Chromium的用户数据目录和Cookie策略，可以在streetmerchant项目中实现更稳定的爬取体验。这些技术方案不仅适用于Newegg，也可扩展到其他具有类似反爬机制的电商网站。开发者可以根据实际需求选择最适合的实现方式，或组合多种技术来达到最佳效果。