Shot-scraper项目新增HAR文件记录功能解析

在Web开发和测试领域，shot-scraper作为一个强大的截图工具，近期增加了对HAR(HTTP Archive)文件记录的支持，这一功能升级为开发者提供了更全面的网络请求分析能力。本文将深入解析这一新特性的技术实现和应用场景。

HAR文件记录功能概述

HAR文件是一种JSON格式的文件，用于记录网页加载过程中所有的HTTP请求和响应信息。shot-scraper新增的HAR记录功能允许开发者在执行批量截图操作时，同时捕获完整的网络请求数据，这对于性能分析、调试和监控具有重要意义。

功能实现细节

shot-scraper通过两种方式提供HAR记录功能：

1. 简单模式：使用--har参数，系统会自动将所有网络请求记录到默认的trace.har.zip文件中
2. 自定义模式：通过--har-file参数指定输出文件名，支持两种格式：
   • .har后缀：生成纯JSON格式的HAR文件
   • .har.zip后缀：生成压缩格式的HAR文件

值得注意的是，Playwright底层实现会自动根据文件后缀决定输出格式，未压缩的JSON文件包含了完整的网络请求内容，便于直接分析。

多截图模式下的优化

在shot-scraper multi模式下，工具复用同一个浏览器上下文执行所有截图操作。这种设计带来了HAR记录的两个重要特性：

1. 统一记录：所有截图操作产生的网络请求会被记录到同一个HAR文件中，而非每个截图生成单独的文件
2. 灵活配置：YAML配置文件中可以省略output图像输出项，仅记录网络请求而不生成截图

实际应用场景

这一功能的加入为开发者提供了更多可能性：

1. 性能基准测试：通过比较不同时期的HAR文件，分析网站性能变化
2. API监控：验证页面加载过程中后端API的调用情况和响应数据
3. 调试辅助：当截图结果不符合预期时，通过HAR文件分析网络请求问题
4. 无头测试：在不生成截图的情况下，仅收集网络请求数据进行分析

技术实现考量

在实现过程中，开发团队面临了几个关键决策点：

1. 参数命名：最终选择了直观的--har和--har-file作为命令行参数
2. 文件格式：支持JSON和ZIP两种格式，满足不同场景下的需求
3. 上下文复用：利用Playwright的浏览器上下文复用机制，确保HAR记录的完整性

这一功能的加入使得shot-scraper从单纯的截图工具升级为更全面的网页分析工具，为开发者提供了更强大的调试和分析能力。通过合理利用HAR文件记录功能，开发者可以更深入地理解网页加载过程，优化性能，并快速定位网络相关问题。