Shot-scraper项目新增HAR文件记录功能解析

在现代Web开发和测试工作中，网络请求的记录与分析是一项重要任务。Shot-scraper作为一款基于Playwright的网页截图工具，近期新增了对HAR(Hypertext Application Resource)文件的支持，这为开发者提供了更强大的网络请求分析能力。

HAR文件是一种标准化的JSON格式，用于记录浏览器与网站交互过程中产生的所有网络请求和响应信息。通过分析HAR文件，开发者可以深入了解页面加载性能、资源请求情况以及潜在的问题。

Shot-scraper通过Playwright的底层能力实现了HAR记录功能。在实现过程中，开发团队发现Playwright提供了两种不同的HAR记录方式：一种是较新的record_har_path参数，另一种是早期的route_from_har方法。经过评估，最终选择了更简洁直接的record_har_path方案。

使用该功能非常简单，只需在命令行中执行：

shot-scraper har https://example.com/

命令执行后会自动生成一个压缩的HAR文件，默认命名为目标网站的域名加上.har.zip后缀。用户也可以通过-o参数指定输出文件名。

生成的HAR文件包含了完整的网络请求记录，包括：

• 请求URL和HTTP方法
• 请求和响应头信息
• 响应内容(可选择嵌入或附加)
• 请求时间戳和耗时
• HTTP状态码

对于需要更复杂场景的用户，Shot-scraper还提供了多项配置选项：

• 支持HTTP基本认证
• 可设置超时时间
• 能够绕过内容安全策略(CSP)
• 可选择记录控制台日志

值得注意的是，当前版本的实现中，JavaScript执行(-j参数)会在HAR记录完成后进行，这意味着通过JavaScript修改的DOM操作不会反映在HAR文件中。这是由Playwright的工作机制决定的，开发团队正在评估未来版本中可能的改进方案。

该功能的加入使得Shot-scraper不再仅是一个简单的截图工具，而是成为了一个全面的网页信息采集解决方案。开发者现在可以一站式完成网页截图、JavaScript执行和网络请求分析等多种任务，大大提升了工作效率。

对于需要进行批量操作的用户，开发团队还计划在未来版本中为shot-scraper multi命令添加HAR记录支持，这将使得大规模网站测试和分析变得更加便捷。

总的来说，Shot-scraper的HAR记录功能为Web开发者提供了一个轻量级但功能强大的网络请求分析工具，特别适合需要进行网页性能优化、接口调试或自动化测试的场景。随着功能的不断完善，它有望成为开发者工具箱中不可或缺的一部分。