Unlighthouse项目中子目录爬取的实现与优化

Unlighthouse作为一款网站性能分析工具，其爬取功能在实际使用中可能会遇到一些特殊情况。本文将深入探讨Unlighthouse在子目录爬取方面的实现原理和优化过程。

问题背景

在网站性能分析过程中，我们有时只需要分析特定子目录下的页面性能。理想情况下，当指定一个子目录URL作为起始点时，Unlighthouse应该仅从该子目录开始爬取。然而，用户发现这一行为在不同操作系统和Unlighthouse版本中存在不一致性。

现象分析

在Mac系统上使用Unlighthouse 0.5.0版本时，工具能够正确地从指定的子目录开始爬取。但在Windows系统上，同样的命令却会从网站根目录开始爬取。更值得注意的是，从0.6.0版本开始，这一功能似乎出现了退化，不再支持子目录起始爬取。

技术实现

Unlighthouse的爬取功能基于其路由发现机制。在早期版本中，子目录爬取可能是一个无意中实现的特性。随着版本迭代，这一功能出现了兼容性问题。开发者通过分析发现，需要专门实现对子目录URL的支持。

解决方案

在Unlighthouse 0.11.5版本中，开发者专门修复了这一问题。现在，用户可以直接通过以下命令从子目录开始爬取：

npx unlighthouse@0.11.5 --site https://example.com/sites/subdirectory

这一修复确保了跨平台一致性，无论用户在Mac还是Windows系统上运行，都能获得相同的爬取起始行为。

使用建议

对于需要分析特定子目录性能的用户，建议：

1. 确保使用Unlighthouse 0.11.5或更高版本
2. 直接在命令中指定完整的子目录URL
3. 避免使用--include-urls参数作为替代方案，因为它可能导致爬取过程异常

总结

Unlighthouse对子目录爬取的官方支持解决了用户在实际使用中的痛点。这一改进不仅提高了工具的实用性，也增强了跨平台的一致性。对于需要进行局部网站性能分析的用户来说，这一功能将大大提升工作效率。