crawlergo：强大的浏览器爬虫工具

项目介绍

crawlergo 是一款专为网页漏洞扫描器设计的强大浏览器爬虫工具。它利用 chrome headless 模式进行 URL 收集，通过钩取网页渲染阶段的 DOM 关键位置，自动填充并提交表单，智能触发 JS 事件，尽可能收集网站暴露的入口。内置的 URL 去重模块能过滤掉大量伪静态 URL，保持对大型网站的快速解析和爬取速度，最终获得高质量的请求结果集合。

项目技术分析

crawlergo 的核心技术在于其对 chrome headless 模式的深度利用，结合智能表单填充、自动化提交、全 DOM 事件收集及自动化触发等功能，实现了高效的 URL 收集。此外，智能 URL 去重、智能网页分析及 URL 收集（包括 javascript 文件内容、页面注释、robots.txt 文件及常见路径的自动 Fuzz）等功能，进一步提升了爬取效率和结果质量。

项目及技术应用场景

crawlergo 适用于以下场景：

• 网页漏洞扫描：作为前端爬虫，为被动式网页漏洞扫描器提供高质量的 URL 集合。
• 网站监控：定期爬取网站，收集所有可能的入口，用于网站变更监控或内容审计。
• 安全测试：在渗透测试中，帮助安全工程师快速发现网站的潜在入口点。

项目特点

• 高效爬取：利用 chrome headless 模式，结合智能表单填充和自动化提交，快速收集 URL。
• 智能去重：内置 URL 去重模块，有效过滤伪静态 URL，提升爬取效率。
• 全面收集：智能分析网页，收集包括 javascript 文件内容、页面注释、robots.txt 文件等在内的多种资源。
• 灵活配置：支持 Host 绑定、浏览器请求代理、结果推送至被动式网页漏洞扫描器等多种配置选项。
• 跨平台支持：提供 Docker 支持，方便在不同平台快速部署和使用。

crawlergo 不仅是一款功能强大的浏览器爬虫工具，更是网页漏洞扫描和网站安全测试的得力助手。无论你是安全工程师、网站管理员还是开发人员，crawlergo 都能为你提供高效、可靠的 URL 收集解决方案。立即尝试，体验其带来的便捷和强大功能吧！