探索网站结构，尽在WebPalm

---

WebPalm是什么？

WebPalm是一个命令行工具，专为用户设计，用于遍历网站并生成所有网页及其链接的树状结构图。它采用递归的方法进入每个找到的链接，并持续进行，直到探索完所有层级。

除了生成站点地图，WebPalm还能利用正则表达式从每个页面的主体中提取数据并将结果保存到文件中。这一特性对于网络抓取或特定信息的提取非常实用。

提示与免责声明：

此工具仅适用于合法用途，请对您的行为负责。

功能亮点

• 生成网址树状结构：清晰地展示网站的层次结构。
• 正文数据抽取：通过正则表达式从网页内容中提取所需信息。
• 多线程处理：并行处理以提高速度和效率。
• 导出多种格式：支持JSON、XML和TXT格式的数据导出。
• 快速易用：简洁的命令行界面，一键操作。
• 彩色输出与错误处理：提供良好的用户交互体验。

安装与使用

你可以直接从源代码编译或下载预编译的二进制文件进行安装。如果你已经安装了Go，也可以使用go install命令进行安装。

运行webpalm -h获取完整的命令行选项和帮助信息。

命令行示例

• 获取一个网站的层级结构：

  webpalm -u https://google.com -l1
  

• 并行处理（多线程）：

  webpalm -u https://google.com -l1 -w 3
  

• 忽略指定的状态码：

  webpalm -u https://google.com -l1 -x 404,500
  

• 从网页中提取数据：

  webpalm -u https://google.com -l1 --regexes comments="\<\!--.*?-->" -o result.json
  

• 导出结果至不同格式：

  webpalm -u https://google.com -l3 -o result.xml
  webpalm -u https://google.com -l2 -o result.txt
  

• 只包含特定域名的网址：

  webpalm -u https://google.com -l2 -i google.com,facebook.com
  

• 大规模并行处理：

  webpalm -u https://google.com -l2 -w 100
  

正则表达式应用

WebPalm提供了多种正则表达式示例，如电子邮件地址、注释和短令牌等。你可根据需求自定义正则表达式进行数据提取。

加入我们

WebPalm由Malwarize团队驱动，欢迎加入我们的Discord社区，分享你的想法和贡献代码。

Join to Discord

WebPalm以其强大的功能和易用性，是开发者、SEO专家和数据分析师的理想工具。无论是构建网站地图还是进行复杂的数据挖掘，WebPalm都能轻松应对。现在就尝试使用WebPalm，让网站探索变得更加高效和简单。