如何快速上手WebSift?Termux与Linux上运行邮件电话爬虫的完整教程

原创2026-11-17 22:33:542,239 阅读

如何快速上手WebSift?Termux与Linux上运行邮件电话爬虫的完整教程

WebSift 是一款面向 Termux 与 Linux 系统的开源 OSINT(开源网络情报)伦理黑客工具,能快速从目标网站中爬取并提取邮箱地址、电话号码、社交媒体链接及其他 URL。它自动检测并安装缺失依赖(curl、grep、wget),零配置即可运行,非常适合安全学习者、渗透测试新手和普通用户进行合法的公开信息收集。本教程将带你完成 WebSift 的完整上手流程。

一、WebSift 功能特点一览

在动手之前,先了解这个爬虫工具能做什么:

功能 说明
📧 邮箱提取 从网页源码中抓取所有邮箱地址并去重
📞 电话识别 匹配常见格式的电话(10位、XXX-XXX-XXXX、(XXX)XXX-XXXX 等)
🔗 链接爬取 提取社交媒体链接和其他 URL,增强 OSINT 能力
💾 结果保存 可将提取结果一键保存到指定文件夹,方便后续分析
🛠️ 依赖自装 自动检测并安装 curl、grep、wget,无需手动配置

项目结构非常精简,核心就是一个 Bash 脚本:

  • WebSift/websift.sh —— 主程序,包含依赖安装、抓取逻辑与结果保存
  • README.md —— 官方说明文档(功能、安装与用法示例)
  • LICENSE.md —— MIT 开源许可证

⚠️ 官方提示:电话号码抓取并非 100% 精确(可能匹配到非电话号码的数字串),WebSift 最擅长的是邮箱和链接提取。详见 README.md。

二、一键安装步骤:Termux 与 Linux 双平台配置

1. 克隆仓库

git clone https://gitcode.com/gh_mirrors/we/WebSift
cd WebSift

2. 依赖自动处理(无需手动安装)

WebSift 启动时会智能识别当前环境:

  • Termux(安卓手机):检测到 /data/data/com.termux/files/usr 路径后,使用 pkg install 补装缺失组件,见 websift.sh
  • Linux 桌面/服务器:自动适配 apt-get、yum、dnf、pacman 四种包管理器,见 websift.sh

也就是说,只要你系统里有一个常见的包管理器,直接运行即可,缺什么装什么。

三、最快运行方法:三步完成第一次抓取

步骤 1:启动脚本

bash websift.sh

启动后脚本会依次执行:检查并安装依赖 → 显示 Banner → 检测网络连接(访问 google.com 探测)→ 进入交互界面。整个执行入口在 websift.sh。

步骤 2:输入目标 URL 并选择抓取项

脚本会提示你输入一个合法 URL(支持 http/https/ftp/file 协议,内置正则校验,见 websift.sh),然后逐项询问:

  • Scrape emails from website? (y/n) —— 是否抓取邮箱
  • Scrape phone numbers from website? (y/n) —— 是否抓取电话
  • Scrape social media links and other links? (y/n) —— 是否抓取链接

步骤 3:查看并保存结果

三项抓取逻辑分别由 email_scrape、phone_scrape、social_media_scrape 函数完成(websift.sh)。其中邮箱匹配使用的正则覆盖了 [A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4} 这类常见格式,并用 sort -u 自动去重。

抓取完成后会询问是否保存。输入 y 再指定一个文件夹名,结果文件(如 email_output.txt)会被归档进去(保存逻辑见 websift.sh)。

一次完整运行的输出效果大致如下(摘自 README.md 示例):

[*] Enter URL to begin : http://testphp.vulnweb.com
[*] Scrape emails from website? (y/n) : y
[*] Emails extracted successfully:
wvs@acunetix.com
[*] Phone numbers extracted successfully:
4445535400
[*] Do you want to save the output (y/n) : y
[*] Enter folder name : result
[*] Output saved successfully in result
[!] Exiting....

四、实用技巧与注意事项

  1. 优先抓取邮箱和链接:这是 WebSift 的强项;电话结果建议人工复核后再使用。
  2. URL 必须带协议头:直接输 example.com 会被判定为 Invalid URL 并要求重新输入,请写完整的 https://example.com。
  3. 保存时文件夹不能重名:若提示 Folder already exists,换一个名称即可(websift.sh)。
  4. 临时文件自动清理:抓取用的 temp_file.txt 会在结束后自动删除,不会污染当前目录。
  5. 合规使用:本工具仅用于教育与伦理 OSINT 目的,只可分析你自己拥有的网站或已获明确授权的目标(免责声明见 README.md)。

五、常见问题快速排查

问题现象 原因与解决办法
No internet connection detected 联网后重试,脚本启动时会用 wget 探测连接(websift.sh)
Package manager not found 系统没有 apt/yum/dnf/pacman,请手动安装 curl、grep、wget
No emails found 目标页面确实没有邮箱,属正常现象,可换一个目标试试
电话结果可疑 属已知精度限制,参考官网提示交叉验证

总结

WebSift 用不到 250 行 Bash 代码(websift.sh),实现了"克隆 → 运行 → 出结果"的极简 OSINT 工作流,是 Termux 用户和 Linux 新手做公开信息收集的理想入门工具。掌握「克隆仓库 + 输入 URL + 三项选择 + 保存结果」四步,你就可以在手机上或终端里快速提取网站中的邮箱、电话与链接了。

登录后查看全文
WebSift