如何快速上手WebSift?Termux与Linux上运行邮件电话爬虫的完整教程
如何快速上手WebSift?Termux与Linux上运行邮件电话爬虫的完整教程
WebSift 是一款面向 Termux 与 Linux 系统的开源 OSINT(开源网络情报)伦理黑客工具,能快速从目标网站中爬取并提取邮箱地址、电话号码、社交媒体链接及其他 URL。它自动检测并安装缺失依赖(curl、grep、wget),零配置即可运行,非常适合安全学习者、渗透测试新手和普通用户进行合法的公开信息收集。本教程将带你完成 WebSift 的完整上手流程。
一、WebSift 功能特点一览
在动手之前,先了解这个爬虫工具能做什么:
| 功能 | 说明 |
|---|---|
| 📧 邮箱提取 | 从网页源码中抓取所有邮箱地址并去重 |
| 📞 电话识别 | 匹配常见格式的电话(10位、XXX-XXX-XXXX、(XXX)XXX-XXXX 等) |
| 🔗 链接爬取 | 提取社交媒体链接和其他 URL,增强 OSINT 能力 |
| 💾 结果保存 | 可将提取结果一键保存到指定文件夹,方便后续分析 |
| 🛠️ 依赖自装 | 自动检测并安装 curl、grep、wget,无需手动配置 |
项目结构非常精简,核心就是一个 Bash 脚本:
- WebSift/websift.sh —— 主程序,包含依赖安装、抓取逻辑与结果保存
- README.md —— 官方说明文档(功能、安装与用法示例)
- LICENSE.md —— MIT 开源许可证
⚠️ 官方提示:电话号码抓取并非 100% 精确(可能匹配到非电话号码的数字串),WebSift 最擅长的是邮箱和链接提取。详见 README.md。
二、一键安装步骤:Termux 与 Linux 双平台配置
1. 克隆仓库
git clone https://gitcode.com/gh_mirrors/we/WebSift
cd WebSift
2. 依赖自动处理(无需手动安装)
WebSift 启动时会智能识别当前环境:
- Termux(安卓手机):检测到
/data/data/com.termux/files/usr路径后,使用pkg install补装缺失组件,见 websift.sh - Linux 桌面/服务器:自动适配
apt-get、yum、dnf、pacman四种包管理器,见 websift.sh
也就是说,只要你系统里有一个常见的包管理器,直接运行即可,缺什么装什么。
三、最快运行方法:三步完成第一次抓取
步骤 1:启动脚本
bash websift.sh
启动后脚本会依次执行:检查并安装依赖 → 显示 Banner → 检测网络连接(访问 google.com 探测)→ 进入交互界面。整个执行入口在 websift.sh。
步骤 2:输入目标 URL 并选择抓取项
脚本会提示你输入一个合法 URL(支持 http/https/ftp/file 协议,内置正则校验,见 websift.sh),然后逐项询问:
Scrape emails from website? (y/n)—— 是否抓取邮箱Scrape phone numbers from website? (y/n)—— 是否抓取电话Scrape social media links and other links? (y/n)—— 是否抓取链接
步骤 3:查看并保存结果
三项抓取逻辑分别由 email_scrape、phone_scrape、social_media_scrape 函数完成(websift.sh)。其中邮箱匹配使用的正则覆盖了 [A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4} 这类常见格式,并用 sort -u 自动去重。
抓取完成后会询问是否保存。输入 y 再指定一个文件夹名,结果文件(如 email_output.txt)会被归档进去(保存逻辑见 websift.sh)。
一次完整运行的输出效果大致如下(摘自 README.md 示例):
[*] Enter URL to begin : http://testphp.vulnweb.com
[*] Scrape emails from website? (y/n) : y
[*] Emails extracted successfully:
wvs@acunetix.com
[*] Phone numbers extracted successfully:
4445535400
[*] Do you want to save the output (y/n) : y
[*] Enter folder name : result
[*] Output saved successfully in result
[!] Exiting....
四、实用技巧与注意事项
- 优先抓取邮箱和链接:这是 WebSift 的强项;电话结果建议人工复核后再使用。
- URL 必须带协议头:直接输
example.com会被判定为Invalid URL并要求重新输入,请写完整的https://example.com。 - 保存时文件夹不能重名:若提示
Folder already exists,换一个名称即可(websift.sh)。 - 临时文件自动清理:抓取用的
temp_file.txt会在结束后自动删除,不会污染当前目录。 - 合规使用:本工具仅用于教育与伦理 OSINT 目的,只可分析你自己拥有的网站或已获明确授权的目标(免责声明见 README.md)。
五、常见问题快速排查
| 问题现象 | 原因与解决办法 |
|---|---|
No internet connection detected |
联网后重试,脚本启动时会用 wget 探测连接(websift.sh) |
Package manager not found |
系统没有 apt/yum/dnf/pacman,请手动安装 curl、grep、wget |
No emails found |
目标页面确实没有邮箱,属正常现象,可换一个目标试试 |
| 电话结果可疑 | 属已知精度限制,参考官网提示交叉验证 |
总结
WebSift 用不到 250 行 Bash 代码(websift.sh),实现了"克隆 → 运行 → 出结果"的极简 OSINT 工作流,是 Termux 用户和 Linux 新手做公开信息收集的理想入门工具。掌握「克隆仓库 + 输入 URL + 三项选择 + 保存结果」四步,你就可以在手机上或终端里快速提取网站中的邮箱、电话与链接了。