OSINT Scraper 项目使用教程

1. 项目的目录结构及介绍

OSINT Scraper 项目的目录结构如下：

osint-scraper/
├── README.md
├── config/
│   └── config.json
├── src/
│   ├── main.py
│   └── utils/
│       ├── scraper.py
│       └── parser.py
└── tests/
    └── test_scraper.py

目录结构介绍

• README.md: 项目说明文件，包含项目的基本信息和使用指南。
• config/: 配置文件目录，包含项目的配置文件 config.json。
• src/: 源代码目录，包含项目的启动文件 main.py 和工具模块 utils/。
  • main.py: 项目的启动文件。
  • utils/: 工具模块目录，包含数据抓取和解析的工具文件 scraper.py 和 parser.py。
• tests/: 测试目录，包含项目的测试文件 test_scraper.py。

2. 项目的启动文件介绍

项目的启动文件是 src/main.py。该文件负责初始化配置、调用抓取和解析工具，并执行主要的抓取任务。

启动文件内容概览

import configparser
from utils.scraper import Scraper
from utils.parser import Parser

def main():
    # 读取配置文件
    config = configparser.ConfigParser()
    config.read('config/config.json')

    # 初始化抓取工具
    scraper = Scraper(config)

    # 执行抓取任务
    scraper.run()

    # 解析抓取结果
    parser = Parser(scraper.results)
    parser.parse()

if __name__ == "__main__":
    main()

启动文件功能说明

• 读取配置文件: 使用 configparser 模块读取 config/config.json 配置文件。
• 初始化抓取工具: 创建 Scraper 对象，传入配置信息。
• 执行抓取任务: 调用 Scraper 对象的 run 方法执行抓取任务。
• 解析抓取结果: 创建 Parser 对象，传入抓取结果，并调用 parse 方法解析结果。

3. 项目的配置文件介绍

项目的配置文件是 config/config.json。该文件包含了项目运行所需的各项配置参数。

配置文件内容示例

{
    "searchKeywords": ["@gmail", "db_pass"],
    "codepad": true,
    "dumpz": true,
    "githubgist": true,
    "ideone": true,
    "pastebin": true,
    "pasteorg": true,
    "textbin": true,
    "proxy": {
        "useApifyProxy": true
    }
}

配置文件参数说明

• searchKeywords: 需要搜索的关键词列表。
• codepad, dumpz, githubgist, ideone, pastebin, pasteorg, textbin: 需要抓取的网站列表，布尔值表示是否启用。
• proxy: 代理配置，useApifyProxy 表示是否使用 Apify 代理。

通过以上配置文件，可以灵活地调整抓取任务的目标网站和搜索关键词。