WARCannon 使用教程

1. 项目介绍

W ARCannon 是一个开源项目，旨在简化和降低处理互联网上大规模数据（如 Common Crawl 数据集）的成本。它通过使用 AWS 技术实现水平扩展，能够以极低的成本并行处理大量数据。W ARCannon 支持构建和测试正则表达式，以便研究人员能够识别网站使用的技术，而无需直接接触这些网站。

2. 项目快速启动

环境准备

在开始之前，确保已经安装以下工具：

• awscli (版本 2)
• cmake3
• node.js (版本 17.0.1 或更高)

克隆仓库

首先，克隆 WARCannon 仓库并复制示例配置文件：

git clone [e-mail]:c6fc/warcannon.git
cd warcannon
cp settings.json.sample settings.json

编辑配置

编辑 settings.json 文件，根据需要配置以下参数：

• nodeInstanceType: 用于并行处理的实例类型数组。
• nodeCapacity: 在并行处理期间请求的节点数量。
• nodeParallelism: 每个虚拟 CPU 同时处理的 WARC 数量。
• nodeMaxDuration: 计算节点的最长生命周期（以秒为单位）。

部署基础设施

部署 WARCannon 基础设施：

npm install
npm link
warcannon deploy

3. 应用案例和最佳实践

开发正则表达式

在 lambda_functions/warcannon/matches.js 文件中修改 regex_patterns 对象，以包含你想要使用的正则表达式。例如：

exports.regex_patterns = {
  "access_key_id": /.../,
  // 其他模式...
};

使用 RegExr 工具来构建和测试正则表达式。

本地测试

在本地测试正则表达式：

warcannon testLocal -s

可以可选地指定一个 WARC 文件的路径进行测试。

部署测试

将正则表达式部署到 AWS Lambda 并进行测试：

warcannon test

列出可用爬取

查看可用的 Common Crawl 数据集：

warcannon list 2022

执行任务

将选定的爬取数据填充到队列中，并执行任务：

warcannon populate 2022-21
warcannon fire

任务完成后，从 S3 中检索结果：

warcannon syncResults

4. 典型生态项目

W ARCannon 可以与 AWS Open Data 等服务配合使用，形成一个强大的数据处理生态系统。通过构建合适的正则表达式，研究人员可以轻松地处理和分析数百 TB 的数据，以便发现网站的技术使用情况。此外，W ARCannon 的可扩展性使得它适用于各种规模的项目，从个人研究到企业级应用都能应对自如。