WARCannon 安装与配置指南

1. 项目基础介绍

W ARCannon 是一个开源项目，旨在简化并降低使用正则表达式搜索互联网的成本。它允许开发者构建和测试正则表达式，轻松加载 Common Crawl 数据集进行并行处理，并可以根据需要扩展计算能力。W ARCannon 利用 AWS 技术实现水平扩展，最小化成本，并存储处理结果。

主要编程语言：JavaScript

2. 项目使用的关键技术和框架

• AWS 技术：包括 S3、DynamoDB、CloudFront 和 Lambda，用于数据存储、状态报告、结果存储和并行处理。
• Node.js：作为运行 JavaScript 代码的环境。
• Regular Expressions：用于搜索和匹配文本数据。

3. 项目安装和配置准备工作

在开始安装之前，请确保您已经安装以下软件：

• awscli (AWS 命令行工具)
• cmake3
• node.js (版本 17.0.1 或更高)

同时，您需要一个 AWS 账户，并且建议在一个新的账户中部署 W ARCannon 以避免与其他资源冲突。

安装步骤

克隆仓库

首先，克隆 W ARCannon 仓库到本地：

git clone [e-mail]:c6fc/warcannon.git
cd warcannon

配置设置文件

复制 settings.json.sample 文件为 settings.json 并根据您的需求进行编辑：

cp settings.json.sample settings.json

您需要配置以下必要设置：

• nodeInstanceType：用于并行处理的实例类型。
• nodeCapacity：在并行处理期间请求的节点数量。
• nodeParallelism：每个 vCPU 要处理的 WARC 文件数。
• nodeMaxDuration：计算节点的最大生命周期（以秒为单位）。

安装依赖

安装项目依赖：

npm install
npm link

部署基础设施

使用以下命令部署 W ARCannon 基础设施：

warcannon deploy

至此，您已经完成了 W ARCannon 的基本安装和配置。接下来，您可以按照项目提供的文档进行进一步的操作，如测试正则表达式、执行任务等。