Webhawk 2.0 开源项目使用教程

1. 项目目录结构及介绍

Intrusion-and-anomaly-detection-with-machine-learning/
├── MODELS/
│   └── (存放训练好的模型文件)
├── SAMPLE_DATA/
│   ├── raw-http-logs-samples/
│   └── labeled-encoded-data-samples/
├── SCANS/
├── .gitignore
├── Dockerfile
├── LICENCE
├── README.md
├── api.py
├── catch.py
├── docker-compose.yml
├── encode.py
├── predict.py
├── requirements.txt
├── settings_template.conf
├── test_api.py
├── train.py
└── utilities.py

目录结构说明

• MODELS/: 存放训练好的模型文件。
• SAMPLE_DATA/: 包含原始HTTP日志样本和已标记编码的数据样本。
• SCANS/: 存放扫描结果。
• .gitignore: Git忽略文件配置。
• Dockerfile: Docker构建文件。
• LICENCE: 项目许可证。
• README.md: 项目说明文档。
• api.py: REST API服务启动文件。
• catch.py: 无监督检测脚本。
• docker-compose.yml: Docker Compose配置文件。
• encode.py: 日志编码脚本。
• predict.py: 单条日志预测脚本。
• requirements.txt: 项目依赖包列表。
• settings_template.conf: 配置文件模板。
• test_api.py: API测试脚本。
• train.py: 模型训练脚本。
• utilities.py: 工具函数脚本。

2. 项目启动文件介绍

api.py

api.py 是Webhawk项目的REST API服务启动文件。通过运行此文件，可以启动API服务器，提供日志预测服务。

python -m uvicorn api:app --reload --host 0.0.0.0 --port 8000

catch.py

catch.py 是无监督检测脚本，用于自动检测日志中的异常行为。

python catch.py -l /SAMPLE_DATA/raw-http-logs-samples/may_oct_2022.log -t apache -j 10000 -s 5

train.py

train.py 是模型训练脚本，用于训练新的检测模型。

python train.py -a 'dt' -t /SAMPLE_DATA/labeled-encoded-data-samples/may_jun_jul_2021.csv -v /SAMPLE_DATA/labeled-encoded-data-samples/aug_sep_oct_2021.csv

3. 项目配置文件介绍

settings_template.conf

settings_template.conf 是项目的配置文件模板。用户需要复制此文件并命名为 settings.conf，然后根据需要填写相关参数。

[MODEL]
model: MODELS/the_model_you_will_train.pkl

[FEATURES]
features: length, params_number, return_code, size, upper_cases, lower_cases, special_chars, url_depth

配置文件说明

• [MODEL]: 指定训练好的模型文件路径。
• [FEATURES]: 指定用于检测的特征列表。

通过以上配置，用户可以根据自己的需求定制检测模型和特征集。