NotACracker/COTR项目实用工具指南

前言

NotACracker/COTR项目提供了一系列实用工具，这些工具位于项目目录下的tools文件夹中。本文将详细介绍这些工具的功能和使用方法，帮助开发者更好地理解和使用该项目。

日志分析工具

绘制训练曲线

在模型训练过程中，我们经常需要分析损失函数和评估指标的变化趋势。项目提供了analyze_logs.py脚本，可以方便地从训练日志中提取数据并绘制曲线。

准备工作

使用前需要安装依赖：

pip install seaborn

基本用法

python tools/analysis_tools/analyze_logs.py plot_curve [--keys ${KEYS}] [--title ${TITLE}] [--legend ${LEGEND}] [--backend ${BACKEND}] [--style ${STYLE}] [--out ${OUT_FILE}] [--mode ${MODE}] [--interval ${INTERVAL}]

使用说明

1. 如果要绘制评估阶段计算的指标，需要添加--mode eval参数
2. 如果评估是间隔执行的，需要指定--interval ${INTERVAL}参数

示例

1. 绘制分类损失曲线：

python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_cls --legend loss_cls

2. 同时绘制分类和回归损失曲线并保存为PDF：

python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_cls loss_bbox --out losses.pdf

3. 比较两个模型的3D检测性能：

python tools/analysis_tools/analyze_logs.py plot_curve tools/logs/PartA2.log.json tools/logs/second.log.json --keys KITTI/Car_3D_moderate_strict --legend PartA2 second --mode eval --interval 1

计算训练时间

python tools/analysis_tools/analyze_logs.py cal_train_time log.json [--include-outliers]

输出示例：

-----Analyze train time of work_dirs/some_exp/20190611_192040.log.json-----
slowest epoch 11, average time is 1.2024
fastest epoch 1, average time is 1.1909
time std over epochs is 0.0028
average iter time: 1.1959 s/iter

可视化工具

结果可视化

1. 查看训练模型的预测结果：

python tools/test.py ${CONFIG_FILE} ${CKPT_PATH} --show --show-dir ${SHOW_DIR}

2. 在评估过程中查看预测结果：

python tools/test.py ${CONFIG_FILE} ${CKPT_PATH} --eval 'mAP' --eval-options 'show=True' 'out_dir=${SHOW_DIR}'

离线可视化选项

1. 使用Open3D后端可视化：

python tools/misc/visualize_results.py ${CONFIG_FILE} --result ${RESULTS_PATH} --show-dir ${SHOW_DIR}

2. 使用MeshLab等3D可视化软件查看结果文件

数据集可视化

查看数据集内容而不进行推理：

python tools/misc/browse_dataset.py configs/_base_/datasets/kitti-3d-3class.py --task det --output-dir ${OUTPUT_DIR} --online

查看数据增强效果：

python tools/misc/browse_dataset.py configs/_base_/datasets/kitti-3d-3class.py --task det --aug --output-dir ${OUTPUT_DIR} --online

模型服务化

1. 模型转换

python tools/deployment/mmdet3d2torchserve.py ${CONFIG_FILE} ${CHECKPOINT_FILE} \
--output-folder ${MODEL_STORE} \
--model-name ${MODEL_NAME}

2. 构建Docker镜像

docker build -t mmdet3d-serve:latest docker/serve/

3. 运行服务

docker run --rm \
--cpus 8 \
--gpus device=0 \
-p8080:8080 -p8081:8081 -p8082:8082 \
--mount type=bind,source=$MODEL_STORE,target=/home/model-server/model-store \
mmdet3d-serve:latest

4. 测试服务

python tools/deployment/test_torchserver.py ${IMAGE_FILE} ${CONFIG_FILE} ${CHECKPOINT_FILE} ${MODEL_NAME}
[--inference-addr ${INFERENCE_ADDR}] [--device ${DEVICE}] [--score-thr ${SCORE_THR}]

模型复杂度分析

计算模型的FLOPs和参数量：

python tools/analysis_tools/get_flops.py ${CONFIG_FILE} [--shape ${INPUT_SHAPE}]

输出示例：

==============================
Input shape: (40000, 4)
Flops: 5.78 GFLOPs
Params: 953.83 k
==============================

模型转换工具

RegNet模型转换

python tools/model_converters/regnet2mmdet.py ${SRC} ${DST} [-h]

Detectron ResNet转换

python tools/detectron2pytorch.py ${SRC} ${DST} ${DEPTH} [-h]

模型发布准备

python tools/model_converters/publish_model.py ${INPUT_FILENAME} ${OUTPUT_FILENAME}

数据集转换工具

nuImages数据集转换

python -u tools/data_converter/nuimage_converter.py --data-root ${DATA_ROOT} --version ${VERSIONS} \
                                                    --out-dir ${OUT_DIR} --nproc ${NUM_WORKERS} --extra-tag ${TAG}

其他工具

打印完整配置

python tools/misc/print_config.py ${CONFIG} [-h] [--options ${OPTIONS [OPTIONS...]}]

结语

本文详细介绍了NotACracker/COTR项目提供的各种实用工具，包括日志分析、可视化、模型服务化、复杂度分析等。这些工具能够帮助开发者更好地理解和使用该项目，提高开发效率。建议开发者根据实际需求选择合适的工具，并参考本文提供的示例进行操作。