Hi-FT/ERD项目实用工具指南：从模型分析到部署全流程

工具概览

Hi-FT/ERD项目提供了一系列强大的工具集，覆盖了深度学习模型开发全周期的各个环节。本文将详细介绍这些工具的使用方法和应用场景，帮助开发者更高效地完成模型训练、分析、优化和部署工作。

训练日志分析

曲线绘制工具

analyze_logs.py脚本是模型训练过程中不可或缺的分析工具，它能将训练日志中的关键指标可视化，帮助开发者直观理解模型的学习过程。

核心功能

• 支持绘制loss曲线、mAP曲线等多种训练指标
• 支持多实验结果的对比分析
• 可计算平均训练速度及稳定性指标

典型使用场景

1. 基础训练监控

python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss --legend total_loss

2. 多任务损失分析

python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_cls loss_bbox --out multi_loss.pdf

3. 模型性能对比

python tools/analysis_tools/analyze_logs.py plot_curve exp1.json exp2.json --keys bbox_mAP --legend baseline improved

4. 训练效率评估

python tools/analysis_tools/analyze_logs.py cal_train_time log.json

结果可视化与分析

预测结果分析工具

analyze_results.py提供了对模型预测结果的深入分析能力，特别适合用于错误分析和模型优化。

核心参数解析

• config: 模型配置文件路径
• prediction_path: 测试生成的pkl结果文件
• show_dir: 结果保存目录
• --topk: 控制保存最佳/最差预测样本数量
• --show-score-thr: 过滤低置信度预测结果

应用示例

基础可视化

python tools/analysis_tools/analyze_results.py \
    configs/faster_rcnn.py \
    results.pkl \
    output_vis \
    --show

针对性分析

python tools/analysis_tools/analyze_results.py \
    configs/faster_rcnn.py \
    results.pkl \
    output_vis \
    --topk 50 \
    --show-score-thr 0.3

模型服务化部署

TorchServe部署流程

将训练好的检测模型部署为可调用的服务，包含以下关键步骤：

1. 环境准备

pip install torchserve torch-model-archiver

2. 模型转换

python tools/deployment/mmdet2torchserve.py \
    configs/faster_rcnn.py \
    checkpoint.pth \
    --output-folder model_store \
    --model-name faster_rcnn

3. 服务启动

torchserve --start \
    --model-store model_store \
    --models faster_rcnn.mar

4. 服务调用

curl http://127.0.0.1:8080/predictions/faster_rcnn -T test_image.jpg

5. 结果验证

python tools/deployment/test_torchserver.py \
    test_image.jpg \
    configs/faster_rcnn.py \
    checkpoint.pth \
    faster_rcnn

模型优化工具

Anchor优化

YOLO系列模型可以通过优化anchor设置来提升检测性能：

K-means聚类法

python tools/analysis_tools/optimize_anchors.py \
    configs/yolov3.py \
    --algorithm k-means \
    --input-shape 608 608

差分进化算法

python tools/analysis_tools/optimize_anchors.py \
    configs/yolov3.py \
    --algorithm differential_evolution \
    --input-shape 608 608

模型复杂度分析

计算模型的FLOPs和参数量：

python tools/analysis_tools/get_flops.py \
    configs/faster_rcnn.py \
    --shape 1280 800

输出示例：

Input shape: (3, 1280, 800)
Flops: 239.32 GFLOPs
Params: 37.74 M

高级分析工具

混淆矩阵分析

生成模型预测结果的混淆矩阵：

python tools/analysis_tools/confusion_matrix.py \
    configs/faster_rcnn.py \
    results.pkl \
    output_dir \
    --show

遮挡目标检测评估

专门针对遮挡和分离目标的评估指标：

离线评估

python tools/analysis_tools/coco_occluded_separated_recall.py \
    results.pkl \
    --out recall.json

在线评估配置

val_evaluator = dict(
    type='CocoOccludedSeparatedMetric',
    ann_file='annotations/instances_val2017.json',
    metric=['bbox', 'segm'])

实用工具集

数据集工具

1. 格式转换

python tools/data_converters/cityscapes.py \
    /path/to/cityscapes \
    -o /output/path

2. 数据集下载

python tools/misc/download_dataset.py \
    --dataset-name coco2017

模型转换工具

1. 版本升级

python tools/model_converters/upgrade_model_version.py \
    old_model.pth \
    new_model.pth

2. 模型发布准备

python tools/model_converters/publish_model.py \
    latest.pth \
    final_model.pth

结语

Hi-FT/ERD项目提供的这套工具集覆盖了深度学习模型开发的完整生命周期，从训练监控、结果分析到模型优化和服务部署，每一环节都有相应的工具支持。合理使用这些工具可以显著提升开发效率，帮助开发者更深入地理解模型行为，最终获得性能更优的检测模型。