DIST_KD 项目使用教程

1. 项目目录结构及介绍

DIST_KD/
├── classification/
│   ├── lib/
│   │   └── models/
│   │       └── losses/
│   │           └── dist_kd.py
│   ├── tools/
│   │   └── dist_train.sh
│   └── README.md
├── object_detection/
│   └── README.md
├── segmentation/
│   └── README.md
├── .gitignore
├── .gitmodules
├── LICENSE
└── README.md

目录结构介绍

• classification/: 包含分类任务的相关代码和配置文件。

  • lib/models/losses/dist_kd.py: DIST 损失函数的实现。
  • tools/dist_train.sh: 用于启动训练的脚本。
  • README.md: 分类任务的详细说明。

• object_detection/: 包含目标检测任务的相关代码和配置文件。

  • README.md: 目标检测任务的详细说明。

• segmentation/: 包含语义分割任务的相关代码和配置文件。

  • README.md: 语义分割任务的详细说明。

• .gitignore: Git 忽略文件配置。

• .gitmodules: Git 子模块配置。

• LICENSE: 项目许可证文件。

• README.md: 项目总体说明文件。

2. 项目启动文件介绍

启动文件

• classification/tools/dist_train.sh: 用于启动分类任务的训练脚本。

使用方法

cd classification
sh tools/dist_train.sh 8 $[CONFIG] $[MODEL] --teacher-model $[T_MODEL] --experiment $[EXP_NAME]

• 8: 表示使用8个GPU进行训练。
• $[CONFIG]: 配置文件路径。
• $[MODEL]: 学生模型的名称。
• $[T_MODEL]: 教师模型的名称。
• $[EXP_NAME]: 实验名称。

3. 项目配置文件介绍

配置文件

• classification/configs/strategies/distill/resnet_dist.yaml: 用于配置 ResNet 模型的知识蒸馏策略。

配置文件内容示例

# 配置文件示例
Student:
  model: tv_resnet18
  teacher: tv_resnet34
  log: log
  ckpt: ckpt

Teacher:
  model: tv_resnet34
  log: log
  ckpt: ckpt

配置文件说明

• Student: 学生模型的配置。

  • model: 学生模型的名称。
  • teacher: 教师模型的名称。
  • log: 日志文件路径。
  • ckpt: 模型检查点文件路径。

• Teacher: 教师模型的配置。

  • model: 教师模型的名称。
  • log: 日志文件路径。
  • ckpt: 模型检查点文件路径。

通过以上配置文件，可以灵活地调整学生模型和教师模型的参数，以适应不同的实验需求。