CMKD 项目使用教程

1. 项目介绍

CMKD（Cross-Modality Knowledge Distillation）是一个用于单目3D目标检测的跨模态知识蒸馏网络。该项目通过将LiDAR模态的知识高效地转移到图像模态，从而显著提升单目3D目标检测的性能。CMKD不仅支持KITTI和Waymo数据集，还提供了MMDetection3D版本用于Nuscenes数据集。

2. 项目快速启动

安装

首先，克隆项目仓库并安装依赖：

git clone https://github.com/Cc-Hy/CMKD.git
cd CMKD
pip install -r requirements.txt

训练模型

使用以下命令启动训练：

python setup.py train --config configs/kitti_config.yaml

评估模型

训练完成后，可以使用以下命令进行模型评估：

python setup.py eval --config configs/kitti_config.yaml --model_path path/to/your/model

3. 应用案例和最佳实践

案例1：KITTI数据集上的单目3D目标检测

在KITTI数据集上，CMKD通过跨模态知识蒸馏，显著提升了单目3D目标检测的精度。以下是一些关键指标：

• Car Easy@R40: 33.36
• Car Moderate@R40: 21.61
• Car Hard@R40: 17.97

案例2：Waymo数据集上的应用

CMKD在Waymo数据集上也表现出色，尤其是在处理多摄像头数据时，性能提升显著。

最佳实践

• 数据预处理：确保数据预处理步骤与项目文档一致，以获得最佳性能。
• 模型选择：根据具体任务选择合适的教师模型（如SECOND、CenterPoint、PointPillar）。
• 超参数调优：通过调整超参数（如学习率、批量大小）来优化模型性能。

4. 典型生态项目

OpenPCDet

OpenPCDet是一个用于点云目标检测的开源框架，CMKD项目基于OpenPCDet实现了对KITTI和Waymo数据集的支持。

MMDetection3D

MMDetection3D是另一个用于3D目标检测的开源框架，CMKD项目提供了MMDetection3D版本，支持Nuscenes数据集。

其他相关项目

• Pseudo-LiDAR：用于将2D图像转换为3D点云的伪LiDAR方法。
• BEVDet：基于鸟瞰图的3D目标检测方法，与CMKD结合使用可以进一步提升性能。

通过以上模块的介绍和实践，您可以快速上手并应用CMKD项目进行单目3D目标检测。