nutonomy_pointpillars 项目教程

项目介绍

nutonomy_pointpillars 是一个开源项目，旨在将 PointPillars Pytorch 模型转换为 ONNX 格式，以便使用 TensorRT 进行加速推理。PointPillars 是一种用于点云数据中目标检测的快速编码器，该项目基于 nuTonomy/second.pytorch 实现，并针对 KITTI 数据集进行了优化。

项目快速启动

环境准备

1. 拉取 Docker 环境：

   docker pull smallmunich/suke_pointpillars:v1
   

2. 启动 Docker 环境并激活 Conda 环境：

   docker run -it smallmunich/suke_pointpillars:v1
   conda activate pointpillars
   

代码克隆与安装

1. 克隆代码：

   git clone https://github.com/SmallMunich/nutonomy_pointpillars.git
   

2. 安装 Python 包：

   conda create -n pointpillars python=3.6 anaconda
   source activate pointpillars
   conda install shapely pybind11 protobuf scikit-image numba pillow
   conda install pytorch torchvision -c pytorch
   conda install google-sparsehash -c bioconda
   

3. 设置环境变量：

   NUMBAPRO_LIBDEVICE=/usr/local/cuda/nvvm/libdevice
   export PYTHONPATH=$PYTHONPATH:/your_root_path/nutonomy_pointpillars/
   

数据准备

1. 下载 KITTI 数据集并创建目录结构：

   └── KITTI_DATASET_ROOT
       ├── training <-- 7481 train data
       │   ├── image_2 <-- for visualization
       │   ├── calib
       │   ├── label_2
       │   ├── velodyne
       │   └── velodyne_reduced <-- empty directory
       └── testing <-- 7580 test data
           ├── image_2 <-- for visualization
           ├── calib
           ├── velodyne
           └── velodyne_reduced <-- empty directory
   

2. 创建 KITTI 信息文件：

   python create_data.py create_kitti_info_file --data_path=KITTI_DATASET_ROOT
   

3. 创建简化点云数据：

   python create_data.py create_reduced_point_cloud --data_path=KITTI_DATASET_ROOT
   

应用案例和最佳实践

应用案例

nutonomy_pointpillars 主要应用于自动驾驶领域中的目标检测任务，特别是在处理点云数据时，能够提供快速且高效的推理性能。通过将 Pytorch 模型转换为 ONNX 格式并使用 TensorRT 进行加速，可以显著提升推理速度，适用于实时应用场景。

最佳实践

1. 模型转换：

   • 将 Pytorch 模型转换为 ONNX 格式，以便使用 TensorRT 进行加速推理。
   • 使用提供的 Docker 环境，简化环境配置过程。

2. 性能优化：

   • 确保使用最新版本的 TensorRT 和相关依赖库。
   • 对点云数据进行预处理，减少数据量，提高处理速度。

典型生态项目

nuTonomy/second.pytorch

nutonomy_pointpillars 基于 nuTonomy/second.pytorch 实现，second.pytorch 是一个用于点云数据中目标检测的 Pytorch 实现库，提供了丰富的功能和优化策略。

TensorRT

TensorRT 是 NVIDIA 推出的高性能深度学习推理引擎，支持多种深度学习框架，能够显著提升推理性能。nutonomy_pointpillars 利用 TensorRT 进行加速推理，提高处理速度。

ONNX

ONNX (Open Neural Network Exchange) 是一个开放的深度学习模型交换格式，支持不同深度学习框架之间的模型转换。nutonomy_pointpillars 使用 ONNX 格式进行模型转换，便于在不同平台上进行部署和优化。

通过以上模块的介绍和实践，您可以快速上手 nutonomy_pointpillars 项目，并在实际应用中获得高效的点云目标