PCDet项目中使用Waymo数据集的经验分享与解决方案

前言

在使用PCDet项目处理Waymo数据集时，许多开发者会遇到依赖冲突和环境配置的难题。本文将详细介绍这些问题的根源，并提供一套经过验证的解决方案，帮助开发者顺利搭建开发环境。

问题背景

Waymo数据集工具包(v11版本)的安装会导致严重的依赖冲突。这是因为该工具包对特定版本的Python库有严格要求，而这些要求往往与PCDet项目所需的其他依赖项不兼容。这种冲突在深度学习项目中很常见，特别是在处理不同来源的数据集时。

解决方案概述

经过实践验证，最可靠的解决方案是使用两个独立的环境：

1. 训练环境：用于模型训练和推理，不安装Waymo工具包
2. 数据处理环境：专门用于Waymo数据集的预处理和格式转换

这种隔离方案可以避免依赖冲突，同时满足所有功能需求。

详细实施步骤

1. 基础Docker镜像构建

我们推荐使用以下Dockerfile作为基础环境，它基于Ubuntu 20.04和CUDA 11.8：

FROM nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04

# 环境变量设置
ENV PYTHONUNBUFFERED=1
ENV FORCE_CUDA="1"
ENV CMAKE_PREFIX_PATH="$(dirname $(which conda))/../"
ENV TORCH_NVCC_FLAGS="-Xfatbin -compress-all"

# 系统依赖安装
RUN apt-get update --yes --quiet && DEBIAN_FRONTEND=noninteractive apt-get install --yes --quiet --no-install-recommends \
    software-properties-common \
    build-essential apt-utils \
    wget curl vim git ca-certificates kmod \
 && rm -rf /var/lib/apt/lists/*
RUN apt-get update
RUN apt-get install ffmpeg libsm6 libxext6 -y

# Python 3.10环境配置
RUN add-apt-repository --yes ppa:deadsnakes/ppa
RUN add-apt-repository -y ppa:ubuntu-toolchain-r/test
RUN apt install -y g++-11
RUN apt install -y gcc-11
RUN apt install -y libsparsehash-dev
RUN apt-get update --yes --quiet
RUN DEBIAN_FRONTEND=noninteractive apt-get install --yes --quiet --no-install-recommends \
    python3.10 \
    python3.10-dev \
    python3.10-distutils \
    python3.10-lib2to3 \
    python3.10-gdbm \
    python3.10-tk \
    pip

# Python环境设置
RUN update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.10 999 \
    && update-alternatives --config python3 && ln -s /usr/bin/python3 /usr/bin/python

# 安装基础Python包
RUN curl -sS https://bootstrap.pypa.io/get-pip.py | python3.10
RUN pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cu118
RUN pip3 install opencv-python==4.7.0.68
RUN pip3 install llvmlite numba tensorboardX easydict pyyaml scikit-image tqdm SharedArray open3d mayavi av2 kornia==0.6.5 pyquaternion
RUN pip3 install spconv-cu118

# 安装PCDet项目
WORKDIR /usr/local/
COPY . PTv3_Det
WORKDIR /usr/local/PTv3_Det
RUN pip3 install -r requirements.txt

2. 创建专用环境

基于上述基础镜像，我们需要创建两个专用环境：

训练环境

1. 运行基础容器：docker run -it -v "/mnt/yourworkdir:/mnt/yourworkdir" yourdockerimage
2. 执行PCDet项目安装：python3 setup.py develop
3. 提交为训练专用镜像：docker commit container_id yourdockerimage:training

Waymo数据处理环境

1. 运行基础容器
2. 安装Waymo工具包（忽略依赖错误）
3. 提交为数据处理专用镜像：docker commit container_id yourdockerimage:waymo

技术细节解析

1. CUDA和PyTorch版本选择：使用CUDA 11.8和PyTorch 2.1.0的组合确保了良好的兼容性和性能表现。

2. Python版本：选择Python 3.10是因为它在稳定性和新特性之间取得了良好平衡，同时被大多数深度学习框架支持。

3. 环境隔离：通过Docker实现的环境隔离是解决依赖冲突的黄金标准，它比虚拟环境提供更彻底的隔离。

4. 构建优化：Dockerfile中使用了多阶段构建和缓存优化技巧，减少了构建时间。

替代方案评估

虽然可以使用conda环境替代Docker，但在处理CUDA和系统级依赖时，Docker提供了更可靠的隔离。特别是对于需要特定版本系统库的Waymo工具包，Docker是更优选择。

常见问题解答

Q: 为什么不能在一个环境中同时安装所有依赖？ A: Waymo工具包会强制覆盖某些关键依赖的版本，导致PCDet其他功能无法正常工作。

Q: 评估时是否必须使用Waymo工具包？ A: 不是必须的，可以使用KITTI格式的评估方式作为替代。

Q: 为什么选择Torch 2.1？ A: 这个版本在性能和稳定性方面表现良好，且与CUDA 11.8兼容性最佳。

最佳实践建议

1. 数据卷挂载：确保正确挂载数据卷，方便在不同环境间共享数据。

2. 镜像标签管理：使用有意义的标签区分不同用途的镜像。

3. 构建缓存：利用Docker的构建缓存加速环境重建。

4. 文档记录：详细记录每个镜像的用途和安装的软件包版本。

总结

通过环境隔离策略，我们成功解决了PCDet项目中Waymo数据集处理的依赖冲突问题。这种方法不仅适用于当前场景，也可以推广到其他存在类似依赖冲突的深度学习项目中。关键在于理解不同组件的要求，并通过适当的隔离机制满足这些要求。