DAIR-V2X 车辆-基础设施协同自动驾驶数据集教程

DAIR-V2X 是首个真实世界的车路协同自动驾驶数据集，包含71,254帧图像数据和71,254帧点云数据，为车辆-基础设施协同自动驾驶研究提供了丰富的多模态多视角数据资源。

环境准备与安装

在开始使用DAIR-V2X之前，需要安装必要的依赖包：

pip install mmdetection3d==0.17.1

由于pypcd包与Python3不兼容，需要手动安装修改版本：

git clone https://github.com/klintan/pypcd.git
cd pypcd
python setup.py install

数据集下载与组织

从官方网站下载DAIR-V2X-C数据集后，按照以下目录结构组织数据：

cooperative-vehicle-infrastructure/
├── infrastructure-side/
│   ├── image/
│   ├── velodyne/
│   ├── calib/
│   ├── label/
│   └── data_info.json
├── vehicle-side/
│   ├── image/
│   ├── velodyne/
│   ├── calib/
│   ├── label/
│   └── data_info.json
└── cooperative/
    ├── label_world/
    └── data_info.json

创建数据集的符号链接：

cd dair-v2x
mkdir ./data/DAIR-V2X
ln -s ${DAIR-V2X-C_DATASET_ROOT}/cooperative-vehicle-infrastructure ./data/DAIR-V2X

基准测试评估示例

以下是一个评估TCLF在VIC-Async-2数据集上的示例：

cd v2x
bash scripts/eval_lidar_late_fusion_pointpillars.sh 0 late_fusion 2 0 100

或者使用详细的参数配置：

DATA="../data/DAIR-V2X/cooperative-vehicle-infrastructure"
OUTPUT="../cache/vic-late-lidar"

python eval.py \
  --input $DATA \
  --output $OUTPUT \
  --model late_fusion \
  --dataset vic-async \
  --k 2 \
  --split val \
  --inf-config-path ../configs/vic3d/late-fusion-pointcloud/pointpillars/trainval_config_i.py \
  --veh-config-path ../configs/vic3d/late-fusion-pointcloud/pointpillars/trainval_config_v.py \
  --device 0 \
  --pred-class car \
  --sensortype lidar

数据可视化

DAIR-V2X提供了丰富的可视化工具来展示3D标签和预测结果。

图像中的3D标签可视化

python tools/visualize/vis_label_in_image.py --path ${data_root} --output-file ./vis_results

点云中的3D标签可视化

python tools/visualize/vis_label_in_3d.py --task pcd_label --pcd-path ${pcd_path} --label-path ${label_json_path}

预测结果可视化

评估完成后，可以使用以下命令可视化标签和VIC3D预测：

python tools/visualize/vis_label_in_3d.py --task fusion --path v2x/cache/vic-late-lidar --id 0

基准测试结果

DAIR-V2X数据集支持多种模态和融合策略的基准测试：

模态	融合策略	模型	数据集	性能指标
图像	车辆单独	ImvoxelNet	VIC-Sync	AP-3D: 9.13
点云	早期融合	PointPillars	VIC-Sync	AP-3D: 62.61
点云	晚期融合	PointPillars	VIC-Async-2	AP-3D: 52.43

应用场景

DAIR-V2X数据集支持多种车路协同自动驾驶应用场景：

1. 车辆-基础设施协同感知：通过分析车辆和基础设施传感器的数据，提高自动驾驶系统的全局视角和感知能力
2. 3D物体检测：利用丰富的3D物体标注数据训练和评估3D物体检测算法
3. 轨迹预测：基于序列化数据进行车辆轨迹预测研究

最佳实践建议

• 数据预处理：在进行数据分析前，确保对数据进行适当的清洗和格式转换
• 模型选择：根据具体任务选择合适的模型架构和融合策略
• 性能评估：定期评估模型性能，确保在实际应用中的有效性
• 可视化验证：充分利用提供的可视化工具验证数据质量和模型预测结果

通过本教程，您可以快速上手DAIR-V2X数据集，开始车路协同自动驾驶的研究和开发工作。