【亲测免费】 DDAD 自动驾驶深度数据集使用教程

1. 项目介绍

DDAD（Dense Depth for Autonomous Driving）是由丰田研究院（Toyota Research Institute, TRI）开发的一个用于自动驾驶的长距离密集深度估计数据集。该数据集包含了在复杂多样的城市环境中，通过安装在自动驾驶车辆上的高密度LiDAR生成的单目视频和准确的地面真实深度数据。DDAD数据集涵盖了美国（旧金山、湾区、剑桥、底特律、安娜堡）和日本（东京、台场）的城市场景。

DDAD数据集的主要特点包括：

• 长距离深度估计（最远可达250米）
• 高密度LiDAR生成的精确地面真实深度
• 360度全景覆盖
• 多摄像头同步数据

2. 项目快速启动

2.1 数据下载

首先，您需要下载DDAD数据集。数据集分为训练+验证集和测试集。

• 训练+验证集（257 GB，md5 checksum: c0da97967f76da80f86d6f97d0d98904）
• 测试集（即将发布）

下载链接：DDAD数据集下载

2.2 数据加载

使用TRI Dataset Governance Policy (DGP)代码库加载数据集。以下是一个简单的代码示例：

from dgp.datasets import SynchronizedSceneDataset

# 加载同步的摄像头和LiDAR帧
dataset = SynchronizedSceneDataset('<path_to_dataset>/ddad.json', 
                                   datum_names=('lidar', 'CAMERA_01', 'CAMERA_05'), 
                                   generate_depth_from_datum='lidar', 
                                   split='train')

# 遍历数据集
for sample in dataset:
    # 每个样本包含请求的数据列表
    lidar, camera_01, camera_05 = sample[0:3]
    point_cloud = lidar['point_cloud']  # Nx3 numpy ndarray
    image_01 = camera_01['rgb']  # PIL Image
    depth_01 = camera_01['depth']  # (H, W) numpy ndarray，由'lidar'生成

2.3 深度估计模型训练

参考Packnet-SfM代码库（基于PyTorch），了解如何集成和使用DDAD进行深度估计的训练、推理和评估，以及预训练模型的使用。

3. 应用案例和最佳实践

3.1 自动驾驶中的深度估计

DDAD数据集特别适用于自动驾驶中的深度估计任务。通过使用DDAD数据集，研究人员和开发者可以训练和评估各种深度估计模型，从而提高自动驾驶系统的感知能力。

3.2 多传感器融合

DDAD数据集提供了多摄像头和LiDAR的同步数据，非常适合用于多传感器融合的研究。通过融合不同传感器的数据，可以提高深度估计的准确性和鲁棒性。

4. 典型生态项目

4.1 Packnet-SfM

Packnet-SfM是一个基于PyTorch的深度估计模型，特别适用于单目深度估计任务。Packnet-SfM提供了详细的教程和预训练模型，可以与DDAD数据集结合使用。

4.2 DGP（Dataset Governance Policy）

DGP是TRI开发的一个数据集管理工具，用于加载和管理DDAD数据集。DGP提供了丰富的功能，如数据加载、数据预处理、数据可视化等。

通过以上模块的介绍和代码示例，您可以快速上手使用DDAD数据集，并结合相关生态项目进行深度估计的研究和开发。