在NuScenes-devkit中创建自定义数据集子集的方法

背景介绍

NuScenes数据集作为自动驾驶领域的重要基准数据集，其完整版本体积庞大，对存储和计算资源要求较高。在实际研究和开发过程中，研究人员经常需要创建自定义的数据子集来满足特定需求，例如硬件资源有限时的模型验证或快速原型开发。

创建自定义子集的必要性

使用完整NuScenes数据集进行模型训练和评估存在几个挑战：

1. 存储空间需求大，完整数据集下载耗时
2. 训练周期长，不利于快速迭代
3. 计算资源要求高，特别是在使用低端显卡时

虽然官方提供了mini数据集，但仅包含10个场景，可能无法充分验证模型性能。因此，创建中等规模的自定义子集成为折中方案。

技术实现方案

方法一：随机采样现有分割

通过NuScenes开发工具包中的splits模块，可以方便地对现有数据集分割进行二次采样：

from nuscenes.utils import splits
import random

# 获取原始分割
train_scenes = splits.train
val_scenes = splits.val

# 随机采样1/10的数据
num_train_scenes = len(train_scenes)
train_scenes = random.sample(train_scenes, num_train_scenes // 10)
num_val_scenes = len(val_scenes)
val_scenes = random.sample(val_scenes, num_val_scenes // 10)

这种方法保持了原始数据分布，实现简单，适合快速创建中等规模子集。

方法二：自定义分割文件

对于更精细的控制，可以创建自定义的splits.json文件：

1. 选择感兴趣的特定场景或样本
2. 按照NuScenes格式创建分割文件
3. 使用get_scenes_of_custom_split函数加载自定义分割

这种方法适合需要特定数据组合的研究场景，如针对特定天气或交通状况的测试。

实际应用建议

在集成到现有项目（如UniAD）时，需要注意：

1. 保持与原始数据相同的目录结构
2. 确保数据加载器能够识别自定义分割
3. 验证数据子集是否保持了原始数据的关键特性

对于训练流程，建议：

• 使用较小学习率
• 增加数据增强
• 监控验证集性能，防止过拟合

注意事项

创建自定义子集时需要考虑：

1. 数据分布的平衡性
2. 场景多样性
3. 关键帧的覆盖率
4. 与完整数据集评估结果的可比性

通过合理设计自定义子集，可以在资源有限的情况下有效开展自动驾驶算法研究和开发。