PaddleDetection 多目标跟踪数据集下载与准备全指南(行人/车辆/人头/多类别)
PaddleDetection 多目标跟踪数据集下载与准备全指南(行人/车辆/人头/多类别)
多目标跟踪(MOT)任务的成败高度依赖数据:检测器与 ReID 模型的训练、评估和推理都建立在数据集正确下载与组织之上。本指南以 PaddleDetection 官方整理的 MOT 数据集下载汇总为核心,按行人跟踪、车辆跟踪、人头跟踪、多类别跟踪四类场景给出全部下载链接、放置规范与目录结构,并结合仓库内 configs/datasets/mot.yml、mcmot.yml 等真实配置讲解 SDE / JDE / MCMOT 三类数据集的接入方式。读完本文,你将能独立完成 MOT17、HT21、VisDrone-MOT、AIC21 等主流跟踪数据集的下载、解压、目录编排与训练配置接入。
一、数据集下载汇总:官方整理的一站式清单
PaddleDetection 团队在 configs/mot/DataDownload.md 中维护了一份 MOT 数据集的集中下载清单,所有压缩包统一托管在百度 BOS 对象存储(bj.bcebos.com/v1/paddledet/data/mot/)下,按跟踪目标类别分为四类。全部链接如下(原文档完整继承):
1. 行人跟踪数据集
| 数据集 | 下载链接 | 备注 |
|---|---|---|
| MOT17 | https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip |
- |
| MOT16 | https://bj.bcebos.com/v1/paddledet/data/mot/MOT16.zip |
- |
| Caltech | https://bj.bcebos.com/v1/paddledet/data/mot/Caltech.zip |
- |
| Cityscapes | https://bj.bcebos.com/v1/paddledet/data/mot/Cityscapes.zip |
- |
| CUHKSYSU | https://bj.bcebos.com/v1/paddledet/data/mot/CUHKSYSU.zip |
- |
| PRW | https://bj.bcebos.com/v1/paddledet/data/mot/PRW.zip |
- |
| ETHZ | https://bj.bcebos.com/v1/paddledet/data/mot/ETHZ.zip |
- |
2. 车辆跟踪数据集
| 数据集 | 下载链接 | 备注 |
|---|---|---|
| AICity21(AIC21 MTMCT) | https://bj.bcebos.com/v1/paddledet/data/mot/aic21mtmct_vehicle.zip |
跨镜头车辆跟踪 |
3. 人头跟踪数据集
| 数据集 | 下载链接 | 备注 |
|---|---|---|
| HT21(Head Tracking 21) | https://bj.bcebos.com/v1/paddledet/data/mot/HT21.zip |
高人群密度拥挤场景 |
4. 多类别跟踪数据集
| 数据集 | 下载链接 | 备注 |
|---|---|---|
| VisDrone-MOT | https://bj.bcebos.com/v1/paddledet/data/mot/visdrone_mcmot.zip |
10 类目标,无人机视角 |
除上述汇总外,仓库相关文档还提供了一些补充资源:
visdrone_mcmot_vehicle.zip(VisDrone 抽出 4 类车辆子集,见 configs/mot/mcfairmot/README_cn.md)、image_lists.zip(JDE/MIX 训练的图像列表索引,见 configs/mot/README.md)、以及 MTMCT 的demo/mtmct-demo.tar小规模演示数据(见 configs/mot/mtmct/README_cn.md),读者可按需取用。
二、统一放置规范:dataset/mot 目录
无论使用哪一类数据集,解压后都必须统一放置在仓库的 dataset/mot/ 目录下。这是 PaddleDetection 所有 MOT 相关配置文件的默认数据根目录约定,从 configs/datasets/mot.yml 可以看到:
TrainDataset:
!MOTDataSet
dataset_dir: dataset/mot
image_lists: ['mot17.train', 'caltech.all', 'cuhksysu.train', 'prw.train', 'citypersons.train', 'eth.train']
data_fields: ['image', 'gt_bbox', 'gt_class', 'gt_ide']
其中的 dataset_dir: dataset/mot 即指向该统一目录;configs/datasets/mcmot.yml 中的 !MCMOTDataSet 同样以 dataset/mot 为根,并通过 image_lists: ['visdrone_mcmot.train'] 指定多类别跟踪的训练图像索引。因此,下载 → 解压 → 放入 dataset/mot 是接入训练的第一步,任何偏离都会导致数据集路径解析失败。
三、按跟踪任务理解数据集选型(SDE / JDE / MCMOT)
数据下载后,需根据所用算法系列确定数据组织方式。configs/mot/README.md 明确将 MOT 数据集划分为两类:
- SDE 系列(纯检测标注):仅含检测框标注,供 DeepSORT、ByteTrack、OC-SORT、BoT-SORT、CenterTrack 等分离式算法使用(不加 ReID 时即纯检测数据集);
- JDE 系列(检测 + ReID 联合标注):同时具有检测框与 ID 标注,供 FairMOT、JDE 等联合式算法使用,也兼容 SDE 系列。
而多类别跟踪(MCMOT)则使用 10 类的 VisDrone-MOT 数据(!MCMOTDataSet,见 configs/datasets/mcmot.yml),这是对原论文单类别跟踪的扩展,配合 MCFairMOT、ByteTrack 的多类别版本使用。
由于 JDE 算法必须同时拥有检测与 ReID 标注,而标注成本较高,官方选型建议是:如果数据集只有检测框标注而无 ReID 标注,无法使用 JDE 系列训练,更推荐 SDE 系列。数据下载前请先据此确认所选用数据集的标注类型是否满足算法要求。
四、SDE 数据集接入示例:以 MOT17 为例
对于 SDE 系列(纯检测标注),直接下载并解压即可使用。以 MOT17 为例(摘自 configs/mot/README.md):
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip
解压后目录结构为:
dataset/mot
|——————MOT17
|——————annotations
|——————images
随后修改配置文件中数据集部分:
num_classes: 1
TrainDataset:
!COCODataSet
dataset_dir: dataset/mot/MOT17
anno_path: annotations/train_half.json
image_dir: images/train
data_fields: ['image', 'gt_bbox', 'gt_class', 'is_crowd']
EvalDataset:
!COCODataSet
dataset_dir: dataset/mot/MOT17
anno_path: annotations/val_half.json
image_dir: images/train
TestDataset:
!ImageFolder
dataset_dir: dataset/mot/MOT17
anno_path: annotations/val_half.json
注意其中 train_half.json / val_half.json 是 PaddleDetection 团队对 MOT17 官方 train 序列做的二分切分(一半训练、一半评估),这一约定同样体现在 configs/mot/bytetrack/base/mot17.yml 等基础配置中。而用于 MOT 指标评测的 EvalMOTDataset 则默认指向 data_root: MOT16/images/train(configs/datasets/mot.yml),如需更换评测集,直接修改 data_root 即可。
五、JDE / MIX 数据集接入:image_lists + 七个公开数据集
JDE 系列(如 FairMOT、JDE)使用的 MIX 数据集是原论文(JDE / FairMOT)采用的训练组合,包含 Caltech Pedestrian、CityPersons、CUHK-SYSU、PRW、ETHZ、MOT17 和 MOT16,其中前 6 者联合参与训练,MOT16 作为评测数据集。
5.1 下载 image_lists 索引
wget https://bj.bcebos.com/v1/paddledet/data/mot/image_lists.zip
解压后放在 dataset/mot 目录下,其中包含各数据集的图像列表文件:
dataset/mot
|——————image_lists
|——————caltech.all
|——————citypersons.train
|——————cuhksysu.train
|——————eth.train
|——————mot16.train
|——————mot17.train
|——————prw.train
这些列表文件名正是 configs/datasets/mot.yml 中 image_lists: ['mot17.train', 'caltech.all', 'cuhksysu.train', 'prw.train', 'citypersons.train', 'eth.train'] 的取值来源——配置项与 image_lists 目录下的文件一一对应,缺一不可。
5.2 下载 MIX 全部子数据集
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Caltech.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/CUHKSYSU.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/PRW.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Cityscapes.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/ETHZ.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT16.zip
全部解压到 dataset/mot 后,最终目录为:
dataset/mot
|——————image_lists
|——————Caltech
|——————Cityscapes
|——————CUHKSYSU
|——————ETHZ
|——————MOT16
|——————MOT17
|——————PRW
5.3 JDE 数据集的统一标注格式
MIX 各子数据集遵循同一结构(以 MOT17 为例):
MOT17
|——————images
| └——————train
| └——————test
└——————labels_with_ids
└——————train
标注路径与图像路径一一对应:给定图像路径,将字符串 images 替换为 labels_with_ids、将 .jpg 替换为 .txt,即可得到对应标注文件。每行描述一个边界框,格式为:
[class] [identity] [x_center] [y_center] [width] [height]
字段含义:
class:类别 id,从0开始计;MIX 为单类别行人跟踪,即为0(该格式同样支持多类别扩展);identity:从1到num_identities的整数(数据集中所有视频/图片序列不同物体实例的总数);若该框没有 identity 标注则为-1;x_center / y_center / width / height:中心点坐标与宽高,均以图片宽高归一化,取值为 0 到 1 的浮点数。
MIX 数据集及其子数据集均为单类别行人跟踪数据,可视为在行人检测数据基础上增加了 id 标注。用户自定义的垂类数据集(如车辆、人头)也需处理成相同格式,可参照 configs/mot/vehicle/README_cn.md、configs/mot/headtracking21/README_cn.md、configs/mot/pedestrian/README_cn.md 中的处理流程(例如对 VisDrone2019-MOT 抽取指定类别生成
images/+labels_with_ids/结构)。
六、人头跟踪 HT21 的接入
人头跟踪针对高人群密度拥挤场景设计,HT-21 数据集所有序列帧率为 25fps,覆盖不同光线和环境条件下的室内外拥挤场景。下载命令:
wget https://bj.bcebos.com/v1/paddledet/data/mot/HT21.zip
解压放入 dataset/mot/ 后,其训练配置见 configs/mot/bytetrack/base/ht21.yml:
TrainDataset:
!COCODataSet
image_dir: images/train
anno_path: annotations/train.json
dataset_dir: dataset/mot/HT21
data_fields: ['image', 'gt_bbox', 'gt_class', 'is_crowd']
EvalDataset:
!COCODataSet
image_dir: images/train
anno_path: annotations/val_half.json
dataset_dir: dataset/mot/HT21
EvalMOTDataset:
!MOTImageFolder
dataset_dir: dataset/mot
data_root: HT21/images/test
keep_ori_im: True # set as True in DeepSORT and ByteTrack
可见 HT21 既提供了检测/评估用的 COCO 格式 train.json、val_half.json,也保留 MOT 评测用的 HT21/images/test 结构。官方在 configs/mot/headtracking21/README_cn.md 中特别说明:HT-21 Test 集的结果需要提交到 MOT Challenge 官网评测,本仓库提供的权重在 Test 集上的 MOTA 成绩(如 ByteTrack-x 72.6)即为官方评测结果,读者无法在本机直接复现该数值,训练与评估仅限 val 集。
七、车辆与跨镜头跟踪 AIC21 MTMCT 的接入
车辆跟踪的 AICity21 数据对应 AIC21 MTMCT(CityFlow)跨镜头车辆跟踪任务,下载链接为:
wget https://bj.bcebos.com/v1/paddledet/data/mot/aic21mtmct_vehicle.zip
该数据集原始目录(AIC21_Track3_MTMC_Tracking)包含 train(S01/S03/S04)、validation(S02/S05)、test(S06)等场景,S06 场景下为 c041~c046 共 6 个摄像头视频,需按 configs/mot/mtmct/README_cn.md 处理成如下 MOT 格式:
aic21mtmct_vehicle/
├── S01
│ ├── gt/gt.txt
│ └── images
│ ├── c001
│ │ ├── img1/0000001.jpg ...
│ │ └── roi.jpg
│ ├── c002 ...
│ └── c006
├── ...
└── S06
├── images/c041/img1/...
└── zone/c041.png ... # 仅测试集 S06 使用 camera tricks 时
对原始数据集,仓库提供了提取脚本 configs/mot/mtmct/gen_aicity_mtmct_data.py,可按如下方式生成 S01 场景验证集:
python gen_aicity_mtmct_data.py ./AIC21_Track3_MTMC_Tracking/train/S01
此外,官方还提供 AIC21 MTMCT 中 S01 场景抽取的极小 demo 测试集 https://paddledet.bj.bcebos.com/data/mot/demo/mtmct-demo.tar,配合 deploy/pptracking/python/mot_sde_infer.py --mtmct_dir=mtmct-demo 即可快速体验跨镜头跟踪流程。
八、多类别跟踪 VisDrone-MOT 的接入
多类别跟踪使用 VisDrone2019-MOT 数据(10 类目标),下载:
wget https://bj.bcebos.com/v1/paddledet/data/mot/visdrone_mcmot.zip
其训练配置见 configs/datasets/mcmot.yml:
metric: MCMOT
num_classes: 10
TrainDataset:
!MCMOTDataSet
dataset_dir: dataset/mot
image_lists: ['visdrone_mcmot.train']
data_fields: ['image', 'gt_bbox', 'gt_class', 'gt_ide']
label_list: label_list.txt
EvalMOTDataset:
!MOTImageFolder
dataset_dir: dataset/mot
data_root: visdrone_mcmot/images/val
keep_ori_im: False # set True if save visualization images or video, or used in DeepSORT
与单类别不同,MCMOT 使用 !MCMOTDataSet,通过 label_list.txt 维护 10 个类别名,且 num_classes 相应改为 10。官方评估结果为 10 类目标的平均 MOTA(configs/mot/mcfairmot/README_cn.md)。多类别跟踪结果的 txt 每行格式为 frame,id,x1,y1,w,h,score,cls_id,-1,-1,比单类别多出 cls_id 一列。
九、使用前须知与注意事项
- License 约束:MIX 数据集(Caltech、CityPersons、CUHK-SYSU、PRW、ETHZ、MOT17、MOT16)为 JDE / FairMOT 原论文所用数据集,如需使用请遵循各数据集原始 License;AIC21 数据同样有 DataLicenseAgreement。
- 目录必须一致:所有压缩包解压后均应放入
dataset/mot/,且目录名与配置文件中的dataset_dir/data_root严格对应(MOT17、HT21、visdrone_mcmot、aic21mtmct_vehicle 等)。 - image_lists 不可遗漏:JDE/MIX 训练依赖
image_lists目录下的 7 个列表文件,它们与 configs/datasets/mot.yml 的image_lists配置一一对应。 - 评测差异:HT21 Test 集需提交官网评测;MOT17 等数据集本仓库使用
train_half/val_half的官方切分进行本地训练与验证,见 configs/mot/bytetrack/base/mot17.yml。 - 垂类数据二次加工:车辆/行人垂类数据(如 VisDrone、BDD100K)需从原始数据集抽取指定类别并转成
images/+labels_with_ids/的 MOT 格式,具体脚本说明见 configs/mot/vehicle/README_cn.md 与 configs/mot/pedestrian/README_cn.md。
十、延伸阅读
- MOT 算法总览、SDE/JDE 选型与数据准备完整流程:configs/mot/README.md
- MOT 数据集配置定义:configs/datasets/mot.yml、configs/datasets/mcmot.yml
- 人头跟踪模型与训练评估命令:configs/mot/headtracking21/README_cn.md
- 车辆跟踪数据抽取与模型:configs/mot/vehicle/README_cn.md
- 跨镜头跟踪数据组织与推理:configs/mot/mtmct/README_cn.md
- 多类别跟踪模型库:configs/mot/mcfairmot/README_cn.md
- 数据集下载汇总(本文主文档):configs/mot/DataDownload.md