PaddleDetection 多目标跟踪数据集准备全指南:SDE/JDE 数据格式、公开数据集下载与自定义数据集制作
PaddleDetection 多目标跟踪数据集准备全指南:SDE/JDE 数据格式、公开数据集下载与自定义数据集制作
多目标跟踪(MOT)与单帧目标检测最大的区别在于数据本身:除了每一帧的目标框,还必须携带跨帧的身份(identity)标注,用于训练“检测 + 关联”的完整链路。本文以 PaddleDetection 的 MOT 数据集准备文档 为核心,完整梳理 SDE 与 JDE 两大数据体系的数据要求、公开数据集下载方式、MOT17 目录与标注格式规范,并深入到 MOTDataSet 源码 与 gen_labels_MOT.py 转换脚本,帮助你在读完本文后能够:判断自己的数据适合哪一类算法、正确下载并组织 MOT 公开数据集、以及从零制作一套可被 PaddleDetection 直接训练的自定义 MOT 数据集。
一、算法选型:先看数据,再选模型
PaddleDetection 的 MOT 模型库分为 SDE 与 JDE 两大系列,二者对数据标注的要求截然不同:
-
SDE(Separate Detection and Embedding,分离式检测与重识别)
-
JDE(Joint Detection and Embedding,联合检测与重识别)
PaddleDetection 团队给出的选型总结如下:
| MOT 方式 | 经典算法 | 算法流程 | 数据集要求 | 其他特点 |
|---|---|---|---|---|
| SDE 系列 | DeepSORT、ByteTrack | 分离式,两个独立模型权重先检测后 ReID,也可不加 ReID | 检测和 ReID 数据相对独立,不加 ReID 时即纯检测数据集 | 检测和 ReID 可分别调优,鲁棒性较高,AI 竞赛常用 |
| JDE 系列 | FairMOT | 联合式,一个模型权重端到端同时检测和 ReID | 必须同时具有检测和 ReID 标注 | 检测和 ReID 联合训练,不易调优,泛化性不强 |
选型前的三条关键提醒:
- 数据集要求优先于算法偏好。数据标注成本较高,如果数据集只有检测框而没有 ReID 标注,则无法用于 JDE 系列训练,此时更推荐 SDE 系列;
- SDE 系列在检测器精度足够高时,也可以不依赖 ReID 权重完成物体间的长时序关联,可参考 ByteTrack 的做法;
- 从耗时上看(与参数量、计算量相关):
不使用 ReID 的 SDE 系列 < JDE 系列 < 使用 ReID 的 SDE 系列。
从源码看,num_classes 与 data_fields 的差异也印证了这一点:SDE 的检测训练配置(如 mot17.yml)只读取 gt_bbox、gt_class 等纯检测字段;而 JDE 训练配置(如 configs/datasets/mot.yml)中 MOTDataSet 的 data_fields 必须包含 'gt_ide'(即身份 id),这就是“必须同时具有检测和 ReID 标注”在配置层的直接体现。
二、MOT 公开数据集准备
PaddleDetection 团队提供了众多公开数据集或整理后数据集的下载链接,汇总于 数据集下载汇总,覆盖行人跟踪(MOT17/MOT16/Caltech/Cityscapes/CUHKSYSU/PRW/ETHZ)、车辆跟踪(AICity21)、人头跟踪(HT21)以及多类别跟踪(VisDrone-MOT)。所有压缩包均解压到 PaddleDetection/dataset/mot 目录下即可。
根据模型选型,MOT 数据集分为两类:纯检测框标注的数据集(仅 SDE 系列可用)与同时具备检测和 ReID 标注的数据集(SDE、JDE 均可用)。
2.1 SDE 数据集(纯检测标注)
SDE 数据集是纯检测标注的数据集,训练数据组织形式与目标检测一致,自定义数据集可参照 DET 数据准备文档。
以 MOT17 为例,下载并解压到 PaddleDetection/dataset/mot 目录下:
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip
解压后目录结构如下:
dataset/mot
|——————MOT17
|——————annotations
|——————images
随后将配置文件中数据集部分修改为(与 mot17.yml 一致):
num_classes: 1
TrainDataset:
!COCODataSet
dataset_dir: dataset/mot/MOT17
anno_path: annotations/train_half.json
image_dir: images/train
data_fields: ['image', 'gt_bbox', 'gt_class', 'is_crowd']
EvalDataset:
!COCODataSet
dataset_dir: dataset/mot/MOT17
anno_path: annotations/val_half.json
image_dir: images/train
TestDataset:
!ImageFolder
dataset_dir: dataset/mot/MOT17
anno_path: annotations/val_half.json
需要说明的是:
train_half.json/val_half.json是 MOT17 的 half 划分:MOT17 的 train 序列(共 7 个)每个视频的前一半帧作为train_half训练集,后一半帧作为val_half验证集,用于在训练集上直接评估精度;- 除训练/评估外,ByteTrack、DeepSORT 这类 SDE 方案还常额外配置
EvalMOTDataset/TestMOTDataset为!MOTImageFolder(如 mot17.yml 中data_root: MOT17/images/half、keep_ori_im: True),用于 MOT 指标评测与可视化推理; - 若希望使用多源联合检测数据,可参考 mix_mot_ch.yml(MOT17 + CrowdHuman 联合)与
mix_det.yml(MOT17 + CrowdHuman + Cityscapes + ETHZ 联合)的写法。
2.2 JDE 数据集(检测 + ReID 联合标注)
JDE 数据集需要同时具备检测与 ReID 标注。首先下载 image_lists.zip 并解压到 PaddleDetection/dataset/mot 目录下(该文件是各数据集的图像列表,供多源数据集联合训练时索引图片使用):
wget https://bj.bcebos.com/v1/paddledet/data/mot/image_lists.zip
随后依次下载各公开数据集,同样解压到 dataset/mot 目录:
# MIX 数据,同 JDE、FairMOT 论文使用的数据集
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Caltech.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/CUHKSYSU.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/PRW.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Cityscapes.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/ETHZ.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT16.zip
最终目录结构为:
dataset/mot
|——————image_lists
|——————caltech.all
|——————citypersons.train
|——————cuhksysu.train
|——————eth.train
|——————mot16.train
|——————mot17.train
|——————prw.train
|——————Caltech
|——————Cityscapes
|——————CUHKSYSU
|——————ETHZ
|——————MOT16
|——————MOT17
|——————PRW
JDE 数据集的统一格式
这些数据集遵循统一结构(以 MOT17 为例):
MOT17
|——————images
| └——————train
| └——————test
└——————labels_with_ids
└——————train
所有数据集的标注都以统一格式提供:每张图片对应一个标注文本文件。给定图像路径,将字符串 images 替换为 labels_with_ids、将 .jpg 替换为 .txt,即可得到标注文件路径。标注文本中每行描述一个边界框:
[class] [identity] [x_center] [y_center] [width] [height]
各字段含义:
class:类别 id,从0开始计数,支持单类别与多类别(单类别即为0);identity:从1到num_identities的整数(num_identities是数据集中所有视频或图片序列不同物体实例的总数);若该框没有 identity 标注则为-1;[x_center] [y_center] [width] [height]:中心点坐标与宽高,均以图片宽/高归一化,为 0 到 1 的浮点数。
该“替换路径”规则在源码中同样存在:MOTDataSet.parse_dataset 通过 x.replace('images', 'labels_with_ids').replace('.png', '.txt').replace('.jpg', '.txt') 由图像路径生成标注路径,见 ppdet/data/source/mot.py。
关于 MIX 数据集的补充说明:
- MIX 数据集是 JDE 与 FairMOT 原论文使用的数据集,包含 Caltech Pedestrian、CityPersons、CUHK-SYSU、PRW、ETHZ、MOT17、MOT16 七个子集。训练时使用前 6 者联合训练,MOT16 作为评测数据集。若使用这些数据集,请遵循各自的 License;
- MIX 及其子数据集均为单类别行人跟踪数据集,可理解为在行人检测数据基础上多了 id 号标注;
- 更多垂类场景(车辆、人头等)需要将数据整理成与 MIX 相同的格式,可参考 数据集下载汇总、车辆跟踪、人头跟踪 以及更通用的 行人跟踪。
JDE 训练时,image_lists 通过 configs/datasets/mot.yml 中的 !MOTDataSet 配置指定:
metric: MOT
num_classes: 1
# for MOT training
TrainDataset:
!MOTDataSet
dataset_dir: dataset/mot
image_lists: ['mot17.train', 'caltech.all', 'cuhksysu.train', 'prw.train', 'citypersons.train', 'eth.train']
data_fields: ['image', 'gt_bbox', 'gt_class', 'gt_ide']
# for MOT evaluation
EvalMOTDataset:
!MOTImageFolder
dataset_dir: dataset/mot
data_root: MOT16/images/train
keep_ori_im: False # set True if save visualization images or video, or used in DeepSORT
# for MOT video inference
TestMOTDataset:
!MOTImageFolder
dataset_dir: dataset/mot
keep_ori_im: True # set True if save visualization images or video
在 MOTDataSet 的 parse_dataset 实现中(ppdet/data/source/mot.py),程序会依次读取每个 image_lists 中的列表文件,拼接出图像绝对路径;随后解析每个标注文件并统计每个子数据集的 tid_num(身份数量),为每个数据集分配全局的 tid_start_index,从而把多个来源数据集的 identity 编号偏移到互不冲突的全局编号——这就是“多源联合训练”能够在身份空间上成立的关键机制。
三、用户自定义数据集准备
3.1 SDE 系列自定义数据集
如果选择 SDE 方案且自定义数据集为纯检测标注,直接参照 DET 数据准备文档 准备即可,无需任何 MOT 特有格式。
3.2 JDE 系列自定义数据集
如果选择 JDE 方案,数据必须同时具有检测与 ReID 标注,且符合 MOT17 数据集的目录与格式规范:
custom_data
|——————images
| └——————test
| └——————train
| └——————seq1
| | └——————gt
| | | └——————gt.txt
| | └——————img1
| | | └——————000001.jpg
| | | |——————000002.jpg
| | | └—————— ...
| | └——————seqinfo.ini
| └——————seq2
| └——————...
└——————labels_with_ids
└——————train
└——————seq1
| └——————000001.txt
| |——————000002.txt
| └—————— ...
└——————seq2
└—————— ...
images 文件夹(原始标注)
gt.txt是原始标注文件,训练实际使用的是labels_with_ids文件夹中的标注;img1文件夹存放按一定帧率抽取的图片序列;seqinfo.ini是视频信息描述文件,格式如下:
[Sequence]
name=MOT17-02
imDir=img1
frameRate=30
seqLength=600
imWidth=1920
imHeight=1080
imExt=.jpg
gt.txt 中每行描述一个边界框,是未归一化、逗号分隔的原始标注:
[frame_id],[identity],[bb_left],[bb_top],[width],[height],[score],[label],[vis_ratio]
各字段含义:
frame_id:当前图片帧序号;identity:从1到num_identities的整数(num_identities是当前视频或图片序列不同物体实例的总数);若该框没有 identity 标注则为-1;bb_left:目标框左边界 x 坐标;bb_top:目标框上边界 y 坐标;width、height:真实的像素宽高;score:当前目标是否进入考虑范围的标志(0表示该目标在计算中被忽略,1表示作为活动实例),默认为1;label:当前目标种类标签,目前仅支持单类别跟踪,默认为1(MOT16 数据集中存在其他类别标签,均按 ignore 类别计算);vis_ratio:目标被其他目标遮挡后的可见率,0 到 1 的浮点数,默认为1。
labels_with_ids 文件夹(训练标注)
labels_with_ids 是归一化后的统一训练标注,规则与上文 JDE 统一格式完全一致:每行 [class] [identity] [x_center] [y_center] [width] [height],坐标均为归一化浮点数。
PaddleDetection 在仓库中直接提供了从 MOT 原始格式生成 labels_with_ids 的脚本,在 dataset/mot 目录下执行:
cd dataset/mot
python gen_labels_MOT.py
以 gen_labels_MOT.py 的源码实现来看,转换流程包含几个关键步骤:
- 读取视频参数:从每个序列的
seqinfo.ini中解析imWidth与imHeight(见 gen_labels_MOT.py),供后续坐标归一化使用; - 加载原始标注:用
np.loadtxt(gt_txt, delimiter=',')读取gt/gt.txt; - 过滤无效框:跳过
mark == 0(被忽略的目标)以及label != 1(非目标类别)的行; - 身份重编号:由于每个序列的 identity 从 1 独立编号,脚本维护全局计数器
tid_curr,为跨序列的每个 identity 分配全局唯一编号(见 gen_labels_MOT.py),这与MOTDataSet.parse_dataset中的tid_start_index偏移逻辑一一对应; - 坐标转换:将
(bb_left, bb_top)左上角坐标转换为中心点坐标(x + w/2, y + h/2),再除以seq_width/seq_height完成归一化; - 写出标注:按帧号生成
labels_with_ids/train/<seq>/img1/<frame_id>.txt,内容为class identity x_center y_center width height(class 恒为0)。
因此,自定义 JDE 数据的制作流程可归纳为:整理 MOT17 目录骨架(gt.txt + img1 + seqinfo.ini)→ 修改脚本顶部的 MOT_data 变量为你的数据目录名 → 运行 python gen_labels_MOT.py 生成归一化标注。
四、训练与评估的完整闭环
数据就绪后,即可按对应算法文档启动训练:
- SDE 系列(ByteTrack / DeepSORT):
python tools/train.py -c configs/mot/bytetrack/bytetrack_ppyoloe.yml,评估使用python tools/eval_mot.py,其det_weights与reid_weights会在运行时自动下载(reid_weights为None表示不需要 ReID 权重); - JDE 系列(FairMOT / JDE / MCFairMOT):以 fairmot_dla34_30e_1088x608.yml 为例,其
_BASE_依次继承../../datasets/mot.yml(数据集定义)、optimizer_30e.yml(优化器)与fairmot_reader_1088x608.yml(数据增强与读取配置);数据读取侧会经过MOTRandomAffine、LetterBoxResize、Gt2FairMOTTarget等变换,其中Gt2FairMOTTarget将gt_bbox + gt_ide转换为 FairMOT 训练所需的 heatmap + box + id 目标张量,是“联合检测与 ReID”训练目标在代码中的落点。
五、引用
若你的工作使用了以下数据集,请引用相应文献:
Caltech:
@inproceedings{ dollarCVPR09peds,
author = "P. Doll\'ar and C. Wojek and B. Schiele and P. Perona",
title = "Pedestrian Detection: A Benchmark",
booktitle = "CVPR",
month = "June",
year = "2009",
city = "Miami",
}
Citypersons:
@INPROCEEDINGS{Shanshan2017CVPR,
Author = {Shanshan Zhang and Rodrigo Benenson and Bernt Schiele},
Title = {CityPersons: A Diverse Dataset for Pedestrian Detection},
Booktitle = {CVPR},
Year = {2017}
}
@INPROCEEDINGS{Cordts2016Cityscapes,
title={The Cityscapes Dataset for Semantic Urban Scene Understanding},
author={Cordts, Marius and Omran, Mohamed and Ramos, Sebastian and Rehfeld, Timo and Enzweiler, Markus and Benenson, Rodrigo and Franke, Uwe and Roth, Stefan and Schiele, Bernt},
booktitle={Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2016}
}
CUHK-SYSU:
@inproceedings{xiaoli2017joint,
title={Joint Detection and Identification Feature Learning for Person Search},
author={Xiao, Tong and Li, Shuang and Wang, Bochao and Lin, Liang and Wang, Xiaogang},
booktitle={CVPR},
year={2017}
}
PRW:
@inproceedings{zheng2017person,
title={Person re-identification in the wild},
author={Zheng, Liang and Zhang, Hengheng and Sun, Shaoyan and Chandraker, Manmohan and Yang, Yi and Tian, Qi},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
pages={1367--1376},
year={2017}
}
ETHZ:
@InProceedings{eth_biwi_00534,
author = {A. Ess and B. Leibe and K. Schindler and and L. van Gool},
title = {A Mobile Vision System for Robust Multi-Person Tracking},
booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR'08)},
year = {2008},
month = {June},
publisher = {IEEE Press},
keywords = {}
}
MOT-16 & 17:
@article{milan2016mot16,
title={MOT16: A benchmark for multi-object tracking},
author={Milan, Anton and Leal-Taix{\'e}, Laura and Reid, Ian and Roth, Stefan and Schindler, Konrad},
journal={arXiv preprint arXiv:1603.00831},
year={2016}
}