PaddleDetection 多目标跟踪(MOT)数据集准备全指南:MIX 数据格式、目录规范与自定义数据集构建
PaddleDetection 多目标跟踪(MOT)数据集准备全指南:MIX 数据格式、目录规范与自定义数据集构建
本指南围绕 PaddleDetection 中多目标跟踪(Multi-Object Tracking, MOT)任务的数据集准备展开,完整覆盖 JDE 系列(JDE、FairMOT)训练所用的 MIX 联合数据集下载、labels_with_ids 统一标注格式、MOT 目录规范,以及如何把自定义视频数据转换为与 MOT16 相同格式并通过 gen_labels_MOT.py 生成训练标注。读完本文,你将能够从零搭建一套可被 PaddleDetection MOT 训练与评测流程直接消费的数据集。
MOT 数据集与 MIX 联合数据
PaddleDetection 实现了 JDE 与 FairMOT 等 JDE 系列算法,并沿用了与这两篇论文相同的训练数据 MIX,包含 Caltech Pedestrian、CityPersons、CUHK-SYSU、PRW、ETHZ、MOT17 与 MOT16 共七个公开数据集。其中前六个作为联合训练数据,MOT16 作为评测数据集。如需使用这些数据集,请遵循各数据集的 License。
几点关键说明:
- MOT 数据集通常用于单类别跟踪。DeepSORT、JDE、FairMOT 均为单类别 MOT 模型,MIX 及其子数据集也都是单类别行人跟踪数据集,可以理解为在行人检测数据集的基础上额外增加了
id标注。 - 为训练更多场景的垂类模型,仓库还提供了与 MIX 同格式的垂类数据集与模型,例如车辆跟踪、人头跟踪,以及更通用的行人跟踪。用户自定义数据集也可以参照本文档准备。
- 多类别 MOT 模型为 MCFairMOT,其多类别数据集是 VisDrone 数据集的整合版本。
- 跨镜头多目标跟踪(MTMCT)模型基于 AIC21 MTMCT(CityFlow)多相机车辆跟踪数据集,数据集与模型说明见 MTMCT。
从数据角度理解这一划分:根据模型选型,MOT 数据集分为两类——纯检测框标注的数据集(仅 SDE 系列可用)与同时含检测与 ReID 标注的数据集(SDE 与 JDE 系列均可用)。本文聚焦的 MIX 与自定义 JDE 数据集属于后者。
数据集目录结构
首先下载 image_lists.zip 并解压到 PaddleDetection/dataset/mot:
wget https://bj.bcebos.com/v1/paddledet/data/mot/image_lists.zip
然后下载 MIX 数据集并同样解压到 PaddleDetection/dataset/mot:
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Caltech.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/CUHKSYSU.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/PRW.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Cityscapes.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/ETHZ.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT16.zip
最终目录结构为:
dataset/mot
|——————image_lists
|——————caltech.10k.val
|——————caltech.all
|——————caltech.train
|——————caltech.val
|——————citypersons.train
|——————citypersons.val
|——————cuhksysu.train
|——————cuhksysu.val
|——————eth.train
|——————mot16.train
|——————mot17.train
|——————prw.train
|——————prw.val
|——————Caltech
|——————Cityscapes
|——————CUHKSYSU
|——————ETHZ
|——————MOT16
|——————MOT17
|——————PRW
image_lists 目录下的 .train / .val 文本文件是各子数据集的图像路径清单,训练时由配置文件显式指定使用哪些清单参与联合训练。例如 configs/datasets/mot.yml 中的默认组合为:
TrainDataset:
!MOTDataSet
dataset_dir: dataset/mot
image_lists: ['mot17.train', 'caltech.all', 'cuhksysu.train', 'prw.train', 'citypersons.train', 'eth.train']
data_fields: ['image', 'gt_bbox', 'gt_class', 'gt_ide']
从源码角度看,ppdet/data/source/mot.py 中的 MOTDataSet.parse_dataset 会依次读取 image_lists 中列出的每个清单文件,将其中每一行拼上 dataset_dir 构造成图像路径,并过滤掉空行;随后把图像路径中的字符串 images 替换为 labels_with_ids、把 .png/.jpg 替换为 .txt,得到对应的标注路径。同时它统计每个子数据集的 identity 数量并计算全局起始偏移量 tid_start_index,保证多个子数据集混合训练时不同视频间的 ID 互不冲突——这正是 MIX 这种"多源联合"格式能被单一训练流程消费的关键机制。
JDE 统一标注格式(labels_with_ids)
MIX 的各个子数据集都遵循以下结构:
MOT17
|——————images
| └——————train
| └——————test
└——————labels_with_ids
└——————train
所有数据集的标注以统一格式提供,每张图片对应一个标注文本。给定图像路径,只需将字符串 images 替换为 labels_with_ids、将 .jpg 替换为 .txt 即可得到标注文本路径(该替换规则与 MOTDataSet.parse_dataset 中的实现完全一致)。
标注文本中每一行描述一个边界框,格式如下:
[class] [identity] [x_center] [y_center] [width] [height]
字段说明:
class:类别 id,支持单类别与多类别,从0开始计数,单类别即为0。identity:从1到num_identities的整数(num_identities是数据集中所有视频或图片序列的不同物体实例总数);若该框没有 identity 标注则为-1。[x_center] [y_center] [width] [height]:中心点坐标与宽高,注意它们已按图像的宽/高归一化,因此是取值 0 到 1 的浮点数。
MOTDataSet.parse_dataset 在读取标注时将其 reshape 为 (N, 6) 的矩阵,即每行 [gt_class, gt_identity, cx, cy, w, h],再拆分为 gt_bbox、gt_class、gt_ide 等训练字段;当 gt_ide 大于 -1 时会叠加对应子数据集的 tid_start_index 偏移,实现跨子数据集统一编号。MIX 数据集是单类别行人跟踪数据集,可认为相比行人检测数据集多了 id 号标注。
自定义数据集准备(JDE 格式)
为规范训练与评测,自定义数据需要转换为与 MOT16 相同的目录与格式:
custom_data
|——————images
| └——————test
| └——————train
| └——————seq1
| | └——————gt
| | | └——————gt.txt
| | └——————img1
| | | └——————000001.jpg
| | | |——————000002.jpg
| | | └—————— ...
| | └——————seqinfo.ini
| └——————seq2
| └——————...
└——————labels_with_ids
└——————train
└——————seq1
| └——————000001.txt
| |——————000002.txt
| └—————— ...
└——————seq2
└—————— ...
images 目录
gt.txt是当前视频所有帧的原始标注文件。img1是按一定帧率从视频中抽出的图像文件夹。seqinfo.ini是视频信息描述文件,需符合以下格式:
[Sequence]
name=MOT16-02
imDir=img1
frameRate=30
seqLength=600
imWidth=1920
imHeight=1080
imExt=.jpg
gt.txt 中每行描述一个边界框,格式如下:
[frame_id],[identity],[bb_left],[bb_top],[width],[height],[score],[label],[vis_ratio]
字段说明:
frame_id:当前帧序号。identity:从1到num_identities的整数(num_identities是当前视频或图片序列内不同物体实例的总数);无 identity 标注时为-1。bb_left:目标框左边界的 x 坐标。bb_top:目标框上边界的 y 坐标。width, height:目标框的像素宽高。score:该条目是否纳入评估的标志,值为0表示该实例在评估中被忽略,值为1表示标记为活动实例,默认为1。label:目标类别标签,由于目前仅支持单类别跟踪,默认为1;MOT-16 数据集中还有其他类别,但均按 ignore 类别处理。vis_ratio:目标被其他静态或动态物体遮挡、或因图像边界裁剪后的可见率,取值为 0 到 1 的浮点数,默认为1。
labels_with_ids 目录
标注以统一格式提供,图像路径到标注路径的转换规则与上文相同(images → labels_with_ids,.jpg → .txt)。每行描述一个边界框:
[class] [identity] [x_center] [y_center] [width] [height]
字段说明:
class:类别 id,从0开始,单类别即为0。identity:从1到num_identities的整数(num_identities是数据集中所有视频或图片序列的不同物体实例总数);无 identity 标注时为-1。[x_center] [y_center] [width] [height]:按图像宽高归一化的中心点坐标与宽高,取值 0 到 1 的浮点数。
用 gen_labels_MOT.py 生成训练标注
在 gt.txt、img1、seqinfo.ini 准备完成后,可在仓库提供的脚本辅助下生成 labels_with_ids:
cd dataset/mot
python gen_labels_MOT.py
dataset/mot/gen_labels_MOT.py 的核心逻辑是:以 MOT16/images/train 为序列根目录,遍历每个子序列,从 seqinfo.ini 解析 imWidth 与 imHeight;读取 gt/gt.txt,跳过 mark == 0 或 label != 1 的条目;为每个有效目标维护全局递增的 identity 编号 tid_curr,并把 bb_left/bb_top 形式的左上角坐标转换为 x_center/y_center 中心坐标后按图像宽高归一化,最终写入 labels_with_ids/train/<seq>/img1/<frame_id:06d>.txt,每行格式为 0 <tid> <cx> <cy> <w> <h>。脚本头部注释也说明它可以切换 MOT_data 为 ['MOT15', 'MOT16', 'MOT17', 'MOT20'] 或自定义数据集(按本文档格式准备)。需要注意脚本中的目录均为相对路径,应在 dataset/mot 目录下执行。
引用
使用相关数据集进行学术研究时,请引用原始文献:
Caltech:
@inproceedings{ dollarCVPR09peds,
author = "P. Doll\'ar and C. Wojek and B. Schiele and P. Perona",
title = "Pedestrian Detection: A Benchmark",
booktitle = "CVPR",
month = "June",
year = "2009",
city = "Miami",
}
Citypersons:
@INPROCEEDINGS{Shanshan2017CVPR,
Author = {Shanshan Zhang and Rodrigo Benenson and Bernt Schiele},
Title = {CityPersons: A Diverse Dataset for Pedestrian Detection},
Booktitle = {CVPR},
Year = {2017}
}
@INPROCEEDINGS{Cordts2016Cityscapes,
title={The Cityscapes Dataset for Semantic Urban Scene Understanding},
author={Cordts, Marius and Omran, Mohamed and Ramos, Sebastian and Rehfeld, Timo and Enzweiler, Markus and Benenson, Rodrigo and Franke, Uwe and Roth, Stefan and Schiele, Bernt},
booktitle={Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2016}
}
CUHK-SYSU:
@inproceedings{xiaoli2017joint,
title={Joint Detection and Identification Feature Learning for Person Search},
author={Xiao, Tong and Li, Shuang and Wang, Bochao and Lin, Liang and Wang, Xiaogang},
booktitle={CVPR},
year={2017}
}
PRW:
@inproceedings{zheng2017person,
title={Person re-identification in the wild},
author={Zheng, Liang and Zhang, Hengheng and Sun, Shaoyan and Chandraker, Manmohan and Yang, Yi and Tian, Qi},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
pages={1367--1376},
year={2017}
}
ETHZ:
@InProceedings{eth_biwi_00534,
author = {A. Ess and B. Leibe and K. Schindler and and L. van Gool},
title = {A Mobile Vision System for Robust Multi-Person Tracking},
booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR'08)},
year = {2008},
month = {June},
publisher = {IEEE Press},
keywords = {}
}
MOT-16&17:
@article{milan2016mot16,
title={MOT16: A benchmark for multi-object tracking},
author={Milan, Anton and Leal-Taix{\'e}, Laura and Reid, Ian and Roth, Stefan and Schindler, Konrad},
journal={arXiv preprint arXiv:1603.00831},
year={2016}
}