PaddleDetection 多目标跟踪数据集准备全指南:SDE/JDE 数据格式、公开数据集下载与自定义数据集制作

原创2026-09-22 10:11:221,903 阅读
文章标签:计算机视觉深度学习人工智能机器学习模型量化模型蒸馏

PaddleDetection 多目标跟踪数据集准备全指南:SDE/JDE 数据格式、公开数据集下载与自定义数据集制作

多目标跟踪(MOT)与单帧目标检测最大的区别在于数据本身:除了每一帧的目标框,还必须携带跨帧的身份(identity)标注,用于训练“检测 + 关联”的完整链路。本文以 PaddleDetection 的 MOT 数据集准备文档 为核心,完整梳理 SDE 与 JDE 两大数据体系的数据要求、公开数据集下载方式、MOT17 目录与标注格式规范,并深入到 MOTDataSet 源码 与 gen_labels_MOT.py 转换脚本,帮助你在读完本文后能够:判断自己的数据适合哪一类算法、正确下载并组织 MOT 公开数据集、以及从零制作一套可被 PaddleDetection 直接训练的自定义 MOT 数据集。

一、算法选型:先看数据,再选模型

PaddleDetection 的 MOT 模型库分为 SDE 与 JDE 两大系列,二者对数据标注的要求截然不同:

  • SDE(Separate Detection and Embedding,分离式检测与重识别)

    • ByteTrack:检测 + 可选的 ReID,默认不加 ReID 权重
    • DeepSORT:检测 + ReID,必须额外添加 ReID 权重一起执行
  • JDE(Joint Detection and Embedding,联合检测与重识别)

    • JDE:单类别多目标跟踪
    • FairMOT:单类别多目标跟踪
    • MCFairMOT:多类别多目标跟踪

PaddleDetection 团队给出的选型总结如下:

MOT 方式 经典算法 算法流程 数据集要求 其他特点
SDE 系列 DeepSORT、ByteTrack 分离式,两个独立模型权重先检测后 ReID,也可不加 ReID 检测和 ReID 数据相对独立,不加 ReID 时即纯检测数据集 检测和 ReID 可分别调优,鲁棒性较高,AI 竞赛常用
JDE 系列 FairMOT 联合式,一个模型权重端到端同时检测和 ReID 必须同时具有检测和 ReID 标注 检测和 ReID 联合训练,不易调优,泛化性不强

选型前的三条关键提醒:

  1. 数据集要求优先于算法偏好。数据标注成本较高,如果数据集只有检测框而没有 ReID 标注,则无法用于 JDE 系列训练,此时更推荐 SDE 系列;
  2. SDE 系列在检测器精度足够高时,也可以不依赖 ReID 权重完成物体间的长时序关联,可参考 ByteTrack 的做法;
  3. 从耗时上看(与参数量、计算量相关):不使用 ReID 的 SDE 系列 < JDE 系列 < 使用 ReID 的 SDE 系列。

从源码看,num_classes 与 data_fields 的差异也印证了这一点:SDE 的检测训练配置(如 mot17.yml)只读取 gt_bbox、gt_class 等纯检测字段;而 JDE 训练配置(如 configs/datasets/mot.yml)中 MOTDataSet 的 data_fields 必须包含 'gt_ide'(即身份 id),这就是“必须同时具有检测和 ReID 标注”在配置层的直接体现。

二、MOT 公开数据集准备

PaddleDetection 团队提供了众多公开数据集或整理后数据集的下载链接,汇总于 数据集下载汇总,覆盖行人跟踪(MOT17/MOT16/Caltech/Cityscapes/CUHKSYSU/PRW/ETHZ)、车辆跟踪(AICity21)、人头跟踪(HT21)以及多类别跟踪(VisDrone-MOT)。所有压缩包均解压到 PaddleDetection/dataset/mot 目录下即可。

根据模型选型,MOT 数据集分为两类:纯检测框标注的数据集(仅 SDE 系列可用)与同时具备检测和 ReID 标注的数据集(SDE、JDE 均可用)。

2.1 SDE 数据集(纯检测标注)

SDE 数据集是纯检测标注的数据集,训练数据组织形式与目标检测一致,自定义数据集可参照 DET 数据准备文档。

以 MOT17 为例,下载并解压到 PaddleDetection/dataset/mot 目录下:

wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip

解压后目录结构如下:

dataset/mot
        |——————MOT17
                |——————annotations
                |——————images

随后将配置文件中数据集部分修改为(与 mot17.yml 一致):

num_classes: 1

TrainDataset:
  !COCODataSet
    dataset_dir: dataset/mot/MOT17
    anno_path: annotations/train_half.json
    image_dir: images/train
    data_fields: ['image', 'gt_bbox', 'gt_class', 'is_crowd']

EvalDataset:
  !COCODataSet
    dataset_dir: dataset/mot/MOT17
    anno_path: annotations/val_half.json
    image_dir: images/train

TestDataset:
  !ImageFolder
    dataset_dir: dataset/mot/MOT17
    anno_path: annotations/val_half.json

需要说明的是:

  • train_half.json / val_half.json 是 MOT17 的 half 划分:MOT17 的 train 序列(共 7 个)每个视频的前一半帧作为 train_half 训练集,后一半帧作为 val_half 验证集,用于在训练集上直接评估精度;
  • 除训练/评估外,ByteTrack、DeepSORT 这类 SDE 方案还常额外配置 EvalMOTDataset/TestMOTDataset 为 !MOTImageFolder(如 mot17.yml 中 data_root: MOT17/images/half、keep_ori_im: True),用于 MOT 指标评测与可视化推理;
  • 若希望使用多源联合检测数据,可参考 mix_mot_ch.yml(MOT17 + CrowdHuman 联合)与 mix_det.yml(MOT17 + CrowdHuman + Cityscapes + ETHZ 联合)的写法。

2.2 JDE 数据集(检测 + ReID 联合标注)

JDE 数据集需要同时具备检测与 ReID 标注。首先下载 image_lists.zip 并解压到 PaddleDetection/dataset/mot 目录下(该文件是各数据集的图像列表,供多源数据集联合训练时索引图片使用):

wget https://bj.bcebos.com/v1/paddledet/data/mot/image_lists.zip

随后依次下载各公开数据集,同样解压到 dataset/mot 目录:

# MIX 数据,同 JDE、FairMOT 论文使用的数据集
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Caltech.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/CUHKSYSU.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/PRW.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Cityscapes.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/ETHZ.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT16.zip

最终目录结构为:

dataset/mot
  |——————image_lists
            |——————caltech.all
            |——————citypersons.train
            |——————cuhksysu.train
            |——————eth.train
            |——————mot16.train
            |——————mot17.train
            |——————prw.train
  |——————Caltech
  |——————Cityscapes
  |——————CUHKSYSU
  |——————ETHZ
  |——————MOT16
  |——————MOT17
  |——————PRW

JDE 数据集的统一格式

这些数据集遵循统一结构(以 MOT17 为例):

MOT17
   |——————images
   |        └——————train
   |        └——————test
   └——————labels_with_ids
            └——————train

所有数据集的标注都以统一格式提供:每张图片对应一个标注文本文件。给定图像路径,将字符串 images 替换为 labels_with_ids、将 .jpg 替换为 .txt,即可得到标注文件路径。标注文本中每行描述一个边界框:

[class] [identity] [x_center] [y_center] [width] [height]

各字段含义:

  • class:类别 id,从 0 开始计数,支持单类别与多类别(单类别即为 0);
  • identity:从 1 到 num_identities 的整数(num_identities 是数据集中所有视频或图片序列不同物体实例的总数);若该框没有 identity 标注则为 -1;
  • [x_center] [y_center] [width] [height]:中心点坐标与宽高,均以图片宽/高归一化,为 0 到 1 的浮点数。

该“替换路径”规则在源码中同样存在:MOTDataSet.parse_dataset 通过 x.replace('images', 'labels_with_ids').replace('.png', '.txt').replace('.jpg', '.txt') 由图像路径生成标注路径,见 ppdet/data/source/mot.py。

关于 MIX 数据集的补充说明:

  • MIX 数据集是 JDE 与 FairMOT 原论文使用的数据集,包含 Caltech Pedestrian、CityPersons、CUHK-SYSU、PRW、ETHZ、MOT17、MOT16 七个子集。训练时使用前 6 者联合训练,MOT16 作为评测数据集。若使用这些数据集,请遵循各自的 License;
  • MIX 及其子数据集均为单类别行人跟踪数据集,可理解为在行人检测数据基础上多了 id 号标注;
  • 更多垂类场景(车辆、人头等)需要将数据整理成与 MIX 相同的格式,可参考 数据集下载汇总、车辆跟踪、人头跟踪 以及更通用的 行人跟踪。

JDE 训练时,image_lists 通过 configs/datasets/mot.yml 中的 !MOTDataSet 配置指定:

metric: MOT
num_classes: 1

# for MOT training
TrainDataset:
  !MOTDataSet
    dataset_dir: dataset/mot
    image_lists: ['mot17.train', 'caltech.all', 'cuhksysu.train', 'prw.train', 'citypersons.train', 'eth.train']
    data_fields: ['image', 'gt_bbox', 'gt_class', 'gt_ide']

# for MOT evaluation
EvalMOTDataset:
  !MOTImageFolder
    dataset_dir: dataset/mot
    data_root: MOT16/images/train
    keep_ori_im: False # set True if save visualization images or video, or used in DeepSORT

# for MOT video inference
TestMOTDataset:
  !MOTImageFolder
    dataset_dir: dataset/mot
    keep_ori_im: True # set True if save visualization images or video

在 MOTDataSet 的 parse_dataset 实现中(ppdet/data/source/mot.py),程序会依次读取每个 image_lists 中的列表文件,拼接出图像绝对路径;随后解析每个标注文件并统计每个子数据集的 tid_num(身份数量),为每个数据集分配全局的 tid_start_index,从而把多个来源数据集的 identity 编号偏移到互不冲突的全局编号——这就是“多源联合训练”能够在身份空间上成立的关键机制。

三、用户自定义数据集准备

3.1 SDE 系列自定义数据集

如果选择 SDE 方案且自定义数据集为纯检测标注,直接参照 DET 数据准备文档 准备即可,无需任何 MOT 特有格式。

3.2 JDE 系列自定义数据集

如果选择 JDE 方案,数据必须同时具有检测与 ReID 标注,且符合 MOT17 数据集的目录与格式规范:

custom_data
   |——————images
   |        └——————test
   |        └——————train
   |                └——————seq1
   |                |        └——————gt
   |                |        |       └——————gt.txt
   |                |        └——————img1
   |                |        |       └——————000001.jpg
   |                |        |       |——————000002.jpg
   |                |        |       └—————— ...
   |                |        └——————seqinfo.ini
   |                └——————seq2
   |                └——————...
   └——————labels_with_ids
            └——————train
                    └——————seq1
                    |        └——————000001.txt
                    |        |——————000002.txt
                    |        └—————— ...
                    └——————seq2
                    └—————— ...

images 文件夹(原始标注)

  • gt.txt 是原始标注文件,训练实际使用的是 labels_with_ids 文件夹中的标注;
  • img1 文件夹存放按一定帧率抽取的图片序列;
  • seqinfo.ini 是视频信息描述文件,格式如下:
[Sequence]
name=MOT17-02
imDir=img1
frameRate=30
seqLength=600
imWidth=1920
imHeight=1080
imExt=.jpg

gt.txt 中每行描述一个边界框,是未归一化、逗号分隔的原始标注:

[frame_id],[identity],[bb_left],[bb_top],[width],[height],[score],[label],[vis_ratio]

各字段含义:

  • frame_id:当前图片帧序号;
  • identity:从 1 到 num_identities 的整数(num_identities 是当前视频或图片序列不同物体实例的总数);若该框没有 identity 标注则为 -1;
  • bb_left:目标框左边界 x 坐标;
  • bb_top:目标框上边界 y 坐标;
  • width、height:真实的像素宽高;
  • score:当前目标是否进入考虑范围的标志(0 表示该目标在计算中被忽略,1 表示作为活动实例),默认为 1;
  • label:当前目标种类标签,目前仅支持单类别跟踪,默认为 1(MOT16 数据集中存在其他类别标签,均按 ignore 类别计算);
  • vis_ratio:目标被其他目标遮挡后的可见率,0 到 1 的浮点数,默认为 1。

labels_with_ids 文件夹(训练标注)

labels_with_ids 是归一化后的统一训练标注,规则与上文 JDE 统一格式完全一致:每行 [class] [identity] [x_center] [y_center] [width] [height],坐标均为归一化浮点数。

PaddleDetection 在仓库中直接提供了从 MOT 原始格式生成 labels_with_ids 的脚本,在 dataset/mot 目录下执行:

cd dataset/mot
python gen_labels_MOT.py

以 gen_labels_MOT.py 的源码实现来看,转换流程包含几个关键步骤:

  1. 读取视频参数:从每个序列的 seqinfo.ini 中解析 imWidth 与 imHeight(见 gen_labels_MOT.py),供后续坐标归一化使用;
  2. 加载原始标注:用 np.loadtxt(gt_txt, delimiter=',') 读取 gt/gt.txt;
  3. 过滤无效框:跳过 mark == 0(被忽略的目标)以及 label != 1(非目标类别)的行;
  4. 身份重编号:由于每个序列的 identity 从 1 独立编号,脚本维护全局计数器 tid_curr,为跨序列的每个 identity 分配全局唯一编号(见 gen_labels_MOT.py),这与 MOTDataSet.parse_dataset 中的 tid_start_index 偏移逻辑一一对应;
  5. 坐标转换:将 (bb_left, bb_top) 左上角坐标转换为中心点坐标 (x + w/2, y + h/2),再除以 seq_width / seq_height 完成归一化;
  6. 写出标注:按帧号生成 labels_with_ids/train/<seq>/img1/<frame_id>.txt,内容为 class identity x_center y_center width height(class 恒为 0)。

因此,自定义 JDE 数据的制作流程可归纳为:整理 MOT17 目录骨架(gt.txt + img1 + seqinfo.ini)→ 修改脚本顶部的 MOT_data 变量为你的数据目录名 → 运行 python gen_labels_MOT.py 生成归一化标注。

四、训练与评估的完整闭环

数据就绪后,即可按对应算法文档启动训练:

  • SDE 系列(ByteTrack / DeepSORT):python tools/train.py -c configs/mot/bytetrack/bytetrack_ppyoloe.yml,评估使用 python tools/eval_mot.py,其 det_weights 与 reid_weights 会在运行时自动下载(reid_weights 为 None 表示不需要 ReID 权重);
  • JDE 系列(FairMOT / JDE / MCFairMOT):以 fairmot_dla34_30e_1088x608.yml 为例,其 _BASE_ 依次继承 ../../datasets/mot.yml(数据集定义)、optimizer_30e.yml(优化器)与 fairmot_reader_1088x608.yml(数据增强与读取配置);数据读取侧会经过 MOTRandomAffine、LetterBoxResize、Gt2FairMOTTarget 等变换,其中 Gt2FairMOTTarget 将 gt_bbox + gt_ide 转换为 FairMOT 训练所需的 heatmap + box + id 目标张量,是“联合检测与 ReID”训练目标在代码中的落点。

五、引用

若你的工作使用了以下数据集,请引用相应文献:

Caltech:

@inproceedings{ dollarCVPR09peds,
       author = "P. Doll\'ar and C. Wojek and B. Schiele and  P. Perona",
       title = "Pedestrian Detection: A Benchmark",
       booktitle = "CVPR",
       month = "June",
       year = "2009",
       city = "Miami",
}

Citypersons:

@INPROCEEDINGS{Shanshan2017CVPR,
  Author = {Shanshan Zhang and Rodrigo Benenson and Bernt Schiele},
  Title = {CityPersons: A Diverse Dataset for Pedestrian Detection},
  Booktitle = {CVPR},
  Year = {2017}
 }

@INPROCEEDINGS{Cordts2016Cityscapes,
title={The Cityscapes Dataset for Semantic Urban Scene Understanding},
author={Cordts, Marius and Omran, Mohamed and Ramos, Sebastian and Rehfeld, Timo and Enzweiler, Markus and Benenson, Rodrigo and Franke, Uwe and Roth, Stefan and Schiele, Bernt},
booktitle={Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2016}
}

CUHK-SYSU:

@inproceedings{xiaoli2017joint,
  title={Joint Detection and Identification Feature Learning for Person Search},
  author={Xiao, Tong and Li, Shuang and Wang, Bochao and Lin, Liang and Wang, Xiaogang},
  booktitle={CVPR},
  year={2017}
}

PRW:

@inproceedings{zheng2017person,
  title={Person re-identification in the wild},
  author={Zheng, Liang and Zhang, Hengheng and Sun, Shaoyan and Chandraker, Manmohan and Yang, Yi and Tian, Qi},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={1367--1376},
  year={2017}
}

ETHZ:

@InProceedings{eth_biwi_00534,
author = {A. Ess and B. Leibe and K. Schindler and and L. van Gool},
title = {A Mobile Vision System for Robust Multi-Person Tracking},
booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR'08)},
year = {2008},
month = {June},
publisher = {IEEE Press},
keywords = {}
}

MOT-16 & 17:

@article{milan2016mot16,
  title={MOT16: A benchmark for multi-object tracking},
  author={Milan, Anton and Leal-Taix{\'e}, Laura and Reid, Ian and Roth, Stefan and Schindler, Konrad},
  journal={arXiv preprint arXiv:1603.00831},
  year={2016}
}
登录后查看全文
PaddleDetection