PaddleDetection 多目标跟踪(MOT)数据集准备全指南:MIX 数据格式、目录规范与自定义数据集构建

原创2026-09-22 12:59:341,952 阅读
文章标签:计算机视觉深度学习人工智能机器学习模型量化模型蒸馏

PaddleDetection 多目标跟踪(MOT)数据集准备全指南:MIX 数据格式、目录规范与自定义数据集构建

本指南围绕 PaddleDetection 中多目标跟踪(Multi-Object Tracking, MOT)任务的数据集准备展开,完整覆盖 JDE 系列(JDE、FairMOT)训练所用的 MIX 联合数据集下载、labels_with_ids 统一标注格式、MOT 目录规范,以及如何把自定义视频数据转换为与 MOT16 相同格式并通过 gen_labels_MOT.py 生成训练标注。读完本文,你将能够从零搭建一套可被 PaddleDetection MOT 训练与评测流程直接消费的数据集。

MOT 数据集与 MIX 联合数据

PaddleDetection 实现了 JDE 与 FairMOT 等 JDE 系列算法,并沿用了与这两篇论文相同的训练数据 MIX,包含 Caltech Pedestrian、CityPersons、CUHK-SYSU、PRW、ETHZ、MOT17 与 MOT16 共七个公开数据集。其中前六个作为联合训练数据,MOT16 作为评测数据集。如需使用这些数据集,请遵循各数据集的 License。

几点关键说明:

  • MOT 数据集通常用于单类别跟踪。DeepSORT、JDE、FairMOT 均为单类别 MOT 模型,MIX 及其子数据集也都是单类别行人跟踪数据集,可以理解为在行人检测数据集的基础上额外增加了 id 标注。
  • 为训练更多场景的垂类模型,仓库还提供了与 MIX 同格式的垂类数据集与模型,例如车辆跟踪、人头跟踪,以及更通用的行人跟踪。用户自定义数据集也可以参照本文档准备。
  • 多类别 MOT 模型为 MCFairMOT,其多类别数据集是 VisDrone 数据集的整合版本。
  • 跨镜头多目标跟踪(MTMCT)模型基于 AIC21 MTMCT(CityFlow)多相机车辆跟踪数据集,数据集与模型说明见 MTMCT。

从数据角度理解这一划分:根据模型选型,MOT 数据集分为两类——纯检测框标注的数据集(仅 SDE 系列可用)与同时含检测与 ReID 标注的数据集(SDE 与 JDE 系列均可用)。本文聚焦的 MIX 与自定义 JDE 数据集属于后者。

数据集目录结构

首先下载 image_lists.zip 并解压到 PaddleDetection/dataset/mot:

wget https://bj.bcebos.com/v1/paddledet/data/mot/image_lists.zip

然后下载 MIX 数据集并同样解压到 PaddleDetection/dataset/mot:

wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT17.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Caltech.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/CUHKSYSU.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/PRW.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/Cityscapes.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/ETHZ.zip
wget https://bj.bcebos.com/v1/paddledet/data/mot/MOT16.zip

最终目录结构为:

dataset/mot
  |——————image_lists
            |——————caltech.10k.val
            |——————caltech.all
            |——————caltech.train
            |——————caltech.val
            |——————citypersons.train
            |——————citypersons.val
            |——————cuhksysu.train
            |——————cuhksysu.val
            |——————eth.train
            |——————mot16.train
            |——————mot17.train
            |——————prw.train
            |——————prw.val
  |——————Caltech
  |——————Cityscapes
  |——————CUHKSYSU
  |——————ETHZ
  |——————MOT16
  |——————MOT17
  |——————PRW

image_lists 目录下的 .train / .val 文本文件是各子数据集的图像路径清单,训练时由配置文件显式指定使用哪些清单参与联合训练。例如 configs/datasets/mot.yml 中的默认组合为:

TrainDataset:
  !MOTDataSet
    dataset_dir: dataset/mot
    image_lists: ['mot17.train', 'caltech.all', 'cuhksysu.train', 'prw.train', 'citypersons.train', 'eth.train']
    data_fields: ['image', 'gt_bbox', 'gt_class', 'gt_ide']

从源码角度看,ppdet/data/source/mot.py 中的 MOTDataSet.parse_dataset 会依次读取 image_lists 中列出的每个清单文件,将其中每一行拼上 dataset_dir 构造成图像路径,并过滤掉空行;随后把图像路径中的字符串 images 替换为 labels_with_ids、把 .png/.jpg 替换为 .txt,得到对应的标注路径。同时它统计每个子数据集的 identity 数量并计算全局起始偏移量 tid_start_index,保证多个子数据集混合训练时不同视频间的 ID 互不冲突——这正是 MIX 这种"多源联合"格式能被单一训练流程消费的关键机制。

JDE 统一标注格式(labels_with_ids)

MIX 的各个子数据集都遵循以下结构:

MOT17
   |——————images
   |        └——————train
   |        └——————test
   └——————labels_with_ids
            └——————train

所有数据集的标注以统一格式提供,每张图片对应一个标注文本。给定图像路径,只需将字符串 images 替换为 labels_with_ids、将 .jpg 替换为 .txt 即可得到标注文本路径(该替换规则与 MOTDataSet.parse_dataset 中的实现完全一致)。

标注文本中每一行描述一个边界框,格式如下:

[class] [identity] [x_center] [y_center] [width] [height]

字段说明:

  • class:类别 id,支持单类别与多类别,从 0 开始计数,单类别即为 0。
  • identity:从 1 到 num_identities 的整数(num_identities 是数据集中所有视频或图片序列的不同物体实例总数);若该框没有 identity 标注则为 -1。
  • [x_center] [y_center] [width] [height]:中心点坐标与宽高,注意它们已按图像的宽/高归一化,因此是取值 0 到 1 的浮点数。

MOTDataSet.parse_dataset 在读取标注时将其 reshape 为 (N, 6) 的矩阵,即每行 [gt_class, gt_identity, cx, cy, w, h],再拆分为 gt_bbox、gt_class、gt_ide 等训练字段;当 gt_ide 大于 -1 时会叠加对应子数据集的 tid_start_index 偏移,实现跨子数据集统一编号。MIX 数据集是单类别行人跟踪数据集,可认为相比行人检测数据集多了 id 号标注。

自定义数据集准备(JDE 格式)

为规范训练与评测,自定义数据需要转换为与 MOT16 相同的目录与格式:

custom_data
   |——————images
   |        └——————test
   |        └——————train
   |                └——————seq1
   |                |        └——————gt
   |                |        |       └——————gt.txt
   |                |        └——————img1
   |                |        |       └——————000001.jpg
   |                |        |       |——————000002.jpg
   |                |        |       └—————— ...
   |                |        └——————seqinfo.ini
   |                └——————seq2
   |                └——————...
   └——————labels_with_ids
            └——————train
                    └——————seq1
                    |        └——————000001.txt
                    |        |——————000002.txt
                    |        └—————— ...
                    └——————seq2
                    └—————— ...

images 目录

  • gt.txt 是当前视频所有帧的原始标注文件。
  • img1 是按一定帧率从视频中抽出的图像文件夹。
  • seqinfo.ini 是视频信息描述文件,需符合以下格式:
[Sequence]
name=MOT16-02
imDir=img1
frameRate=30
seqLength=600
imWidth=1920
imHeight=1080
imExt=.jpg

gt.txt 中每行描述一个边界框,格式如下:

[frame_id],[identity],[bb_left],[bb_top],[width],[height],[score],[label],[vis_ratio]

字段说明:

  • frame_id:当前帧序号。
  • identity:从 1 到 num_identities 的整数(num_identities 是当前视频或图片序列内不同物体实例的总数);无 identity 标注时为 -1。
  • bb_left:目标框左边界的 x 坐标。
  • bb_top:目标框上边界的 y 坐标。
  • width, height:目标框的像素宽高。
  • score:该条目是否纳入评估的标志,值为 0 表示该实例在评估中被忽略,值为 1 表示标记为活动实例,默认为 1。
  • label:目标类别标签,由于目前仅支持单类别跟踪,默认为 1;MOT-16 数据集中还有其他类别,但均按 ignore 类别处理。
  • vis_ratio:目标被其他静态或动态物体遮挡、或因图像边界裁剪后的可见率,取值为 0 到 1 的浮点数,默认为 1。

labels_with_ids 目录

标注以统一格式提供,图像路径到标注路径的转换规则与上文相同(images → labels_with_ids,.jpg → .txt)。每行描述一个边界框:

[class] [identity] [x_center] [y_center] [width] [height]

字段说明:

  • class:类别 id,从 0 开始,单类别即为 0。
  • identity:从 1 到 num_identities 的整数(num_identities 是数据集中所有视频或图片序列的不同物体实例总数);无 identity 标注时为 -1。
  • [x_center] [y_center] [width] [height]:按图像宽高归一化的中心点坐标与宽高,取值 0 到 1 的浮点数。

用 gen_labels_MOT.py 生成训练标注

在 gt.txt、img1、seqinfo.ini 准备完成后,可在仓库提供的脚本辅助下生成 labels_with_ids:

cd dataset/mot
python gen_labels_MOT.py

dataset/mot/gen_labels_MOT.py 的核心逻辑是:以 MOT16/images/train 为序列根目录,遍历每个子序列,从 seqinfo.ini 解析 imWidth 与 imHeight;读取 gt/gt.txt,跳过 mark == 0 或 label != 1 的条目;为每个有效目标维护全局递增的 identity 编号 tid_curr,并把 bb_left/bb_top 形式的左上角坐标转换为 x_center/y_center 中心坐标后按图像宽高归一化,最终写入 labels_with_ids/train/<seq>/img1/<frame_id:06d>.txt,每行格式为 0 <tid> <cx> <cy> <w> <h>。脚本头部注释也说明它可以切换 MOT_data 为 ['MOT15', 'MOT16', 'MOT17', 'MOT20'] 或自定义数据集(按本文档格式准备)。需要注意脚本中的目录均为相对路径,应在 dataset/mot 目录下执行。

引用

使用相关数据集进行学术研究时,请引用原始文献:

Caltech:

@inproceedings{ dollarCVPR09peds,
       author = "P. Doll\'ar and C. Wojek and B. Schiele and  P. Perona",
       title = "Pedestrian Detection: A Benchmark",
       booktitle = "CVPR",
       month = "June",
       year = "2009",
       city = "Miami",
}

Citypersons:

@INPROCEEDINGS{Shanshan2017CVPR,
  Author = {Shanshan Zhang and Rodrigo Benenson and Bernt Schiele},
  Title = {CityPersons: A Diverse Dataset for Pedestrian Detection},
  Booktitle = {CVPR},
  Year = {2017}
 }

@INPROCEEDINGS{Cordts2016Cityscapes,
title={The Cityscapes Dataset for Semantic Urban Scene Understanding},
author={Cordts, Marius and Omran, Mohamed and Ramos, Sebastian and Rehfeld, Timo and Enzweiler, Markus and Benenson, Rodrigo and Franke, Uwe and Roth, Stefan and Schiele, Bernt},
booktitle={Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2016}
}

CUHK-SYSU:

@inproceedings{xiaoli2017joint,
  title={Joint Detection and Identification Feature Learning for Person Search},
  author={Xiao, Tong and Li, Shuang and Wang, Bochao and Lin, Liang and Wang, Xiaogang},
  booktitle={CVPR},
  year={2017}
}

PRW:

@inproceedings{zheng2017person,
  title={Person re-identification in the wild},
  author={Zheng, Liang and Zhang, Hengheng and Sun, Shaoyan and Chandraker, Manmohan and Yang, Yi and Tian, Qi},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={1367--1376},
  year={2017}
}

ETHZ:

@InProceedings{eth_biwi_00534,
author = {A. Ess and B. Leibe and K. Schindler and and L. van Gool},
title = {A Mobile Vision System for Robust Multi-Person Tracking},
booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR'08)},
year = {2008},
month = {June},
publisher = {IEEE Press},
keywords = {}
}

MOT-16&17:

@article{milan2016mot16,
  title={MOT16: A benchmark for multi-object tracking},
  author={Milan, Anton and Leal-Taix{\'e}, Laura and Reid, Ian and Roth, Stefan and Schindler, Konrad},
  journal={arXiv preprint arXiv:1603.00831},
  year={2016}
}
登录后查看全文
PaddleDetection