Pix2Seq: 开源项目的安装与使用教程

1. 项目介绍

Pix2Seq 是一个基于语言模型的通用目标检测框架，它将目标检测任务视为一个条件语言建模问题。Pix2Seq 通过对像素输入进行编码和解码，生成关于图像中对象的描述序列，包括边界框坐标和类别标签。Pix2Seq 的优势在于其简单性和通用性，可以轻松扩展到不同的领域和应用，如关键点检测、图像字幕和视觉问答等。

2. 项目快速启动

准备工作

在运行 Pix2Seq 代码之前，您需要完成以下准备工作：

1. 克隆 Pix2Seq 代码库：

git clone https://github.com/google-research/pix2seq.git

2. 安装所需的 Python 包：

pip install -r requirements.txt

3. 下载 COCO 数据集注释文件：

wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/captions_train2017_eval_compatible.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/captions_val2017_eval_compatible.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/instances_train2017.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/instances_val2017.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/person_keypoints_train2017.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/person_keypoints_val2017.json -P /tmp/coco_annotations

4. (可选) 如果无法从云端访问预训练检查点，可以手动下载并更新配置文件中的 pretrained_ckpt 路径：

gsutil cp -r gs://cloud_folder local_folder

训练目标检测模型

1. 检查并更新配置文件 config_det_finetune.py，例如 encoder_variant 和 image_size。

2. 运行训练脚本：

python3 run.py --mode=train --model_dir=/tmp/model_dir --config=configs/config_det_finetune.py --config=train.batch_size=32 --config=train.epochs=20 --config=optimization.learning_rate=3e-5

3. (可选) 使用 TensorBoard 查看训练曲线：

tensorboard --logdir=/tmp/model_dir

评估目标检测模型

1. 检查并更新配置文件 config_det_finetune.py，例如 encoder_variant 和 image_size。

2. 设置 checkpoint_dir（如果评估的检查点不在 model_dir 中）。

3. 运行评估脚本：

python3 run.py --mode=eval --model_dir=/tmp/model_dir --config=configs/config_det_finetune.py --config=dataset.coco_annotations_dir=/path/to/annotations --config=eval.batch_size=40

4. (可选) 使用 TensorBoard 查看评估曲线和检测可视化：

tensorboard --logdir=/tmp/model_dir

评估多任务模型

1. 在 configs/config_multi_task.py 中取消注释 checkpoint_dir=get_multi_task_checkpoint_dir() 行。

2. 根据需要更新配置文件中的 image_size。

3. 使用目标检测配置文件运行评估脚本：

python3 run.py --config=configs/config_multi_task.py:object_detection@coco/2017_object_detection/vit-b --model_dir=/tmp/pix2seq_eval_det

4. (可选) 使用检测框评估实例分割和关键点检测：

python3 data/scripts/merge_coco_json_tfrecord.py --tfrecord_path=gs://pix2seq/multi_task/data/coco/tfrecord/val* --annotation_path=$boxes_json_path --output_dir=$box_tfrecords

5. 使用实例分割配置文件运行评估脚本：

python3 run.py --config=configs/config_multi_task.py:instance_segmentation@coco/2017_instance_segmentation/vit-b --val_file_pattern=gs://pix2seq/multi_task/data/coco/det_boxes/vit_b_640x640/*tfrecord --num_samples=8 --model_dir=/tmp/pix2seq_eval_ins

6. 使用关键点检测配置文件运行评估脚本：

python3 run.py --config=configs/config_multi_task.py:keypoint_detection@coco/201