Pix2Seq: 开源项目的安装与使用教程

2024-09-21 19:09:32作者：姚月梅Lane

**探索视觉与语言的无缝桥梁：Pix2Seq 开源框架** Pix2Seq，源自谷歌研究，是前沿的多任务生成模型平台，利用TensorFlow 2和高效的TPU/GPU支持，将图像像素转化为具有语义意义的序列。此框架不仅为RGB像素赋予含义，更扩展为支持多种视觉任务及其组合，包括自回归和扩散模型的创新应用。最新加入的FitTransformer、扩散模型等组件，极大丰富了其功能，让模型训练和任务执行更为灵活高效。无论是对象检测、实例分割、图像标注还是关键点检测，Pix2Seq都能通过其预训练模型在不同图像尺寸下实现卓越性能。立刻动手，利用丰富的Colab教程开启您的视觉理解之旅，探索如何用 Pix2Seq 穿越视觉与序列的界限，解锁人工智能的新篇章！

项目地址：https://gitcode.com/gh_mirrors/pi/pix2seq

1. 项目介绍

Pix2Seq 是一个基于语言模型的通用目标检测框架，它将目标检测任务视为一个条件语言建模问题。Pix2Seq 通过对像素输入进行编码和解码，生成关于图像中对象的描述序列，包括边界框坐标和类别标签。Pix2Seq 的优势在于其简单性和通用性，可以轻松扩展到不同的领域和应用，如关键点检测、图像字幕和视觉问答等。

2. 项目快速启动

准备工作

在运行 Pix2Seq 代码之前，您需要完成以下准备工作：

克隆 Pix2Seq 代码库：

git clone https://github.com/google-research/pix2seq.git

安装所需的 Python 包：

pip install -r requirements.txt

下载 COCO 数据集注释文件：

wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/captions_train2017_eval_compatible.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/captions_val2017_eval_compatible.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/instances_train2017.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/instances_val2017.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/person_keypoints_train2017.json -P /tmp/coco_annotations
wget https://storage.googleapis.com/pix2seq/multi_task/data/coco/json/person_keypoints_val2017.json -P /tmp/coco_annotations

(可选) 如果无法从云端访问预训练检查点，可以手动下载并更新配置文件中的 pretrained_ckpt 路径：

gsutil cp -r gs://cloud_folder local_folder

训练目标检测模型

检查并更新配置文件 config_det_finetune.py，例如 encoder_variant 和 image_size。
运行训练脚本：

python3 run.py --mode=train --model_dir=/tmp/model_dir --config=configs/config_det_finetune.py --config=train.batch_size=32 --config=train.epochs=20 --config=optimization.learning_rate=3e-5

(可选) 使用 TensorBoard 查看训练曲线：

tensorboard --logdir=/tmp/model_dir

评估目标检测模型

检查并更新配置文件 config_det_finetune.py，例如 encoder_variant 和 image_size。
设置 checkpoint_dir（如果评估的检查点不在 model_dir 中）。
运行评估脚本：

python3 run.py --mode=eval --model_dir=/tmp/model_dir --config=configs/config_det_finetune.py --config=dataset.coco_annotations_dir=/path/to/annotations --config=eval.batch_size=40

(可选) 使用 TensorBoard 查看评估曲线和检测可视化：

tensorboard --logdir=/tmp/model_dir

评估多任务模型

在 configs/config_multi_task.py 中取消注释 checkpoint_dir=get_multi_task_checkpoint_dir() 行。
根据需要更新配置文件中的 image_size。
使用目标检测配置文件运行评估脚本：

python3 run.py --config=configs/config_multi_task.py:object_detection@coco/2017_object_detection/vit-b --model_dir=/tmp/pix2seq_eval_det

(可选) 使用检测框评估实例分割和关键点检测：

python3 data/scripts/merge_coco_json_tfrecord.py --tfrecord_path=gs://pix2seq/multi_task/data/coco/tfrecord/val* --annotation_path=$boxes_json_path --output_dir=$box_tfrecords

使用实例分割配置文件运行评估脚本：

python3 run.py --config=configs/config_multi_task.py:instance_segmentation@coco/2017_instance_segmentation/vit-b --val_file_pattern=gs://pix2seq/multi_task/data/coco/det_boxes/vit_b_640x640/*tfrecord --num_samples=8 --model_dir=/tmp/pix2seq_eval_ins

使用关键点检测配置文件运行评估脚本：

python3 run.py --config=configs/config_multi_task.py:keypoint_detection@coco/201

pix2seq