PolyFormer 项目使用教程

1. 项目介绍

PolyFormer 是一个统一模型，用于图像分割（多边形顶点序列）和引用表达理解（边界框角点）。该项目由亚马逊科学团队开发，旨在通过将图像分割和引用表达理解问题转化为序列到序列（seq2seq）预测问题，提供一种高效的解决方案。PolyFormer 在多个数据集上取得了最先进的结果，并且提供了一个回归解码器，用于精确的坐标预测，直接输出连续的2D坐标，避免了量化误差。

2. 项目快速启动

安装环境

首先，创建并激活一个 Conda 环境：

conda create -n polyformer python=3.7.4
conda activate polyformer

然后，安装项目依赖：

python -m pip install -r requirements.txt

如果遇到 fairseq 的导入错误，可以尝试以下命令：

python -m pip install pip==21.2.4
pip uninstall fairseq
pip install -r requirements.txt

数据准备

预训练数据

创建数据目录并下载数据：

mkdir datasets
mkdir datasets/images
mkdir datasets/annotations

下载 COCO 2014 训练图像、Flickr30K 图像、ReferItGame 图像和 Visual Genome 图像，并解压到 datasets/images 目录。下载预训练数据集的标注文件 instances.json，并存储在 datasets/annotations 目录。

微调数据

按照 refer 目录中的说明设置子目录并下载标注文件。生成微调数据的 tsv 文件：

python data/create_finetuning_data.py

预训练

创建检查点目录并下载预训练权重：

mkdir pretrained_weights

下载 Swin-base、Swin-large 和 BERT-base 的预训练权重，并将其放入 pretrained_weights 目录。运行预训练脚本：

cd run_scripts/pretrain
bash pretrain_polyformer_b.sh  # 预训练 PolyFormer-B 模型
bash pretrain_polyformer_l.sh  # 预训练 PolyFormer-L 模型

微调

运行微调脚本：

cd run_scripts/finetune
bash train_polyformer_b.sh  # 微调 PolyFormer-B 模型
bash train_polyformer_l.sh  # 微调 PolyFormer-L 模型

确保在微调脚本中链接预训练权重路径到最佳预训练检查点。

评估

运行评估脚本：

cd run_scripts/evaluation
bash evaluate_polyformer_b_refcoco.sh  # 评估 PolyFormer-B 模型
bash evaluate_polyformer_l_refcoco.sh  # 评估 PolyFormer-L 模型

3. 应用案例和最佳实践

PolyFormer 可以应用于多种场景，包括但不限于：

• 图像分割：在医学影像分析中，PolyFormer 可以帮助医生更准确地分割病变区域。
• 引用表达理解：在智能助手和机器人导航中，PolyFormer 可以帮助系统理解用户的指令并执行相应的操作。

最佳实践包括：

• 数据预处理：确保输入数据的格式和质量，以提高模型的性能。
• 模型调优：根据具体应用场景调整模型参数，以达到最佳效果。

4. 典型生态项目

PolyFormer 作为一个开源项目，可以与其他计算机视觉和自然语言处理项目结合使用，例如：

• Fairseq：用于序列到序列模型的训练和评估。
• COCO API：用于处理和加载 COCO 数据集。
• Flickr30K：用于图像描述和引用表达理解的数据集。

这些项目可以与 PolyFormer 结合，构建更复杂的应用系统。