SimpleAR: 开源视觉生成模型的部署与使用教程

1. 项目介绍

SimpleAR 是一个基于自回归原理的视觉生成模型，它通过预训练、监督微调（SFT）和强化学习（RL）等技术在文本到图像生成领域取得了突破性进展。SimpleAR 模型以其仅用 0.5B 参数就能生成高达 1024 分辨率的高保真图像而著称，同时在多个图像生成基准测试中表现出色。

2. 项目快速启动

以下是快速启动 SimpleAR 项目的步骤：

首先，您需要安装 Python 环境和必要的依赖：

python3 -m venv env
source env/bin/activate
pip install -e ".[train]"

接下来，安装 Transformers 库：

cd transformers
pip install -e .
cd ..

准备数据集：

torchrun --nnodes=1 --nproc_per_node=8 simpar/data/extract_token.py --dataset_type "image" --dataset_name "example" --code_path "/path_to_saved_tokens" --gen_data_path "/path_to_meta_json" --gen_resolution 1024

确保您有一个 JSON 格式的元数据文件，格式如下：

{
  "image_path": "path_to_image",
  "caption": "a photo of a cat"
}

之后，使用以下命令进行模型训练：

ACCELERATE_CPU_AFFINITY=1 \
torchrun --nnodes=4 --nproc_per_node=8 llava/train/train_mem.py --deepspeed scripts/zero3.json --model_name_or_path "/path_to_your_dir/Qwen2.5-0.5B-Instruct" --version "qwen_1_5" --gen_data_path /path_to_annotation_file --gen_image_folder "" --sample_short True --mm_tunable_parts="mm_language_model" --p_drop_cond 0.1 --mm_use_im_start_end False --mm_use_im_patch_token False --mm_patch_merge_type spatial_unpad --bf16 True --run_name "test" --output_dir /path_to_output_dir --num_train_epochs 1 --per_device_train_batch_size 8 --per_device_eval_batch_size 1 --gradient_accumulation_steps 2 --evaluation_strategy "no" --save_strategy "steps" --save_steps 5000 --learning_rate 1e-4 --weight_decay 0.01 --warmup_ratio 0.0 --lr_scheduler_type "constant" --logging_steps 1 --tf32 True --model_max_length 1536 --dataloader_num_workers 16 --lazy_preprocess True --torch_compile True --torch_compile_backend "inductor" --dataloader_drop_last True --report_to wandb --attn_implementation sdpa

3. 应用案例和最佳实践

在模型训练完成后，您可以使用以下脚本对模型进行评估：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 bash scripts/eval/bench_dpg.sh

为了提高推理效率，您可以尝试使用 vLLM 和 SJD 技术：

git clone https://github.com/wdrink/vllm
cd vllm
pip install -e .
cd ..
mv vllm vllm_local
mv vllm_local/vllm ./

然后在评估脚本中添加 --vllm_serving 参数来尝试 vLLM，或者使用 --sjd_sampling 参数来尝试 SJD。

4. 典型生态项目

SimpleAR 作为一种先进的视觉生成模型，可以集成到各种生态项目中，例如：

• 图像生成平台：将 SimpleAR 集成到在线图像生成平台，为用户提供高质量的图像生成服务。
• 游戏开发：在游戏开发中使用 SimpleAR 生成独特的环境、角色和道具。
• 虚拟现实：利用 SimpleAR 生成逼真的虚拟现实场景。

以上就是 SimpleAR 的部署和使用教程。希望这个教程能够帮助您快速上手 SimpleAR，并在您的项目中取得良好的效果。