InstantCharacter项目使用教程

1. 项目目录结构及介绍

InstantCharacter项目的目录结构如下：

.
├── assets           # 存放示例图片等资源文件
├── checkpoints      # 存放预训练模型和适配器文件
├── models           # 存放模型相关文件
├── infer_demo.py    # 推理演示脚本
├── pipeline.py      # 项目的主要逻辑文件
└── README.md        # 项目说明文件

• assets: 包含项目使用的示例图片和其他资源。
• checkpoints: 存储预训练的模型权重和适配器文件，用于模型加载。
• models: 包含项目所需的模型定义和实现。
• infer_demo.py: 一个简单的脚本，用于展示如何使用本项目进行图像推理。
• pipeline.py: 包含InstantCharacter项目的主要逻辑，用于加载模型、处理输入和生成输出。
• README.md: 包含项目的简要描述、使用说明和许可信息。

2. 项目的启动文件介绍

项目的启动主要是通过infer_demo.py脚本来进行的。以下是一个基本的启动示例：

# 导入必要的库
import torch
from PIL import Image
from pipeline import InstantCharacterFluxPipeline

# 加载基础模型和适配器
pipe = InstantCharacterFluxPipeline.from_pretrained(
    'black-forest-labs/FLUX.1-dev',
    torch_dtype=torch.bfloat16
).to("cuda")

pipe.init_adapter(
    image_encoder_path='checkpoints/image_encoder_path',
    image_encoder_2_path='checkpoints/image_encoder_2_path',
    subject_ipadapter_cfg=dict(
        subject_ip_adapter_path='checkpoints/instantcharacter_ip-adapter.bin',
        nb_token=1024
    )
)

# 加载参考图片
ref_image = Image.open('assets/ref_image.jpg').convert('RGB')

# 进行推理
prompt = "A girl is playing a guitar in street"
image = pipe(
    prompt=prompt,
    num_inference_steps=28,
    guidance_scale=3.5,
    subject_image=ref_image,
    subject_scale=0.9,
    generator=torch.manual_seed(123456)
).images[0]

# 保存生成的图片
image.save("output_image.png")

在这个脚本中，首先加载了必要的库和模型，然后初始化了模型适配器，加载了参考图片，并执行了推理操作，最后将生成的图片保存到本地。

3. 项目的配置文件介绍

在InstantCharacter项目中，配置文件通常是直接在代码中以字典或参数的形式进行配置的。例如，在pipeline.py中，加载模型和适配器时会使用到以下配置：

image_encoder_path = 'checkpoints/image_encoder_path'
image_encoder_2_path = 'checkpoints/image_encoder_2_path'
subject_ipadapter_cfg = dict(
    subject_ip_adapter_path='checkpoints/instantcharacter_ip-adapter.bin',
    nb_token=1024
)

这些配置指定了模型和适配器的路径以及一些其他参数。如果需要修改配置，可以直接在代码中更改这些变量的值。

在实际的项目中，可能还会使用到外部的配置文件（如.yaml或.json），但在这个项目中，主要的配置都是通过代码直接进行设置的。