InstantCharacter 使用教程

1. 项目介绍

InstantCharacter 是由腾讯团队开发的一种创新性方法，它能够从单个图像中实现字符保持生成的技术，支持多种下游任务。该方法不需要任何微调，即可个性化任何角色，并利用可扩展的扩散变换器框架，为用户提供了极大的便利。

2. 项目快速启动

在开始使用 InstantCharacter 之前，请确保您已经安装了以下依赖库：

pip install transformers accelerate diffusers huggingface_cli

以下是一个快速启动的示例代码：

import torch
from PIL import Image
from pipeline import InstantCharacterFluxPipeline

# Step 1: 加载基础模型和适配器
ip_adapter_path = 'checkpoints/instantcharacter_ip-adapter.bin'
base_model = 'black-forest-labs/FLUX.1-dev'
image_encoder_path = 'google/siglip-so400m-patch14-384'
image_encoder_2_path = 'facebook/dinov2-giant'
seed = 123456

pipe = InstantCharacterFluxPipeline.from_pretrained(
    base_model,
    torch_dtype=torch.bfloat16
).to("cuda").init_adapter(
    image_encoder_path=image_encoder_path,
    image_encoder_2_path=image_encoder_2_path,
    subject_ipadapter_cfg=dict(
        subject_ip_adapter_path=ip_adapter_path,
        nb_token=1024
    )
)

# Step 2: 加载参考图像
ref_image_path = 'assets/girl.jpg'
ref_image = Image.open(ref_image_path).convert('RGB')

# Step 3: 无风格推理
prompt = "一个女孩在街上弹吉他"
image = pipe(
    prompt=prompt,
    num_inference_steps=28,
    guidance_scale=3.5,
    subject_image=ref_image,
    subject_scale=0.9,
    generator=torch.manual_seed(seed)
).images[0]

image.save("flux_instantcharacter.png")

确保您已经下载了模型和适配器，并且正确设置了 ip_adapter_path，image_encoder_path 和 image_encoder_2_path。

3. 应用案例和最佳实践

以下是一些使用 InstantCharacter 的案例：

• 个性化角色生成：您可以加载一个基础图像，并使用 InstantCharacter 为其添加不同的风格或特征，生成个性化的角色。

• 风格迁移：您可以应用不同的风格洛拉 (style lora) 到参考图像上，创建具有特定艺术风格的图像。

# 加载风格洛拉
lora_file_path = 'checkpoints/style_lora/ghibli_style.safetensors'
trigger = 'ghibli style'
image = pipe.with_style_lora(
    lora_file_path=lora_file_path,
    trigger=trigger,
    prompt=prompt,
    num_inference_steps=28,
    guidance_scale=3.5,
    subject_image=ref_image,
    subject_scale=0.9,
    generator=torch.manual_seed(seed)
).images[0]

image.save("flux_instantcharacter_style_ghibli.png")

4. 典型生态项目

InstantCharacter 可以与多种开源项目结合使用，例如：

• 图像处理库：如 OpenCV、Pillow 等，用于图像的预处理和后处理。

• 机器学习框架：如 TensorFlow、PyTorch 等，用于模型的训练和推理。

• 风格迁移工具：如 StyleGAN、DeepArt.io 等，用于创建具有艺术风格的图像。

通过将这些工具和库与 InstantCharacter 结合使用，您可以开发出更加丰富和多样化的应用程序。