Kolors 开源项目使用与启动教程

1. 项目介绍

Kolors 是一个基于潜在扩散的大型文本到图像生成模型，由 Kuaishou Kolors 团队开发。该模型经过数十亿文本图像对的训练，展现了在视觉质量、复杂语义准确性和中英文字符渲染方面的显著优势。Kolors 不仅支持中文和英文输入，而且在理解和生成中文内容方面表现出强大的性能。

2. 项目快速启动

环境准备

• Python 3.8 或更高版本
• PyTorch 1.13.1 或更高版本
• Transformers 4.26.1 或更高版本
• 推荐使用 CUDA 11.7 或更高版本

克隆仓库与依赖安装

# 安装 git-lfs
apt-get install git-lfs

# 克隆项目仓库
git clone https://github.com/Kwai-Kolors/Kolors.git
cd Kolors

# 创建并激活虚拟环境
conda create --name kolors python=3.8
conda activate kolors

# 安装依赖
pip install -r requirements.txt
python3 setup.py install

权重下载

# 使用 huggingface-cli 下载权重
huggingface-cli download --resume-download Kwai-Kolors/Kolors --local-dir weights/Kolors

# 或者使用 git lfs 克隆权重
git lfs clone https://huggingface.co/Kwai-Kolors/Kolors weights/Kolors

推理示例

# 运行推理脚本，生成图像
python3 scripts/sample.py

生成的图像将保存到 scripts/outputs/sample_text.jpg

Web 演示

# 运行 Web 演示脚本
python3 scripts/sampleui.py

使用 Diffusers

确保升级到最新的 diffusers 版本（0.30.0.dev0）：

# 克隆 diffusers 仓库
git clone https://github.com/huggingface/diffusers
cd diffusers
python3 setup.py install

使用示例：

import torch
from diffusers import KolorsPipeline

# 加载模型
pipe = KolorsPipeline.from_pretrained(
    "Kwai-Kolors/Kolors-diffusers",
    torch_dtype=torch.float16,
    variant="fp16"
).to("cuda")

# 设置提示词
prompt = '一张瓢虫的照片，微距，变焦，高质量，电影，拿着一个牌子，写着"可图"'

# 生成图像
image = pipe(
    prompt=prompt,
    negative_prompt="",
    guidance_scale=5.0,
    num_inference_steps=50
)

3. 应用案例和最佳实践

• 案例一： 利用 Kolors 模型生成高质量的文本到图像。
• 案例二： 通过 Kolors 模型的 ControlNet 功能实现图像的姿势控制。
• 案例三： 使用 Kolors 的 Dreambooth-LoRA 训练和推理代码进行个性化图像生成。

4. 典型生态项目

• Diffusers： 一个用于文本到图像生成的 PyTorch 库，支持多种扩散模型。
• ComfyUI： 一个易于使用的文本到图像生成界面，支持 Kolors 模型。
• Gradio： 用于构建机器学习模型演示的应用程序框架。