StoryDiffusion 开源项目使用教程

1. 项目介绍

StoryDiffusion 是一个基于深度学习的开源项目，旨在通过一致的自注意力机制生成长期一致的图像和视频。该项目主要包含两个核心部分：

• 一致的自注意力机制：用于在长序列中生成一致的图像，确保角色风格和服饰的一致性。
• 运动预测器：用于生成长期视频，通过在压缩的图像语义空间中预测条件图像之间的运动，实现更大范围的运动预测。

该项目支持多种风格的漫画生成，并且可以生成高质量的视频。

2. 项目快速启动

环境准备

首先，确保你的环境满足以下要求：

• Python >= 3.8
• PyTorch >= 2.0.0

你可以使用 Anaconda 或 Miniconda 来创建虚拟环境：

conda create --name storydiffusion python=3.10
conda activate storydiffusion
pip install -U pip
pip install -r requirements.txt

启动本地 Gradio 演示

推荐使用以下命令启动本地 Gradio 演示：

python gradio_app_sdxl_specific_id_low_vram.py

该版本适用于 GPU 内存大于 20GB 的机器。

使用 Jupyter Notebook

你也可以通过 Jupyter Notebook 来生成漫画：

jupyter notebook Comic_Generation.ipynb

3. 应用案例和最佳实践

漫画生成

StoryDiffusion 可以生成多种风格的漫画，确保角色风格和服饰的一致性。以下是一个简单的漫画生成示例：

from storydiffusionpipeline import StoryDiffusionPipeline

pipeline = StoryDiffusionPipeline()
comic = pipeline.generate_comic(text_prompts=["A superhero flying in the sky", "A villain attacking the city"])
comic.save("my_comic.png")

视频生成

StoryDiffusion 还可以生成高质量的视频。以下是一个简单的视频生成示例：

from predict import MotionPredictor

predictor = MotionPredictor()
video = predictor.generate_video(condition_images=["image1.png", "image2.png"])
video.save("my_video.mp4")

4. 典型生态项目

相关资源

• API 服务：Runpod.io 提供的服务器端无服务器工作节点。
• Replicate 服务：Camenduru 提供的 Replicate 工作节点。

相关论文

如果你在研究中使用了 StoryDiffusion，请引用以下 BibTeX：

@article{zhou2024storydiffusion,
  title={StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation},
  author={Zhou, Yupeng and Zhou, Daquan and Cheng, Ming-Ming and Feng, Jiashi and Hou, Qibin},
  journal={arXiv preprint arXiv:2405.01434},
  year={2024}
}

通过以上步骤，你可以快速上手并使用 StoryDiffusion 生成高质量的漫画和视频。