kohya-ss/sd-scripts 图像生成脚本详解

项目概述

kohya-ss/sd-scripts 是一个基于 Diffusers 库的 Stable Diffusion 图像生成工具集，提供了丰富的命令行参数和功能选项，支持多种 Stable Diffusion 模型和扩展功能。

核心功能

1. 基础图像生成

支持三种主要生成模式：

1. 文本生成图像(txt2img)：根据文本提示词生成图像
2. 图像引导生成(img2img)：基于现有图像进行再创作
3. 局部修复(inpainting)：对图像特定区域进行修改

2. 模型支持

• 兼容 Stable Diffusion 1.x 和 2.x 系列模型
• 支持 LoRA 模型和 ControlNet v1.0
• 可加载自定义 VAE 模型
• 支持 Textual Inversion 嵌入

3. 高级特性

• Highres. fix：先小图后放大的高质量生成方案
• CLIP/VGG16引导：使用大模型引导生成方向
• Attention Couple：区域提示词控制
• Regional LoRA：区域特定的LoRA应用

使用指南

基本命令结构

python gen_img_diffusers.py --ckpt <模型路径> --outdir <输出目录> [其他参数]

关键参数说明

模型相关

• --ckpt：指定模型文件或目录（必需）
• --v2：使用SD 2.x模型时需添加
• --v_parameterization：使用v-parameterization模型时需添加
• --vae：指定外部VAE模型

生成控制

• --W/--H：图像宽高（默认512x512）
• --steps：采样步数（默认50）
• --scale：引导尺度（默认7.5）
• --sampler：采样器选择（支持ddim/pndm/lms等）

性能优化

• --xformers：启用内存优化
• --fp16/--bf16：使用半精度计算
• --batch_size：批量生成数量

典型使用场景

交互式生成

python gen_img_diffusers.py --ckpt model.ckpt --outdir outputs \
    --xformers --fp16 --interactive

批量生成

python gen_img_diffusers.py --ckpt model.ckpt --outdir outputs \
    --xformers --fp16 --images_per_prompt 64 \
    --prompt "beautiful scenery --n low quality"

文件批量生成

python gen_img_diffusers.py --ckpt model.ckpt --outdir outputs \
    --xformers --fp16 --from_file prompts.txt

高级功能详解

LoRA模型应用

支持多LoRA同时使用和权重调整：

--network_module networks.lora networks.lora \
--network_weights lora1.safetensors lora2.safetensors \
--network_mul 0.8 0.5

ControlNet控制

--control_net_models control_canny.safetensors \
--guide_image_path edges.png \
--control_net_preps canny_63_191

Highres. fix实现

--highres_fix_scale 0.5 \
--highres_fix_steps 28 \
--strength 0.5

性能优化建议

1. 显存管理：

   • 使用--xformers减少显存占用
   • 调整--batch_size和--vae_batch_size
   • 优先使用--bf16（RTX 30+显卡）

2. 生成速度：

   • 选择合适的采样器（如k_euler_a）
   • 合理设置采样步数（通常28-50步）
   • 启用--network_merge加速LoRA应用

3. 质量平衡：

   • 引导尺度7.5-12.5之间调节
   • 使用Highres. fix提升大图质量
   • 尝试CLIP/VGG引导获得特定风格

常见问题解决

1. 模型加载失败：

   • 检查--v2参数是否正确
   • 确认模型文件完整性

2. 生成图像异常：

   • 检查--v_parameterization设置
   • 调整引导尺度和采样步数

3. 显存不足：

   • 减小批量大小
   • 启用xformers
   • 使用半精度模式

总结

kohya-ss/sd-scripts 提供了强大而灵活的 Stable Diffusion 图像生成方案，通过丰富的命令行参数支持各种高级应用场景。无论是基础图像生成还是复杂的控制生成，都能找到合适的解决方案。掌握这些工具的使用方法，将大大拓展AI图像创作的可能性。