ComfyUI的ControlNet辅助预处理器插件教程

项目介绍

ComfyUI's ControlNet Auxiliary Preprocessors 是一个专为ComfyUI设计的开源扩展，它集成了由lllyasviel开发的ControlNet框架的辅助预处理功能。这个项目旨在简化生成带有控制网络条件的图像过程，使得用户能够利用如Canny边缘检测等预处理技术，增强AI生成图像的细节和准确性。所有贡献均归原作者及Marigold项目，并特别提到Marigold Depth Estimator，一种能产生高度详细且适用于3D打印的深度图的工具。

项目快速启动

要开始使用这个插件，您需遵循以下步骤来配置您的环境：

使用ComfyUI Manager安装（推荐）

1. 安装ComfyUI Manager: 确保您已安装最新版本的ComfyUI及其管理工具。
2. 添加仓库: 在ComfyUI Manager中，添加此插件的仓库地址：https://github.com/Fannovel16/comfyui_controlnet_aux.git。
3. 执行安装: 选择该仓库并执行安装操作，系统将自动处理依赖项并集成到ComfyUI中。

手动安装

如果您不使用Manager，或者在特定环境下运行：

1. 克隆仓库: 在ComfyUI的custom_nodes目录下，通过Git克隆项目：

   cd /path/to/ComfyUI/custom_nodes/
   git clone https://github.com/Fannovel16/comfyui_controlnet_aux.git
   

2. 安装依赖: 进入comfyui_controlnet_aux目录并确保Python环境正确，然后安装必要的库： 对于系统Python:

   pip install -r requirements.txt
   

   若使用ComfyUI提供的Python环境(如Portable/venv):

   path/to/ComfyUI/python_embedded/python.exe -m pip install -r requirements.txt
   

3. 启动ComfyUI: 完成上述步骤后，重新启动ComfyUI以加载新的插件节点。

应用案例和最佳实践

使用ComfyUI's ControlNet Auxiliary Preprocessors，您可以实现精确控制图像生成过程。比如，通过结合SD1.5模型与control_v11p_sd15_canny模型，您可以基于Canny边缘检测的结果引导图像生成，得到细节丰富的二次元图像。具体实施时，您需要：

• 将预处理后的图像（如Canny边缘图）作为“ControlNet应用”的输入。
• 设置合适的CLIP文本编码器和K采样器。
• 可以串联多个“ControlNet应用”节点，每增加一个节点就能添加一层控制条件，从而实现复杂场景的精细绘制。

典型生态项目

• Marigold Depth Estimator: 虽然不能直接整合进此插件，但其产生的深度图可用于创建具有深度感的图像，可手工或通过其他方式融入到ControlNet流程中。
• ComfyUI-Marigold: 由Kijai开发，提供了Marigold在ComfyUI中的实现，用于生成高质量的深度图，适合进一步与ControlNet结合使用，创造三维效果强烈的图像。
• LCM模型与Turbo模型、AnimateDiff插件、Stable Video Diffusion模型、Stable Zero 123模型等，这些都属于ComfyUI和AI生成图像社区内的高级应用，能够拓展生成图像的能力，从静态图像到动画乃至视频生成。

通过这些步骤和实践，您可以解锁ComfyUI与ControlNet的潜力，创造出令人惊叹的艺术作品和视觉效果。记得探索不同预处理器的效果，实践最佳实践，不断试验以发现新技巧。