ComfyUI-Florence2 使用教程

项目介绍

ComfyUI-Florence2 是一个基于 Microsoft Florence2 VLM（视觉语言模型）的开源项目。Florence-2 是一个先进的视觉基础模型，采用基于提示的方法来处理广泛的视觉和视觉语言任务。该项目旨在通过 ComfyUI 界面提供对 Florence-2 模型的推理能力，使用户能够轻松地进行图像标注、对象检测和分割等任务。

项目快速启动

环境准备

在开始之前，请确保您的系统已安装以下依赖：

• Python 3.8 或更高版本
• Git

克隆项目

首先，克隆 ComfyUI-Florence2 项目到本地：

git clone https://github.com/kijai/ComfyUI-Florence2.git
cd ComfyUI-Florence2

安装依赖

安装项目所需的 Python 包：

pip install -r requirements.txt

运行项目

启动 ComfyUI 并加载 Florence-2 模型：

python run_comfyui.py

应用案例和最佳实践

图像标注

使用 Florence-2 进行图像标注是一个常见的应用场景。以下是一个简单的示例代码：

from comfyui import Florence2

# 初始化 Florence-2 模型
florence2 = Florence2()

# 加载图像
image_path = 'path_to_your_image.jpg'
image = florence2.load_image(image_path)

# 生成标注
caption = florence2.generate_caption(image)
print(caption)

对象检测

Florence-2 还可以用于对象检测。以下是一个示例代码：

from comfyui import Florence2

# 初始化 Florence-2 模型
florence2 = Florence2()

# 加载图像
image_path = 'path_to_your_image.jpg'
image = florence2.load_image(image_path)

# 检测对象
detections = florence2.detect_objects(image)
print(detections)

典型生态项目

ComfyUI-SAM2

ComfyUI-SAM2 是另一个与 Florence-2 结合使用的项目，它增强了 ComfyUI 在图像掩码方面的能力。通过结合 Florence-2 和 SAM2，用户可以进行更复杂的图像分割任务。

FLUX 模型

FLUX 模型是一个新的图像到图像的转换模型，与 Florence-2 结合使用，可以实现高质量的图像转换和增强。

通过这些生态项目，ComfyUI-Florence2 的生态系统变得更加丰富和强大，为用户提供了更多的工具和方法来处理各种视觉任务。