ComfyUI_SLK_joy_caption_two项目安装与使用指南

ComfyUI_SLK_joy_caption_two是一个基于ComfyUI的字幕处理节点，实现了JoyCaptionAlpha Two的功能，支持批量字幕处理和多种AI模型切换。

项目概述

该项目将JoyCaptionAlpha Two的强大字幕生成能力集成到ComfyUI中，为用户提供直观的图形化操作界面。通过该节点，用户可以轻松实现图片字幕生成、批量字幕处理等高级功能。

环境要求

在开始安装前，请确保您的系统满足以下要求：

• Python 3.7或更高版本
• 已安装Git版本控制工具
• 已安装ComfyUI主程序

安装步骤

第一步：获取项目代码

将项目克隆到ComfyUI的custom_nodes目录下：

cd custom_nodes
git clone https://gitcode.com/gh_mirrors/co/ComfyUI_SLK_joy_caption_two.git

第二步：安装依赖包

安装项目所需的Python依赖：

pip install -r ComfyUI_SLK_joy_caption_two/requirements.txt

依赖包包括：

• huggingface-hub>=0.23.4
• transformers>=4.44.0
• numpy==1.26.4
• sentencepiece==0.2.0
• pillow>=10.4.0
• bitsandbytes>=0.44.1
• peft>=0.12.0

第三步：下载模型文件

根据项目需求下载以下关键模型文件：

1. 视觉理解模型

• 模型名称：google/siglip-so400m-patch14-384
• 存放位置：models/clip/siglip-so400m-patch14-384

2. 语言模型 支持两个版本的Llama3.1-8B-Instruct模型：

• bnb-4bit版本：unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit
• 原版模型：unsloth/Meta-Llama-3.1-8B-Instruct
• 存放位置：models/LLM/对应的模型文件夹

3. 核心字幕模型

• 模型名称：Joy-Caption-alpha-two
• 存放位置：models/Joy_caption_two

第四步：重启ComfyUI

完成所有配置后，重启ComfyUI服务即可在节点列表中找到字幕处理功能。

功能特性

该项目提供了丰富的字幕处理功能：

批量字幕处理 支持批量添加前缀和后缀字幕，方便在训练时批量添加触发词。

高级参数调节

• 支持top_p和temperature参数调节
• 统一模型加载精度
• 修复模型切换相关的BUG

多模型支持 兼容多种Llama3.1-8B-Instruct变体模型，包括：

• John6666/Llama-3.1-8B-Lexi-Uncensored-V2-nf4
• Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2

使用示例

项目提供了完整的工作流示例，您可以在examples目录下查看相关的工作流程图：

进阶配置

中文界面支持

如果您安装了AIGODLIKE-ComfyUI-Translation插件，可以通过以下步骤启用中文界面：

将translation/zh-CN/Nodes/Comfyui_SLK_joy_caption_two.json文件复制到AIGODLIKE-ComfyUI-Translation插件的对应目录下，重启ComfyUI即可使用中文界面。

常见问题

系统要求 项目在8G显存环境下测试通过，建议使用类似或更高配置以获得最佳性能。

模型下载 请注意，Joy-Caption-alpha-two模型必须手动下载，无法通过程序自动下载。

版本兼容性 确保所有依赖包的版本不低于requirements.txt中指定的版本要求。

技术支持

如果在安装或使用过程中遇到问题，可以查看项目的详细文档或提交问题报告。项目持续更新，建议关注最新版本以获取最佳体验。

通过以上步骤，您应该能够成功安装并开始使用ComfyUI_SLK_joy_caption_two项目，享受强大的字幕处理功能。