ComfyUI LLM Party项目节点使用完全指南

项目概述

ComfyUI LLM Party是一个基于ComfyUI框架的大型语言模型(LLM)集成项目，提供了丰富的节点功能，使开发者能够构建复杂的AI工作流。本文将全面解析项目中各类节点的功能和使用方法，帮助用户快速掌握这一强大工具。

模型加载与使用

API LLM节点详解

API LLM节点是与外部大模型API交互的核心组件，具有以下特性：

1. 输入方式灵活：

   • 支持直接在节点输入系统提示词(system prompt)和用户提示词(user prompt)
   • 可通过system prompt input和user prompt input接口连接其他节点输入
   • 支持字符串类型输入

2. 知识库集成：

   • 通过tools接口接受工具节点的输出
   • 通过file_content接口接受字符串形式的输入作为知识库
   • 使用词向量相似度搜索相关内容输入模型

3. 记忆功能：

   • is_memory参数控制模型是否保留对话历史
   • 切换disable/enable可清除或保留对话记录

4. 输出选项：

   • assistant_response获取当前轮次模型回复
   • history查看完整对话记录
   • Tool输出用于将LLM作为工具使用

5. 高级参数：

   • is_tools_in_sys_prompt：将工具信息加入系统提示词
   • is_locked：参数未变化时返回上轮结果节省算力
   • main_brain：控制是否为用户对接的主模型
   • conversation_rounds：限制对话历史轮次

6. 视觉功能支持：

   • 适配GPT-4视觉功能
   • imgbb_api_key可选，控制图片传输方式(URL或base64编码)

本地LLM节点

本地LLM节点支持多种本地模型加载方式：

1. 模型类型：

   • LLM：标准语言模型
   • VLM-GGUF：视觉语言模型(GGUF格式)
   • LLM-GGUF：语言模型(GGUF格式)

2. 模型加载：

   • model_name_or_path支持本地文件夹路径或在线repo ID
   • 兼容所有transformer支持的模型格式

专用加载器节点

1. VLM-GGUF加载器：

   • 需分别指定LLM和CLIP的GGUF文件路径
   • 可配置最大上下文长度(max_ctx)
   • 支持GPU层数(gpu_layers)和CPU线程数(n_threads)设置

2. LLM-GGUF加载器：

   • 只需指定LLM的GGUF文件路径
   • 其他参数与VLM-GGUF加载器一致

3. 词嵌入模型加载器：

   • 支持文本内容相似度搜索
   • 可配置返回段落数(k)
   • 支持自定义文本分块大小(chuck_size)和重叠(chuck_overlap)

数据加载与处理

文件与内容加载

1. 文件加载节点：

   • 支持多种格式：docx、txt、pdf、xlsx等
   • 可从指定路径或绝对路径读取
   • 输出文件全部文本内容

2. 文件夹加载节点：

   • 自动读取文件夹内所有支持格式文件
   • 输出合并后的文本内容

3. 网页内容加载：

   • 将URL内容转换为Markdown格式
   • 输出网页全部文本

4. 在线百科加载：

   • 返回与查询相关的百科内容

迭代处理节点

1. Excel迭代器：

   • 逐行处理Excel内容
   • 支持自动执行批量处理
   • is_reload参数控制是否重置行数

2. 文本迭代器：

   • 分段处理长文本
   • 支持自动执行逐段处理

3. 图片迭代器：

   • 逐个处理文件夹中的图片
   • 支持常见图片格式

搜索引擎集成

1. 搜索加载器A：

   • 需提供API key和CSE ID
   • 支持web和image两种搜索模式
   • 可控制翻页(paper_num)

2. 搜索加载器B：

   • 需提供API key
   • 功能与搜索加载器A类似

人格面具系统

面具节点类型

1. 分类器面具：

   • 作为LLM的system_prompt_input
   • 根据描述类别对用户输入分类
   • 可与分类器函数配合分流工作流

2. 自定义面具：

   • 支持变量替换的prompt模板
   • prompt_template为JSON格式变量映射

3. 预设面具加载：

   • 提供多种预设人格(如DAN)
   • 可扩展persona文件夹添加新面具

4. 翻译面具：

   • 实现语言间翻译
   • 可调节语气(tone)和程度(degree)

功能函数节点

文本处理

1. 字符串逻辑：

   • 支持多种条件判断(包含、相关、相等等)
   • 输出条件判断结果和对应字符串

2. 字符串提取：

   • 根据起止标记提取子字符串
   • 支持连续提取多个匹配项

3. 字符串替换：

   • 实现文本内容替换

语音处理

1. 语音合成：

   • 支持OpenAI、cosyVoice、chatTTS等多种引擎
   • 可调节音色、温度等参数

2. 语音识别：

   • 支持OpenAI语音转文字

3. 音频播放：

   • 播放指定路径音频文件

API交互

1. API函数：

   • 支持自定义API调用
   • 需配合参数字典使用

2. 参数字典：

   • 构建API请求参数
   • 支持复杂JSON结构

其他实用功能

1. 消息推送：

   • 支持企业通讯平台

2. 模型清理：

   • 释放显存中的模型

3. JSON处理：

   • 支持解析、取值、转换等操作

组合节点系统

内容组合

1. 文件组合：

   • 合并多个字符串
   • 支持嵌套使用

2. 工具组合：

   • 合并多个工具节点
   • 支持嵌套使用

数据结构组合

1. 参数字典组合：

   • 合并多个参数字典
   • 用于复杂API请求

2. 列表操作：

   • 支持追加和扩展两种方式
   • 构建复杂数据结构

工具节点集

信息服务工具

1. 时间/天气查询：

   • 支持时区设置
   • 提供全球天气查询(需天气API)

2. 搜索引擎工具：

   • 返回搜索结果摘要
   • 支持翻页查询

代码执行工具

1. 解释器节点：

   • 执行模型生成的Python代码
   • 返回执行结果

2. 万能解释器：

   • 更强大的执行环境
   • 需谨慎使用以防安全问题

知识查询工具

1. 网页检视工具：

   • 将网页转为Markdown
   • 支持内容相关性筛选

2. 百科工具：

   • 查询百科知识
   • 支持内容筛选

3. 学术论文工具：

   • 查询学术论文信息

系统集成工具

1. 办公通讯工具：

   • 支持企业通讯平台集成

2. 代码托管工具：

   • 访问代码托管平台(需API key)

3. 知识图谱工具：

   • 查询和操作知识图谱
   • 开发者版支持增删改查

工作流管理

工作流节点

1. 起止节点：

   • 定义工作流边界
   • 支持Streamlit前端集成

2. 对话节点：

   • 管理对话存档
   • 支持模型间循环对话

3. 工作流中转器：

   • 嵌套调用其他工作流
   • 自动开启辅助端口(8189)

绘图相关节点

1. 魔改版CLIP节点：
   • 增强容错能力
   • 缺失输入时自动绕过而非报错
   • 支持条件执行控制

结语

ComfyUI LLM Party项目通过丰富的节点系统，为开发者提供了构建复杂AI工作流的强大工具。从模型加载、数据处理到功能集成，各类节点设计考虑了灵活性和扩展性。掌握这些节点的使用方法，将帮助开发者充分发挥项目的潜力，创建各种创新的AI应用。