如何把Mitsuba接入ComfyUI?Ollama节点配置+keep_alive=0的VRAM秒级回收技巧

原创2026-10-18 21:22:021,715 阅读

如何把Mitsuba接入ComfyUI?Ollama节点配置+keep_alive=0的VRAM秒级回收技巧

Mitsuba_and_HiMitsuba-27B-GGUF 是一款专为 ComfyUI 提示词生成打造的 27B 文本模型。本文带你 3 步把 Mitsuba 接入 ComfyUI:Ollama 节点只需填一个 URL,再把 keep_alive 设为 0,文本模型答完立刻归还 VRAM,出图时不再和图像模型抢显存。

Mitsuba 是什么:ComfyUI 专用提示词小模型

先花 30 秒了解你要接入的模型,避免用错场景:

  • 擅长:Stable Diffusion 风格提示词(词数限制、必含词、Negative 行、禁词)、分时段视频提示词(0-3s / 3-6s 每段带镜头运动)、图像描述(物体、数量、图中文字、多图对比)。
  • 不擅长:写代码(测试仅 4 分),别拿它当 Coding 模型用。
  • 体量:三值化(1.58-bit)Qwen3.8-27B,PQ2_0 版约 7.3 GB,单张 16 GB 显卡即可运行,加载后约占 10 GB VRAM,RTX 5090 上解码速度约 119 t/s。
  • 视觉能力:附带视觉编码器 mmproj,可以"看图说话",适合 ComfyUI 里看图生成提示词的工作流。

详细评测数据见 docs/EVALUATION.md。

动手前:下载这 4 个文件

按下面结构摆放文件,脚本会自动识别(保持目录原样或全部放同一文件夹均可):

文件 说明
Mitsuba-ComfyUI-27B/Model-v1.18/Mitsuba-ComfyUI-27B-v1.18-PQ2_0.gguf(7.32 GB) 模型本体,推荐用 PQ2_0
Mitsuba-ComfyUI-27B/Model-v1.18/mmproj-Q8_0.gguf(0.63 GB) 视觉编码器,图片输入必需
Mitsuba-ComfyUI-27B/HiMitsuba-Uncensored-LoRA.gguf(70 MB) 可选的无审查 LoRA,仅用于 PQ2_0
Mitsuba_bridge_NVIDIA/ 整个文件夹 Windows 双击启动脚本(NVIDIA 显卡)

💡 只有 PTQ1_0 一个版本更省显存(6.0 GB),但当前内核下视觉分数更低,默认选 PQ2_0 更稳。AMD 显卡用户请看 Mitsuba_bridge_AMD/ 目录(beta 版)。

接入原理:一个"Mitsuba-Bridge"模拟 Ollama

为什么不能直接把 Mitsuba 塞给 ComfyUI?因为 PQ2_0 / PTQ1_0 格式只有 PrismML 分支的 llama.cpp 能读取,上游 llama.cpp 和 ComfyUI 内置的 llama-cpp-python 都不支持。

所以项目提供了一个桥接方案,架构非常清晰:

ComfyUI Ollama 节点  ──>  Mitsuba-Bridge (127.0.0.1:11434)  ──>  llama-server (router 模式, 127.0.0.1:8080)
                              假装自己是 Ollama              真正加载并推理 Mitsuba

核心组件 Mitsuba_bridge_NVIDIA/Mitsuba_bridge.py 在 11434 端口监听,翻译 Ollama 的 /api/generate、/api/chat 等请求并转发给 llama-server。你的 ComfyUI 工作流一个字都不用改,只换 URL 字符串即可。

模型名有两个:mitsuba(原版)和 himitsuba(带无审查 LoRA),直接出现在 Ollama 节点的下拉框里。

3 步把 Mitsuba 接入 ComfyUI

第 1 步:双击启动桥接

ComfyUI 里先装好任一 Ollama 节点(如 comfyui-ollama 的 Ollama Connectivity / Ollama Generate),然后双击:

首次运行会自动下载 PrismML 版 llama.cpp(约 540 MB)和一份私有 Python(约 11 MB),第二次启动只需几秒。不会向 ComfyUI 或 Windows 安装任何东西。

第 2 步:配置 Ollama Connectivity 节点

在 Ollama 连接节点里填 3 个值:

参数 填写值 说明
url http://127.0.0.1:11434 若你的电脑已运行真正的 Ollama 占用了 11434,窗口会打印实际使用的端口,照着填即可
model himitsuba 或 mitsuba 无审查版 / 原版
keep_alive 0 重点技巧,下一节细说

第 3 步:跑通工作流

现在 Ollama Generate 节点输出的就是 Mitsuba 写的提示词了,把它接到你出图的那条链路上即可。需要 OpenAI 兼容接口(Open WebUI、SillyTavern 等)的场景,改用 Mitsuba_bridge_NVIDIA/HiMitsuba_start.bat,Base URL 填 http://127.0.0.1:8080/v1,API key 随意填。

keep_alive=0:VRAM 秒级回收技巧

这是整套方案里最实用的一行配置,理解它先看 Ollama 的语义:

  • keep_alive 未填或填 5:模型空闲 5 分钟后才从显存卸载——出图时 10 GB 显存一直被占着,图像模型只能和它抢内存甚至爆显存;
  • keep_alive = 0:答完立刻卸载。桥接脚本会向 llama-server 发送 /models/unload,文本模型秒级退出显存,接着 ComfyUI 加载图像模型时显存是干净的;
  • 负数:永久驻留(不推荐)。

对应实现就在 Mitsuba_bridge.py 中:wants_unload() 判断 keep_alive 是否为 0,请求结束后立即调用 /models/unload;_idle_unloader() 线程则负责处理 keep_alive > 0 时的空闲定时卸载。

⚡ 为什么 ComfyUI 自带的"清空 VRAM"节点帮不上忙?因为它只能释放自己进程占用的显存,无法卸载另一个进程(llama-server)里的模型。keep_alive=0 让模型"自己走人",这是最干净的释放方式。

配合 router 模式下 load-on-startup = false 的设置,整个生命周期是:空闲 0 GB → 首次请求加载(约 10 GB)→ 答完立刻归还 0 GB,16 GB 卡跑 27B 模型毫无压力。

可选增强与常见坑

可选:启用 HiMitsuba 无审查 LoRA

把 HiMitsuba-Uncensored-LoRA.gguf 放到模型同目录,bat 启动时会自动以 himitsuba 模型名提供它(LoRA 在服务器端生效,ComfyUI 侧零改动)。注意:仅支持 PQ2_0;LoRA 会带来约 13% 的解码速度下降(119 → 103 t/s),VRAM 不变。

避坑清单

  1. 思考模式必须关:该模型只在无思考模式下调过,开思考容易出现"空回复"。bat 启动的 llama-server 已默认 reasoning off,无需操心;
  2. 文件夹名含日文/空格没问题:脚本会用 junction 生成纯 ASCII 路径给 llama-server,不复制任何文件;
  3. AMD 版出问题:双击 Mitsuba_bridge_AMD/HiMitsuba_diag_AMD.bat 生成诊断报告 HiMitsuba_diag_report.txt 再排查(作者尚未在 AMD 实机测试);
  4. 端口冲突:8080 被占用时修改 HiMitsuba_start.bat 顶部的 PORT;11434 被真 Ollama 占用时桥接会自动换端口并在窗口里提示。

如何停止并释放全部 VRAM

两种方式任选其一:

停止脚本只会结束 Mitsuba 自己的 llama-server 和桥接 Python 进程,不影响你机器上其他 Ollama / llama.cpp 程序。至此,Mitsuba 在 ComfyUI 中实现"随用随载、用完即走"的显存管理就全部配置完成了。

登录后查看全文