如何把Mitsuba接入ComfyUI?Ollama节点配置+keep_alive=0的VRAM秒级回收技巧
如何把Mitsuba接入ComfyUI?Ollama节点配置+keep_alive=0的VRAM秒级回收技巧
Mitsuba_and_HiMitsuba-27B-GGUF 是一款专为 ComfyUI 提示词生成打造的 27B 文本模型。本文带你 3 步把 Mitsuba 接入 ComfyUI:Ollama 节点只需填一个 URL,再把 keep_alive 设为 0,文本模型答完立刻归还 VRAM,出图时不再和图像模型抢显存。
Mitsuba 是什么:ComfyUI 专用提示词小模型
先花 30 秒了解你要接入的模型,避免用错场景:
- 擅长:Stable Diffusion 风格提示词(词数限制、必含词、Negative 行、禁词)、分时段视频提示词(
0-3s / 3-6s每段带镜头运动)、图像描述(物体、数量、图中文字、多图对比)。 - 不擅长:写代码(测试仅 4 分),别拿它当 Coding 模型用。
- 体量:三值化(1.58-bit)Qwen3.8-27B,PQ2_0 版约 7.3 GB,单张 16 GB 显卡即可运行,加载后约占 10 GB VRAM,RTX 5090 上解码速度约 119 t/s。
- 视觉能力:附带视觉编码器 mmproj,可以"看图说话",适合 ComfyUI 里看图生成提示词的工作流。
详细评测数据见 docs/EVALUATION.md。
动手前:下载这 4 个文件
按下面结构摆放文件,脚本会自动识别(保持目录原样或全部放同一文件夹均可):
| 文件 | 说明 |
|---|---|
| Mitsuba-ComfyUI-27B/Model-v1.18/Mitsuba-ComfyUI-27B-v1.18-PQ2_0.gguf(7.32 GB) | 模型本体,推荐用 PQ2_0 |
| Mitsuba-ComfyUI-27B/Model-v1.18/mmproj-Q8_0.gguf(0.63 GB) | 视觉编码器,图片输入必需 |
| Mitsuba-ComfyUI-27B/HiMitsuba-Uncensored-LoRA.gguf(70 MB) | 可选的无审查 LoRA,仅用于 PQ2_0 |
| Mitsuba_bridge_NVIDIA/ 整个文件夹 | Windows 双击启动脚本(NVIDIA 显卡) |
💡 只有 PTQ1_0 一个版本更省显存(6.0 GB),但当前内核下视觉分数更低,默认选 PQ2_0 更稳。AMD 显卡用户请看 Mitsuba_bridge_AMD/ 目录(beta 版)。
接入原理:一个"Mitsuba-Bridge"模拟 Ollama
为什么不能直接把 Mitsuba 塞给 ComfyUI?因为 PQ2_0 / PTQ1_0 格式只有 PrismML 分支的 llama.cpp 能读取,上游 llama.cpp 和 ComfyUI 内置的 llama-cpp-python 都不支持。
所以项目提供了一个桥接方案,架构非常清晰:
ComfyUI Ollama 节点 ──> Mitsuba-Bridge (127.0.0.1:11434) ──> llama-server (router 模式, 127.0.0.1:8080)
假装自己是 Ollama 真正加载并推理 Mitsuba
核心组件 Mitsuba_bridge_NVIDIA/Mitsuba_bridge.py 在 11434 端口监听,翻译 Ollama 的 /api/generate、/api/chat 等请求并转发给 llama-server。你的 ComfyUI 工作流一个字都不用改,只换 URL 字符串即可。
模型名有两个:mitsuba(原版)和 himitsuba(带无审查 LoRA),直接出现在 Ollama 节点的下拉框里。
3 步把 Mitsuba 接入 ComfyUI
第 1 步:双击启动桥接
ComfyUI 里先装好任一 Ollama 节点(如 comfyui-ollama 的 Ollama Connectivity / Ollama Generate),然后双击:
- NVIDIA 显卡:Mitsuba_bridge_NVIDIA/HiMitsuba_ComfyUI.bat
- AMD Radeon(beta):Mitsuba_bridge_AMD/HiMitsuba_ComfyUI_AMD.bat
首次运行会自动下载 PrismML 版 llama.cpp(约 540 MB)和一份私有 Python(约 11 MB),第二次启动只需几秒。不会向 ComfyUI 或 Windows 安装任何东西。
第 2 步:配置 Ollama Connectivity 节点
在 Ollama 连接节点里填 3 个值:
| 参数 | 填写值 | 说明 |
|---|---|---|
| url | http://127.0.0.1:11434 |
若你的电脑已运行真正的 Ollama 占用了 11434,窗口会打印实际使用的端口,照着填即可 |
| model | himitsuba 或 mitsuba |
无审查版 / 原版 |
| keep_alive | 0 |
重点技巧,下一节细说 |
第 3 步:跑通工作流
现在 Ollama Generate 节点输出的就是 Mitsuba 写的提示词了,把它接到你出图的那条链路上即可。需要 OpenAI 兼容接口(Open WebUI、SillyTavern 等)的场景,改用 Mitsuba_bridge_NVIDIA/HiMitsuba_start.bat,Base URL 填 http://127.0.0.1:8080/v1,API key 随意填。
keep_alive=0:VRAM 秒级回收技巧
这是整套方案里最实用的一行配置,理解它先看 Ollama 的语义:
keep_alive未填或填5:模型空闲 5 分钟后才从显存卸载——出图时 10 GB 显存一直被占着,图像模型只能和它抢内存甚至爆显存;keep_alive = 0:答完立刻卸载。桥接脚本会向 llama-server 发送/models/unload,文本模型秒级退出显存,接着 ComfyUI 加载图像模型时显存是干净的;- 负数:永久驻留(不推荐)。
对应实现就在 Mitsuba_bridge.py 中:wants_unload() 判断 keep_alive 是否为 0,请求结束后立即调用 /models/unload;_idle_unloader() 线程则负责处理 keep_alive > 0 时的空闲定时卸载。
⚡ 为什么 ComfyUI 自带的"清空 VRAM"节点帮不上忙?因为它只能释放自己进程占用的显存,无法卸载另一个进程(llama-server)里的模型。keep_alive=0 让模型"自己走人",这是最干净的释放方式。
配合 router 模式下 load-on-startup = false 的设置,整个生命周期是:空闲 0 GB → 首次请求加载(约 10 GB)→ 答完立刻归还 0 GB,16 GB 卡跑 27B 模型毫无压力。
可选增强与常见坑
可选:启用 HiMitsuba 无审查 LoRA
把 HiMitsuba-Uncensored-LoRA.gguf 放到模型同目录,bat 启动时会自动以 himitsuba 模型名提供它(LoRA 在服务器端生效,ComfyUI 侧零改动)。注意:仅支持 PQ2_0;LoRA 会带来约 13% 的解码速度下降(119 → 103 t/s),VRAM 不变。
避坑清单
- 思考模式必须关:该模型只在无思考模式下调过,开思考容易出现"空回复"。bat 启动的 llama-server 已默认
reasoning off,无需操心; - 文件夹名含日文/空格没问题:脚本会用 junction 生成纯 ASCII 路径给 llama-server,不复制任何文件;
- AMD 版出问题:双击 Mitsuba_bridge_AMD/HiMitsuba_diag_AMD.bat 生成诊断报告
HiMitsuba_diag_report.txt再排查(作者尚未在 AMD 实机测试); - 端口冲突:8080 被占用时修改 HiMitsuba_start.bat 顶部的
PORT;11434 被真 Ollama 占用时桥接会自动换端口并在窗口里提示。
如何停止并释放全部 VRAM
两种方式任选其一:
- 双击 Mitsuba_bridge_NVIDIA/HiMitsuba_stop.bat(AMD 用 HiMitsuba_stop_AMD.bat)
- 或直接关闭启动窗口
停止脚本只会结束 Mitsuba 自己的 llama-server 和桥接 Python 进程,不影响你机器上其他 Ollama / llama.cpp 程序。至此,Mitsuba 在 ComfyUI 中实现"随用随载、用完即走"的显存管理就全部配置完成了。