Mitsuba 27B完全指南:6GB显存跑27B大模型,ComfyUI本地提示词生成的终极方案

原创2026-10-18 23:53:421,863 阅读

Mitsuba 27B完全指南:6GB显存跑27B大模型,ComfyUI本地提示词生成的终极方案

Mitsuba 27B(Mitsuba_and_HiMitsuba-27B-GGUF)是一个三值量化(1.58-bit)的 27B 本地大模型,专为 ComfyUI 提示词生成与图像描述而调优:它能把口语化需求转成严格遵守字数、必含词、禁止词和输出格式的 Stable Diffusion / 视频生成提示词,还能直接看图写提示词。配合仓库内置的 Windows 一键启动脚本,单张 16GB 显卡即可本地运行,空闲时显存占用为 0。本文带你完成下载、启动、接入 ComfyUI 的全部步骤。

📦 Mitsuba 27B 是什么:先看能力边界

Mitsuba 基于 Qwen3.8-27B 官方权重自行三值化(不是从其他量化版改的),以 Prism ML 的 PQ2_0 / PTQ1_0 GGUF 格式保存,明确不用于写代码:

  • PQ2_0:7.3 GB,推荐版本
  • PTQ1_0:6.0 GB,同权重的更小文件(当前内核下图像识别分略低)
  • 两者都能在单张 16GB 显卡上运行

它擅长什么

  • Stable Diffusion 风格提示词:按指定词数输出英文 tag,包含必含词、结尾带 Negative: 行、排除禁止词
  • 视频提示词:按 0-3s: / 3-6s: / 6-9s: 时间段分段,每段带镜头运动
  • 图像描述:物体、数量、图中文字、图表、场景、多图对比

明确不适合的场景

  • ❌ 写代码:编码测试仅 4/100,作者明确标注 "It is not for coding"
  • ⚠️ 长文阅读一般(48 分)
  • ⚠️ 原生模型不是无审查版本,约一半敏感请求会被拒绝(可选 HiMitsuba LoRA 解决,见下文)

💾 下载与文件清单:6GB 模型文件怎么放

先 clone 仓库(或从仓库页面直接下载文件):

git clone https://gitcode.com/hf_mirrors/isichan-ai/Mitsuba_and_HiMitsuba-27B-GGUF

核心文件如下:

文件 大小 说明
Mitsuba-ComfyUI-27B-v1.18-PQ2_0.gguf 7.32 GB 推荐本体
Mitsuba-ComfyUI-27B-v1.18-PTQ1_0.gguf 6.00 GB 同权重的更小文件
mmproj-Q8_0.gguf 0.63 GB 视觉编码器(看图功能必备)
HiMitsuba-Uncensored-LoRA.gguf 0.07 GB 可选无审查 LoRA,仅 PQ2_0 可用

硬件要求:NVIDIA 显卡(AMD 为 beta)+ Windows 10/11;模型加载时约 10GB 显存,空闲时 0GB,16GB 显存的卡足够。

🚀 Windows 一键启动:Mitsuba ComfyUI 本地部署步骤

仓库内置 Mitsuba-Bridge 启动器(Mitsuba_bridge.py),不向 ComfyUI 或 Windows 安装任何东西:

文件 作用
HiMitsuba_start.bat 给 AI 应用用(OpenAI 兼容 API)
HiMitsuba_ComfyUI.bat 给 ComfyUI 的 Ollama 节点用
HiMitsuba_stop.bat 停止并释放全部显存

三步跑通:

  1. 保持仓库目录结构不变(bat 会自动在 ../Mitsuba-ComfyUI-27B/Model-v1.18/ 找模型),或把上表文件全部放进同一个文件夹
  2. 双击对应的 .bat。首次运行自动下载 PrismML 版 llama.cpp(约 540MB,PQ2_0 / PTQ1_0 格式只有它能读)和一个小号 Python(约 11MB),之后几秒即可启动
  3. 窗口显示 API 地址后,在应用或 ComfyUI 里填连接参数(见下两节)。停止时双击 HiMitsuba_stop.bat 或直接关窗口

💡 启动脚本已自动关闭思考模式、设置 131K 上下文和 q4_0 KV 缓存,这些正是官方评测使用的参数。

AMD 显卡(beta)

AMD 用户改用 Mitsuba_bridge_AMD/ 下的 _AMD.bat 系列,会下载 HIP(Radeon)版 llama.cpp(约 330MB),支持 RDNA4 / RDNA3 / RDNA2(RX 9070 / 9060、gfx1030 等)。作者尚未在 AMD 实机验证,遇到不动时运行 HiMitsuba_diag_AMD.bat 生成诊断报告。AMD 上请用 PQ2_0 文件,并保持 Adrenalin 驱动为最新版。

🔌 连接 ComfyUI:Ollama 节点参数怎么填

前提:ComfyUI 已安装 Ollama 节点(如 comfyui-ollama)。双击 HiMitsuba_ComfyUI.bat 后,它会额外在 http://127.0.0.1:11434 启动一个 Ollama 协议桥。在 Ollama Connectivity 节点填:

  • url:http://127.0.0.1:11434(如果本机真有 Ollama 占用了 11434,窗口会打印实际使用的端口,填那个)
  • model:himitsuba(带 LoRA)或 mitsuba(原生)
  • keep_alive:推荐 0 —— 回答完立刻把显存还回去,不跟后面的图像生成模型抢显存(默认 5 是闲置 5 分钟后才还)

💬 连接 AI 应用:OpenAI 兼容接口配置

双击 HiMitsuba_start.bat,在 OpenCode、Open WebUI、SillyTavern、Continue 等应用里填:

  • Base URL:http://127.0.0.1:8080/v1
  • Model:himitsuba 或 mitsuba
  • API key:任意值(如 none)

🧩 HiMitsuba 秘三叶:可选的无审查 LoRA

HiMitsuba-Uncensored-LoRA.gguf(70MB)是给 v1.18 PQ2_0 用的可选 LoRA,"Hi"(秘)取自日语"隐藏的、私下的"。

它怎么工作:LoRA 自己切换 —— 普通请求(提示词、看图描述)的答案与原生 Mitsuba 完全一致;敏感请求则不再拒绝。它同时针对两种审查形式:

HiMitsuba 无审查 LoRA 针对的两种审查形式:拒答与回避对比图

  • 拒答:直接拒绝(106 个敏感请求中 51 → 7 次)
  • 回避:看似回答实则绕开要点(73% → 32%)

不需要第二模型、不需要路由器、不需要改系统提示词。手动启动只需把 LoRA 放进与本体同一文件夹,再加一个参数:

--lora-scaled HiMitsuba-Uncensored-LoRA.gguf:1.0

⚠️ Windows 下不要写带盘符的完整路径(如 D:\...gguf:1.0),冒号会破坏 file:scale 语法;在模型所在目录启动、只写文件名即可。它也不是"什么都答":帮助犯罪、武器、伤害他人的请求大多仍会拒绝。

实测效果(同一套 10 维度测试,PQ2_0):

HiMitsuba LoRA 挂载前后 10 维度评分对比:Mitsuba 27B ComfyUI 提示词模型评测

指标 原生 Mitsuba + HiMitsuba
综合 61.5 (B) 66.9 (A)
无审查度 53.2 89.6
提示词全条件通过率 6/10 8/10
图像识别 87.8 89.8
解码速度 (t/s) 119.0 103.1
显存占用(131K 上下文) 9.5 GB 9.5 GB(不变)

ComfyUI 本职工作没变差,提示词通过率还提高了;代价是速度约 13% 下降、"自制心"下降(工具报错后不重试了)。

📊 实测评测:Mitsuba 27B 十维度评分解读

四款模型同题同条件实测:Mitsuba PQ2_0、Mitsuba PTQ1_0、原版 Ternary Bonsai 2 27B PQ2_0,以及未量化的 Qwen3.8-27B BF16 作为基准。完整数据见 docs/EVALUATION.md。

Mitsuba 27B 三值大模型 10 维度评分对比图:ComfyUI 提示词生成、图像识别等能力评测

三值化丢了什么、留了什么:

  • ❌ 编码:66 → 4(彻底放弃)
  • ❌ 长文阅读:76 → 48(一般水平)
  • ✅ 图像识别:89.8 → 87.8(几乎无损)
  • ✅ 规则遵循:84 → 84(完全保留)
  • ✅ 日文与提示词:52 → 52(完全保留)
  • 📈 全条件提示词生成:3/10 → 6/10(反而提升)

解码速度 119 t/s(RTX 5090 实测),比 BF16 原版快两个数量级。

比素模 Bonsai 强吗?

配对检验(同题相减)结论:无审查度、正直性占优;规则遵循、率直性、日文与提示词、图像识别不劣(10 分容忍带);自制心、到达率、阅读力在 49~100 题内仍判不出。编码明显更差,故未列入图。

Mitsuba 27B 相对素模 Bonsai 的非劣性检验图:ComfyUI 提示词模型同题对比

⚡ 关键设置:为什么必须关闭思考模式

本模型只在关闭思考(reasoning)的模式下调过。 开启思考后它会重复同样的句子、甚至不写答案就结束。实测(PQ2_0):

指标 思考关 思考开
综合 61.5 53.2
图像识别 88 55
规则遵循 84 60

关闭方法:

  • llama-server:加 --reasoning off
  • 单次请求:"chat_template_kwargs": {"enable_thinking": false}
  • OpenCode 等 Agent:模型设置 "reasoning": false

仓库内的一键脚本已默认关闭。手动启动时参考官方评测命令(注意 PQ2_0 / PTQ1_0 必须用 PrismML 版 llama.cpp):

llama-server -m Mitsuba-ComfyUI-27B-v1.18-PQ2_0.gguf --mmproj mmproj-Q8_0.gguf \
  --no-mmproj-offload --reasoning off --jinja --temperature 0.6 \
  --top-k 20 --top-p 0.95 --ctx-size 131072 --cache-type-k q4_0 \
  --cache-type-v q4_0 --n-gpu-layers 99

❓ 常见问题 FAQ

Q:能用来写代码吗? 不能。编码得分仅 4/100,作者明确建议不要用于编程,请另选模型。

Q:空闲时占显存吗? 不占。模型在收到第一个请求时才加载(约 10GB),闲置时为 0。ComfyUI 场景下把 keep_alive 设为 0,回答完显存立即释放,不会和图像生成模型抢显存。

Q:PQ2_0 和 PTQ1_0 选哪个? 推荐 PQ2_0(7.3GB)。PTQ1_0(6.0GB)是同权重的更小文件,但当前 PTQ1_0 内核下图像识别分更低(79.6 vs 87.8);AMD 上 PTQ1_0 是否可用尚未确认。

Q:提示词不是 100% 满足条件? 严格测试约 6~8/10 通过,输出前请对照你的条件检查一遍。

Q:授权协议? Apache License 2.0,见 docs/LICENSE 与 docs/NOTICE。

登录后查看全文