如何 5 分钟上手 Qwen-Image-InstantX-ControlNets:ComfyUI 部署 ControlNet 完整教程

原创2026-10-20 10:05:511,628 阅读

如何 5 分钟上手 Qwen-Image-InstantX-ControlNets:ComfyUI 部署 ControlNet 完整教程

想给 ComfyUI 加上更精确的图像控制能力?Qwen-Image-InstantX-ControlNets 是 Comfy-Org 官方为 ComfyUI 重新打包的 Qwen-Image ControlNet 模型仓库,包含 Inpainting(局部重绘) 和 Union(多条件统一控制) 两个 ControlNet 模型,只需把 .safetensors 文件放进 ComfyUI 的 models/controlnet/ 目录,配合官方工作流模板即可在 5 分钟内跑通 ControlNet 出图。本文将带你完成 ComfyUI ControlNet 部署 的全部步骤,新手也能一次学会。

Qwen-Image-InstantX-ControlNets 是什么?

Qwen-Image-InstantX-ControlNets 是 InstantX 团队基于 Qwen-Image 大模型训练的 ControlNet 权重的 ComfyUI 重打包版本,主打两个能力:

  • ControlNet-Inpainting:面向局部重绘场景,配合蒙版(mask)对图像的指定区域进行精准编辑,同时保持画面其余部分不变。
  • ControlNet-Union:一个"全能型"统一 ControlNet,可在同一模型内支持多种控制条件(边缘、深度、姿态等),一套权重应对多种构图控制需求。

仓库结构非常简单,模型文件位于 split_files/controlnet/ 目录:

Qwen-Image-InstantX-ControlNets/
├── split_files/
│   └── controlnet/
│       ├── Qwen-Image-InstantX-ControlNet-Inpainting.safetensors
│       └── Qwen-Image-InstantX-ControlNet-Union.safetensors
└── README.md

两个模型文件的相对路径分别是:

一键安装:3 步把模型部署到 ComfyUI

第 1 步:获取模型文件

仓库中的 .safetensors 大文件通过 Git LFS 存储(例如 Union 模型约 3.5 GB),建议直接使用 git clone 拉取完整文件:

git clone https://gitcode.com/hf_mirrors/Comfy-Org/Qwen-Image-InstantX-ControlNets

提示:如果你的系统未安装 Git LFS,请先执行 git lfs install,再执行上面的 clone 命令,否则下载到的是 LFS 指针文件而非真实模型。

如果只是想手动下载,也可以直接从仓库页面单独下载 split_files/controlnet/ 下的两个 .safetensors 文件。

第 2 步:放入 ComfyUI 的 controlnet 目录

按照 README.md 中的官方目录结构,把两个模型文件放入 ComfyUI 安装目录的 models/controlnet/ 下:

📂 ComfyUI/
├── 📂 models/
│   └── 📂 controlnet/
│       ├── Qwen-Image-InstantX-ControlNet-Inpainting.safetensors
│       └── Qwen-Image-InstantX-ControlNet-Union.safetensors

放好后重启 ComfyUI,在"加载 ControlNet 模型"(Load ControlNet Model)节点的下拉列表中即可看到这两个模型。

第 3 步:选择配套工作流

ComfyUI 为这两组模型提供了官方工作流模板,直接导入即可使用,无需自己搭节点:

  • Qwen-Image InstantX Inpainting ControlNet:局部重绘工作流,输入原图 + 蒙版即可重绘指定区域
  • Qwen-Image InstantX Union ControlNet:统一控制工作流,可搭配深度、边缘等条件图控制生成构图

在 ComfyUI 界面通过模板库搜索 "Qwen-Image InstantX" 找到对应模板加载,替换输入图片后点击 Queue Prompt 即可出图。

ComfyUI ControlNet 工作流使用技巧

  • 局部重绘(Inpainting):先用套索或画刷工具圈出想修改的区域生成 mask,ControlNet-Inpainting 会让重绘严格贴合蒙版边界,背景不乱改。
  • 多条件控制(Union):Union 模型的优势是"一权重多用途",切换控制类型时无需来回换模型文件,适合需要频繁调整控制方式的创作流程。
  • 显存参考:Qwen-Image 属于大参数模型,建议显存 16 GB 以上体验流畅;显存不足时可开启 ComfyUI 的模型卸载/低显存模式换取速度。

常见问题 FAQ

Q:clone 下来 .safetensors 只有几百字节? A:说明 Git LFS 未生效,执行 git lfs install 后再 clone,或用 git lfs pull 拉取真实文件。

Q:只想要其中一个模型,可以只放一个吗? A:可以。两个模型互相独立,按需放入 models/controlnet/ 即可,不用的那个不占显存也不影响运行。

Q:权重来源与许可? A:该仓库为 Apache-2.0 许可的 ComfyUI 重打包版本,原始模型来自 InstantX 的 Qwen-Image ControlNet 系列,详见 README.md。

总结

步骤 操作 预计耗时
1 git clone 获取模型(LFS) 2 分钟(视网速)
2 文件复制到 ComfyUI/models/controlnet/ 1 分钟
3 加载官方工作流模板并出图 2 分钟

至此你已经完成 ComfyUI 部署 ControlNet 的全流程:Qwen-Image-InstantX-ControlNets 让 Qwen-Image 具备了"按指令作画"的精准控制能力,无论是局部重绘还是多条件构图,都值得动手试一次。

登录后查看全文
Qwen-Image-InstantX-ControlNets