12GB显存也能跑AI绘图?Boogu-Image低显存Offload配置清单

原创2026-10-17 20:45:142,313 阅读
文章标签:人工智能媒体生成深度学习计算机视觉多模态图像处理

12GB显存也能跑AI绘图?Boogu-Image低显存Offload配置清单

Boogu-Image 是 10B 参数的开源 AI 图像生成与编辑模型家族,官方完整跑通一次文生图通常要吃掉约 40GB 显存。想在小显卡上也能跑 AI 绘图?这份 12GB 显存低显存 Offload 配置清单 帮你抄作业:通过 Sequential CPU Offload、Model CPU Offload、Group Offload 三种卸载策略,再叠加 FP8 量化,就能让普通消费级显卡稳定出图。

为什么 12GB 小显存跑不动 Boogu-Image?

Boogu-Image 由一个扩散 Transformer + 多模态指令编码器(MLLM)+ VAE 组成,权重本身就有 10B 参数。若不做任何卸载、又没挂独立的重写模型,单次 T2I 推理大约需要 40GB 显存;如果再接一个 32B 级别的本地重写器,峰值可能飙到 60GB。

这也是为什么官方提供了三种 Offload(显存卸载)开关——它们把暂时用不到的权重暂时放回 CPU 内存,只在需要时搬上 GPU。代价是速度变慢,但换来的是 12GB 甚至更低显存也能跑通。下面先带你看懂这三种模式的取舍。

Boogu-Image 开源 AI 图像生成模型出图效果展示,12GB 低显存即可运行

三种 Offload 模式:显存与速度如何取舍

三种开关互斥,一次最多只能开一个(inference.py 里的校验逻辑会强制这一点)。下表来自 INFERENCE_GUIDE.md 的实测显存数据(假设未启用本地重写模型):

模式 开关参数 大致显存 特点
Sequential CPU Offload --enable_sequential_cpu_offload_flag < 2 GB 最省显存,最慢,细粒度逐块卸载
Model CPU Offload --enable_model_cpu_offload_flag ~21.9 GB 整模型级卸载,速度与显存平衡
Group Offload --enable_group_offload_flag ~18–20.3 GB 按 Transformer / MLLM / VAE 分块卸载,更灵活

1️⃣ Sequential CPU Offload:显存最省(< 2GB)

显存最紧张时的首选。它用极细粒度的 CPU/meta 卸载,把权重一层层搬进搬出,因此速度最慢但显存占用最低。12GB 未量化跑 1K / 2K,官方都推荐它。

2️⃣ Model CPU Offload:速度显存平衡

Diffusers 标准的 pipeline 级 CPU 卸载,未量化时约需 21.9GB——已经超了 12GB。但只要叠上 FP8 量化,权重体积近乎减半,12GB 就能装下,速度又比 Sequential 快。

3️⃣ Group Offload:分块卸载更灵活

按 Transformer、MLLM、VAE 三个大块整体调度,未量化约 18–20.3GB,同样需要配 FP8 才能落到 12GB。它在 2K 高分辨率下比 Model Offload 更稳。

⚠️ 无论开哪种 Offload,device 必须是 cuda 或 cuda:x;一旦设为 cpu,卸载策略会直接报不兼容错误(校验逻辑见 boogu/utils/validator_utils.py)。

12GB 显存推荐配置清单(抄作业版)

这是官方 README「硬件说明」给出的完整推荐,按 显存 × 分辨率 × 是否量化 排列。重点看前两行:

显存 文生图 1K(未量化 / 量化) 文生图 2K(未量化 / 量化)
12GB --enable_sequential_cpu_offload_flag / --enable_model_cpu_offload_flag --use_fp8_weights --enable_sequential_cpu_offload_flag / --enable_group_offload_flag --use_fp8_weights
16GB 同上 --enable_model_cpu_offload_flag --use_fp8_weights
24GB --enable_model_cpu_offload_flag / --use_fp8_weights --enable_model_cpu_offload_flag
40GB 基础模型(无需卸载) --enable_model_cpu_offload_flag / --use_fp8_weights
80GB 基础模型 基础模型

一句话记住 12GB 的黄金组合:

  • 1K + 未量化 → --enable_sequential_cpu_offload_flag
  • 1K + FP8 → --enable_model_cpu_offload_flag --use_fp8_weights
  • 2K + 未量化 → --enable_sequential_cpu_offload_flag
  • 2K + FP8 → --enable_group_offload_flag --use_fp8_weights

Boogu-Image 图像编辑 AI 绘图效果示例,支持低显存 Offload 配置

图生图(TI2I)编辑任务的显存逻辑与文生图一致,把上表的 Offload 开关照搬到 inference.py 即可。官方已准备好现成脚本:demo_scripts/demo_seq_offload_ti2i_teacache.sh 演示 Sequential Offload + 缓存加速,demo_scripts/demo_group_offload_ti2i_taylorseer.sh 演示 Group Offload + TaylorSeer。

FP8 量化:把显存再砍一半的进阶方案

--use_fp8_weights 会以 FP8 精度加载 Transformer 权重,直接把权重占用降一档,是 12GB 解锁 Model / Group Offload 的关键。但有两个前提:

  1. 必须用 fp8 变体模型:模型路径需包含 fp8,例如 Boogu/Boogu-Image-0.1-Base-fp8。
  2. 权重需预量化:内置 FP8 加载路径要求 Transformer 已用 utils/quantize_transformer.py 量化好(默认 float8_weight_only,排除 embedder、embed、lm_head 层),再放进 pipeline 的 transformer/ 目录。

量化后推理入口参考 test_base_fp8.sh,核心就是加上 --use_fp8_weights True。

加速避坑指南:兼容性矩阵与常见报错

Offload 可以单独用,但和 缓存加速(TeaCache / TaylorSeer / Cache-DiT) 以及 FP8 量化 的组合是有讲究的。官方兼容矩阵(摘自 INFERENCE_GUIDE.md)如下:

缓存策略 是否 FP8 Offload:None Offload:Model CPU Offload:Sequential CPU Offload:Group
Off / TeaCache 开 ✅ ✅ ❌ ❌
TaylorSeer 关 ✅ ✅ ✅ ✅
TaylorSeer 开 ❌ ❌ ❌ ❌
Cache-DiT 关 ✅ ✅ ✅ ✅

几条最实用的建议:

  • 缓存加速优先级:Cache-DiT > TaylorSeer > TeaCache。建议先全关,跑通后再一个个开。
  • Sequential / Group Offload 与 torch.compile 不兼容,同时开 --enable_torch_compile 会触发警告。
  • Offload + 本地重写(共享 MLLM 当 rewriter)不兼容:低显存下若要 Prompt 增强,请改用远程重写(DashScope)或独立本地重写模型,并把 rewriter_device 设为与 device 相同。
  • 三个 Offload 开关互斥,一次只能开一个,且 device 必须是 CUDA 设备。

现成脚本,开箱即用

不想手敲参数?仓库 demo_scripts/ 下已为三种模式各备好文生图模板,照抄改路径即可:

模式 脚本
Sequential CPU Offload demo_scripts/demo_seq_offload_t2i.sh
Model CPU Offload demo_scripts/demo_cpu_offload_t2i.sh
Group Offload demo_scripts/demo_group_offload_t2i.sh

📌 一句话总结:12GB 显存跑 Boogu-Image 的核心,就是「未量化选 Sequential、量化选 Model / Group + FP8」。按上面的配置清单选好开关、配上对应脚本,小显卡也能安心出图。

登录后查看全文
Boogu-Image