12GB显存也能跑AI绘图?Boogu-Image低显存Offload配置清单
12GB显存也能跑AI绘图?Boogu-Image低显存Offload配置清单
Boogu-Image 是 10B 参数的开源 AI 图像生成与编辑模型家族,官方完整跑通一次文生图通常要吃掉约 40GB 显存。想在小显卡上也能跑 AI 绘图?这份 12GB 显存低显存 Offload 配置清单 帮你抄作业:通过 Sequential CPU Offload、Model CPU Offload、Group Offload 三种卸载策略,再叠加 FP8 量化,就能让普通消费级显卡稳定出图。
为什么 12GB 小显存跑不动 Boogu-Image?
Boogu-Image 由一个扩散 Transformer + 多模态指令编码器(MLLM)+ VAE 组成,权重本身就有 10B 参数。若不做任何卸载、又没挂独立的重写模型,单次 T2I 推理大约需要 40GB 显存;如果再接一个 32B 级别的本地重写器,峰值可能飙到 60GB。
这也是为什么官方提供了三种 Offload(显存卸载)开关——它们把暂时用不到的权重暂时放回 CPU 内存,只在需要时搬上 GPU。代价是速度变慢,但换来的是 12GB 甚至更低显存也能跑通。下面先带你看懂这三种模式的取舍。
三种 Offload 模式:显存与速度如何取舍
三种开关互斥,一次最多只能开一个(inference.py 里的校验逻辑会强制这一点)。下表来自 INFERENCE_GUIDE.md 的实测显存数据(假设未启用本地重写模型):
| 模式 | 开关参数 | 大致显存 | 特点 |
|---|---|---|---|
| Sequential CPU Offload | --enable_sequential_cpu_offload_flag |
< 2 GB | 最省显存,最慢,细粒度逐块卸载 |
| Model CPU Offload | --enable_model_cpu_offload_flag |
~21.9 GB | 整模型级卸载,速度与显存平衡 |
| Group Offload | --enable_group_offload_flag |
~18–20.3 GB | 按 Transformer / MLLM / VAE 分块卸载,更灵活 |
1️⃣ Sequential CPU Offload:显存最省(< 2GB)
显存最紧张时的首选。它用极细粒度的 CPU/meta 卸载,把权重一层层搬进搬出,因此速度最慢但显存占用最低。12GB 未量化跑 1K / 2K,官方都推荐它。
2️⃣ Model CPU Offload:速度显存平衡
Diffusers 标准的 pipeline 级 CPU 卸载,未量化时约需 21.9GB——已经超了 12GB。但只要叠上 FP8 量化,权重体积近乎减半,12GB 就能装下,速度又比 Sequential 快。
3️⃣ Group Offload:分块卸载更灵活
按 Transformer、MLLM、VAE 三个大块整体调度,未量化约 18–20.3GB,同样需要配 FP8 才能落到 12GB。它在 2K 高分辨率下比 Model Offload 更稳。
⚠️ 无论开哪种 Offload,
device必须是cuda或cuda:x;一旦设为cpu,卸载策略会直接报不兼容错误(校验逻辑见 boogu/utils/validator_utils.py)。
12GB 显存推荐配置清单(抄作业版)
这是官方 README「硬件说明」给出的完整推荐,按 显存 × 分辨率 × 是否量化 排列。重点看前两行:
| 显存 | 文生图 1K(未量化 / 量化) | 文生图 2K(未量化 / 量化) |
|---|---|---|
| 12GB | --enable_sequential_cpu_offload_flag / --enable_model_cpu_offload_flag --use_fp8_weights |
--enable_sequential_cpu_offload_flag / --enable_group_offload_flag --use_fp8_weights |
| 16GB | 同上 | --enable_model_cpu_offload_flag --use_fp8_weights |
| 24GB | --enable_model_cpu_offload_flag / --use_fp8_weights |
--enable_model_cpu_offload_flag |
| 40GB | 基础模型(无需卸载) | --enable_model_cpu_offload_flag / --use_fp8_weights |
| 80GB | 基础模型 | 基础模型 |
一句话记住 12GB 的黄金组合:
- 1K + 未量化 →
--enable_sequential_cpu_offload_flag - 1K + FP8 →
--enable_model_cpu_offload_flag --use_fp8_weights - 2K + 未量化 →
--enable_sequential_cpu_offload_flag - 2K + FP8 →
--enable_group_offload_flag --use_fp8_weights
图生图(TI2I)编辑任务的显存逻辑与文生图一致,把上表的 Offload 开关照搬到 inference.py 即可。官方已准备好现成脚本:demo_scripts/demo_seq_offload_ti2i_teacache.sh 演示 Sequential Offload + 缓存加速,demo_scripts/demo_group_offload_ti2i_taylorseer.sh 演示 Group Offload + TaylorSeer。
FP8 量化:把显存再砍一半的进阶方案
--use_fp8_weights 会以 FP8 精度加载 Transformer 权重,直接把权重占用降一档,是 12GB 解锁 Model / Group Offload 的关键。但有两个前提:
- 必须用 fp8 变体模型:模型路径需包含
fp8,例如Boogu/Boogu-Image-0.1-Base-fp8。 - 权重需预量化:内置 FP8 加载路径要求 Transformer 已用 utils/quantize_transformer.py 量化好(默认
float8_weight_only,排除embedder、embed、lm_head层),再放进 pipeline 的transformer/目录。
量化后推理入口参考 test_base_fp8.sh,核心就是加上 --use_fp8_weights True。
加速避坑指南:兼容性矩阵与常见报错
Offload 可以单独用,但和 缓存加速(TeaCache / TaylorSeer / Cache-DiT) 以及 FP8 量化 的组合是有讲究的。官方兼容矩阵(摘自 INFERENCE_GUIDE.md)如下:
| 缓存策略 | 是否 FP8 | Offload:None | Offload:Model CPU | Offload:Sequential CPU | Offload:Group |
|---|---|---|---|---|---|
| Off / TeaCache | 开 | ✅ | ✅ | ❌ | ❌ |
| TaylorSeer | 关 | ✅ | ✅ | ✅ | ✅ |
| TaylorSeer | 开 | ❌ | ❌ | ❌ | ❌ |
| Cache-DiT | 关 | ✅ | ✅ | ✅ | ✅ |
几条最实用的建议:
- 缓存加速优先级:
Cache-DiT > TaylorSeer > TeaCache。建议先全关,跑通后再一个个开。 - Sequential / Group Offload 与 torch.compile 不兼容,同时开
--enable_torch_compile会触发警告。 - Offload + 本地重写(共享 MLLM 当 rewriter)不兼容:低显存下若要 Prompt 增强,请改用远程重写(DashScope)或独立本地重写模型,并把
rewriter_device设为与device相同。 - 三个 Offload 开关互斥,一次只能开一个,且
device必须是 CUDA 设备。
现成脚本,开箱即用
不想手敲参数?仓库 demo_scripts/ 下已为三种模式各备好文生图模板,照抄改路径即可:
| 模式 | 脚本 |
|---|---|
| Sequential CPU Offload | demo_scripts/demo_seq_offload_t2i.sh |
| Model CPU Offload | demo_scripts/demo_cpu_offload_t2i.sh |
| Group Offload | demo_scripts/demo_group_offload_t2i.sh |
📌 一句话总结:12GB 显存跑 Boogu-Image 的核心,就是「未量化选 Sequential、量化选 Model / Group + FP8」。按上面的配置清单选好开关、配上对应脚本,小显卡也能安心出图。

