没有NVIDIA显卡也能AI绘图:MOSS-Image-SFT-GGUF在CPU与Mac上的部署指南
没有NVIDIA显卡也能AI绘图:MOSS-Image-SFT-GGUF在CPU与Mac上的部署指南
MOSS-Image-SFT-GGUF 是 Unsloth 团队基于 OpenMOSS 的 5.1B 文生图模型 MOSS-Image-SFT 制作的 GGUF 量化版,支持在 CPU、Mac 和 GPU 上运行 AI 绘图——不需要 NVIDIA 显卡,普通电脑即可本地生成图片。推荐量化文件仅 3.42 GB,约为原始 BF16 权重(10.17 GB)的三分之一,是低配机器跑通文生图的理想选择。
为什么 GGUF 版本能跑在 CPU 和 Mac 上?
原版 MOSS-Image-SFT 面向 NVIDIA 显卡 + CUDA 环境,而 GGUF 格式专为 CPU 推理而生(llama.cpp 生态)。本仓库的权重基于 Unsloth Dynamic 2.0 方法量化:UD- 前缀的文件是混合精度量化,每一层的量化类型都经过敏感度扫描和重要性矩阵测量后选出,在极小体积下保持更高画质。
仓库内 7 个量化文件一览:
| 文件 | 大小 | 定位 |
|---|---|---|
MOSS-Image-SFT-UD-Q3_K_XL.gguf |
2.84 GB | 体积最小,内存紧张时首选 |
MOSS-Image-SFT-Q4_K_M.gguf |
3.20 GB | 标准 4-bit 量化 |
MOSS-Image-SFT-UD-Q4_K_XL.gguf |
3.42 GB | ⭐ 推荐,画质/体积最佳平衡 |
MOSS-Image-SFT-UD-Q5_K_XL.gguf |
3.95 GB | 画质更接近原版 |
MOSS-Image-SFT-UD-Q6_K_XL.gguf |
4.53 GB | 接近原版画质 |
MOSS-Image-SFT-Q8_0.gguf |
5.48 GB | 最接近 BF16 原图 |
MOSS-Image-SFT-BF16.gguf |
10.17 GB | 全精度,无需量化时 |
💡 官方对比测试:同为 4-bit,
UD-Q4_K_XL的 LPIPS 误差(0.213)明显优于普通Q4_K_M(0.294),SSIM 也从 0.714 提升到 0.780——体积几乎相同,画质却好一档。
10 秒选文件:内存 8 GB 左右 → UD-Q4_K_XL;追求画质 → UD-Q5_K_XL / UD-Q6_K_XL;预算充足求保真 → Q8_0。
方式一:Unsloth Studio 图形化部署(新手推荐)
不用敲命令行,适合零基础用户:
- 安装 Unsloth 的 Unsloth Studio 并打开;
- 进入 Images 标签页,模型选择 MOSS-Image-SFT;
- 从本仓库任选一个 GGUF 文件(推荐
MOSS-Image-SFT-UD-Q4_K_XL.gguf); - 输入提示词,点击生成即可。
Studio 内置 stable-diffusion.cpp 推理引擎,会自动帮你下载 VAE、tokenizer 和 Qwen3.5-9B 文本编码器,默认参数为 1024×1024 分辨率、50 步、CFG 3、shift 5,直接出图。
方式二:stable-diffusion.cpp 命令行部署(进阶)
适合喜欢终端操作、需要在 Mac 或 Linux 服务器上部署的用户。使用包含 MOSS-Image 支持的构建版本(master-975 或更新)。
第 1 步:下载模型文件(3 个部分缺一不可):
hf download unsloth/MOSS-Image-SFT-GGUF MOSS-Image-SFT-UD-Q4_K_XL.gguf --local-dir moss
hf download unsloth/Qwen3.5-9B-GGUF Qwen3.5-9B-Q8_0.gguf --local-dir moss
hf download unsloth/MOSS-Image-SFT-FP8 vae/diffusion_pytorch_model.safetensors tokenizer/tokenizer.json --local-dir moss
也可以 git clone https://gitcode.com/hf_mirrors/unsloth/MOSS-Image-SFT-GGUF 克隆仓库浏览完整文件列表,再按需下载。
第 2 步:运行绘图命令:
./sd-cli --diffusion-model moss/MOSS-Image-SFT-UD-Q4_K_XL.gguf \
--llm moss/Qwen3.5-9B-Q8_0.gguf \
--vae moss/vae/diffusion_pytorch_model.safetensors \
--tokenizer moss/tokenizer/tokenizer.json \
--cfg-scale 3.0 --steps 50 -H 1024 -W 1024 -s 42 \
-p "a storefront sign that says UNSLOTH in bold clean letters, daytime, sharp focus" \
-o moss.png
关键参数速查:
| 参数 | 说明 | 建议值 |
|---|---|---|
--cfg-scale |
提示词贴合度(CFG) | 3.0 |
--steps |
采样步数 | 50 |
-H / -W |
输出宽高(需为 16 的倍数) | 1024 |
-s |
随机种子,同种子可复现 | 42 |
-p |
文生图提示词 | 自由发挥 |
-o |
输出图片路径 | moss.png |
官方推荐的采样配置:Flow-matching Euler 采样器,50 步、CFG 3、shift 5,负向分支跳过第 22 层(zero-based)以节省算力。
常见问题 FAQ
Q:为什么仓库里只有 transformer 权重?
这是完整设计:VAE 与 tokenizer 未改动,从 unsloth/MOSS-Image-SFT-FP8 获取;文本编码器使用 Qwen3.5-9B-Q8_0.gguf。三部分齐备即可运行,方式一中会全部自动下载。
Q:UD- 前缀是什么意思?
Unsloth Dynamic 2.0 混合精度量化。每层精度独立测量选择,同体积下画质优于普通 GGUF 量化(如 UD-Q4_K_XL 对比 Q4_K_M)。
Q:对硬件有要求吗?
CPU、Mac(Apple Silicon)、GPU 均可运行。建议内存 ≥ 8 GB 以流畅运行 UD-Q4_K_XL(3.42 GB);想跑 Q8_0 建议 16 GB 以上。
Q:License 商用可以吗? 模型权重遵循 Apache 2.0 协议,详见 LICENSE.md 与来源声明 NOTICE.md。
参考与延伸阅读
- README.md —— 完整使用说明、精度对比表与官方采样设置
- samples/ —— 量化效果示例图(
UD-Q4_K_XL与Q8_0各两张),下载权重前可先预览画质差异 - LICENSE.md / NOTICE.md —— 协议与版权信息
没有 N 卡不再是 AI 绘图的门槛。用 3.42 GB 的 UD-Q4_K_XL 起步,你的 CPU 和 Mac 也能稳定产出 1024×1024 的本地文生图作品 🎨