8步文生图模型MOSS-Image-SFT-8-steps-dmd快速上手:ComfyUI加载LoRA只需2步

原创2026-10-19 15:17:473,643 阅读

8步文生图模型MOSS-Image-SFT-8-steps-dmd快速上手:ComfyUI加载LoRA只需2步

MOSS-Image-SFT-8-steps-dmd 是一个基于开源文生图模型 MOSS-Image-SFT 蒸馏而来的 8 步文生图模型,把原本 50 步 + CFG 3 的采样压缩到只需 8 步网络计算、无 CFG。本文用最简单的方式带你快速上手:在 ComfyUI 中加载它的 LoRA 只需 2 步,几分钟就能跑起高速文生图 🚀

为什么值得尝试这个8步文生图模型?

先说结论:速度提升非常明显。

对比项 原始 MOSS-Image-SFT MOSS-Image-SFT-8-steps-dmd
采样步数 50 步 8 步(1~7 步也能跑)
CFG 需要(CFG 3) 不需要(CFG = 1)
网络计算量 约 100 次前向 8 次前向
速度 基准 约快 12 倍

它是如何通过蒸馏做到这一步的?核心是 Data-space DMD(论文 arXiv 2610.12102):

  • 生成器不再按传统流程"逐步给带噪潜变量去噪"
  • 而是从固定噪声出发,在干净图像估计值上自我迭代,每一步都基于自己的预测继续精修
  • 每个步数前缀都经过训练,所以 8 步以内任意步数都能用

📌 项目当前为 work-in-progress 状态(蒸馏持续进行中),当前权重为 update 2600(EMA,float32)。

仓库结构:文生图模型文件布局一览

整个仓库只有几个 safetensors 权重文件,职责非常清晰:

文件 作用
lora.safetensors ⭐ 主 LoRA 文件,直接丢进 ComfyUI(推荐强度 1.0)
lora_latest.safetensors 最新训练检查点 LoRA(推荐强度 0.7)
dataspace.safetensors 数据空间采样参数:latent_mix.Q(128×128 矩阵)+ 8 个 step_codes
generator.safetensors 合并版适配器:LoRA + Q 矩阵 + step codes 三合一
time_embedding.safetensors 时间嵌入与调制偏置的替换权重(进阶手动推理用)
transformer/ 标准 MOSSImageTransformer 权重,约 20GB(fp32,分 4 个文件)

从 transformer/config.json 可以看到模型规格:42 层 Transformer、隐藏维度 3072、24 头注意力、128 通道潜变量。

ComfyUI快速上手:加载LoRA只需2步 🎯

这是全文最实用的部分。基座模型使用 MOSS-Image-SFT 本体的 bf16 权重(文字编码器、tokenizer、VAE 均来自基座仓库),本仓库的 LoRA 以**未合并(unmerged)**方式叠加在其上。

第 1 步:放置并加载 LoRA 文件

  1. 下载 lora.safetensors
  2. 放入 ComfyUI 的 models/loras 目录
  3. 在 ComfyUI 工作流中添加 Load LoRA(LoraLoader)节点,选中该文件即可

第 2 步:设置强度与采样步数

参数 推荐值
LoRA 强度(strength) lora.safetensors 用 1.0;lora_latest.safetensors 用 0.7
KSampler 步数(steps) 8(1~7 也可以,每个前缀都经过训练)
CFG 1(无 CFG 是这个模型的用法,别填 3)

保存后点击生成——8 步出图 ✅

选哪个:lora 还是 lora_latest?

进阶:8步采样器原理简述 🛠️

官方采样器与发布版的 scheduler 不同,逻辑见 README.md 的 sampler 部分:

  1. 从 dataspace.safetensors 载入 latent_mix.Q 和 8 个 step_codes
  2. 取固定噪声 z,干净估计 x0 初始化为零
  3. 循环 8 次:x = z + Q·x0 → 网络以 codes[r] 预测速度 v → x0 = z - v
  4. 最后用基座 VAE 解码(BN 反归一化 + 2x2 unpatchify)得到图像

⚠️ 精度注意:蒸馏带来的权重差小于 bf16 的舍入步长。若手动加载 transformer/ 整权重推理,必须用 fp32(torch_dtype=torch.float32,关闭 autocast),转 bf16 会丢掉大部分蒸馏效果;而走 bf16 快速路线(即上面 ComfyUI 方案)则用基座 bf16 权重 + 未合并 LoRA。

获取完整仓库

如需完整文件结构,可克隆仓库:

git clone https://gitcode.com/hf_mirrors/lodestones/MOSS-Image-SFT-8-steps-dmd

常见问题 FAQ

问:速度到底快多少? 原始 50 步 + CFG 每步要 2 次前向,约 100 次计算;本模型无 CFG 只需 8 次前向,计算量压缩到约 1/12。

问:少于 8 步可以吗? 可以。每个步数前缀都经过训练,1~7 步都能出图,适合进一步压榨速度。

问:画质会有损失吗? 蒸馏模型相对原模型可能存在轻微画质差距,当前项目仍在迭代(work-in-progress)。建议先用小任务验证效果,再投入正式生产流程。

问:授权协议是什么? Apache-2.0(见 README.md 头部 metadata),可自由使用。

问:CFG 一定要设为 1 吗? 是的。该模型就是按"无 CFG"蒸馏的,CFG 3 是原始模型的用法,照搬到 8 步版本并不合适。

总结

MOSS-Image-SFT-8-steps-dmd 的核心卖点就是又快又简单:

  • ⚡ 8 步无 CFG 文生图,计算量约为原始模型的 1/12
  • 🎯 ComfyUI 加载 LoRA 只需 2 步,强度 1.0 即可上手
  • 📦 文件结构清晰,lora.safetensors 一个文件搞定日常使用

如果你正在寻找快速文生图的 8 步方案,这个 8 步文生图 LoRA 值得一试!

登录后查看全文
MOSS-Image-SFT-8-steps-dmd