8步文生图模型MOSS-Image-SFT-8-steps-dmd快速上手:ComfyUI加载LoRA只需2步
8步文生图模型MOSS-Image-SFT-8-steps-dmd快速上手:ComfyUI加载LoRA只需2步
MOSS-Image-SFT-8-steps-dmd 是一个基于开源文生图模型 MOSS-Image-SFT 蒸馏而来的 8 步文生图模型,把原本 50 步 + CFG 3 的采样压缩到只需 8 步网络计算、无 CFG。本文用最简单的方式带你快速上手:在 ComfyUI 中加载它的 LoRA 只需 2 步,几分钟就能跑起高速文生图 🚀
为什么值得尝试这个8步文生图模型?
先说结论:速度提升非常明显。
| 对比项 | 原始 MOSS-Image-SFT | MOSS-Image-SFT-8-steps-dmd |
|---|---|---|
| 采样步数 | 50 步 | 8 步(1~7 步也能跑) |
| CFG | 需要(CFG 3) | 不需要(CFG = 1) |
| 网络计算量 | 约 100 次前向 | 8 次前向 |
| 速度 | 基准 | 约快 12 倍 |
它是如何通过蒸馏做到这一步的?核心是 Data-space DMD(论文 arXiv 2610.12102):
- 生成器不再按传统流程"逐步给带噪潜变量去噪"
- 而是从固定噪声出发,在干净图像估计值上自我迭代,每一步都基于自己的预测继续精修
- 每个步数前缀都经过训练,所以 8 步以内任意步数都能用
📌 项目当前为 work-in-progress 状态(蒸馏持续进行中),当前权重为 update 2600(EMA,float32)。
仓库结构:文生图模型文件布局一览
整个仓库只有几个 safetensors 权重文件,职责非常清晰:
| 文件 | 作用 |
|---|---|
| lora.safetensors | ⭐ 主 LoRA 文件,直接丢进 ComfyUI(推荐强度 1.0) |
| lora_latest.safetensors | 最新训练检查点 LoRA(推荐强度 0.7) |
| dataspace.safetensors | 数据空间采样参数:latent_mix.Q(128×128 矩阵)+ 8 个 step_codes |
| generator.safetensors | 合并版适配器:LoRA + Q 矩阵 + step codes 三合一 |
| time_embedding.safetensors | 时间嵌入与调制偏置的替换权重(进阶手动推理用) |
| transformer/ | 标准 MOSSImageTransformer 权重,约 20GB(fp32,分 4 个文件) |
从 transformer/config.json 可以看到模型规格:42 层 Transformer、隐藏维度 3072、24 头注意力、128 通道潜变量。
ComfyUI快速上手:加载LoRA只需2步 🎯
这是全文最实用的部分。基座模型使用 MOSS-Image-SFT 本体的 bf16 权重(文字编码器、tokenizer、VAE 均来自基座仓库),本仓库的 LoRA 以**未合并(unmerged)**方式叠加在其上。
第 1 步:放置并加载 LoRA 文件
- 下载 lora.safetensors
- 放入 ComfyUI 的
models/loras目录 - 在 ComfyUI 工作流中添加 Load LoRA(LoraLoader)节点,选中该文件即可
第 2 步:设置强度与采样步数
| 参数 | 推荐值 |
|---|---|
| LoRA 强度(strength) | lora.safetensors 用 1.0;lora_latest.safetensors 用 0.7 |
| KSampler 步数(steps) | 8(1~7 也可以,每个前缀都经过训练) |
| CFG | 1(无 CFG 是这个模型的用法,别填 3) |
保存后点击生成——8 步出图 ✅
选哪个:lora 还是 lora_latest?
- lora.safetensors:对应 update 2600 的 EMA 权重,强度 1.0,新手首选
- lora_latest.safetensors:最新训练快照,强度 0.7,适合想尝鲜最新效果的进阶用户
进阶:8步采样器原理简述 🛠️
官方采样器与发布版的 scheduler 不同,逻辑见 README.md 的 sampler 部分:
- 从 dataspace.safetensors 载入
latent_mix.Q和 8 个step_codes - 取固定噪声
z,干净估计x0初始化为零 - 循环 8 次:
x = z + Q·x0→ 网络以codes[r]预测速度v→x0 = z - v - 最后用基座 VAE 解码(BN 反归一化 + 2x2 unpatchify)得到图像
⚠️ 精度注意:蒸馏带来的权重差小于 bf16 的舍入步长。若手动加载 transformer/ 整权重推理,必须用 fp32(torch_dtype=torch.float32,关闭 autocast),转 bf16 会丢掉大部分蒸馏效果;而走 bf16 快速路线(即上面 ComfyUI 方案)则用基座 bf16 权重 + 未合并 LoRA。
获取完整仓库
如需完整文件结构,可克隆仓库:
git clone https://gitcode.com/hf_mirrors/lodestones/MOSS-Image-SFT-8-steps-dmd
常见问题 FAQ
问:速度到底快多少? 原始 50 步 + CFG 每步要 2 次前向,约 100 次计算;本模型无 CFG 只需 8 次前向,计算量压缩到约 1/12。
问:少于 8 步可以吗? 可以。每个步数前缀都经过训练,1~7 步都能出图,适合进一步压榨速度。
问:画质会有损失吗? 蒸馏模型相对原模型可能存在轻微画质差距,当前项目仍在迭代(work-in-progress)。建议先用小任务验证效果,再投入正式生产流程。
问:授权协议是什么? Apache-2.0(见 README.md 头部 metadata),可自由使用。
问:CFG 一定要设为 1 吗? 是的。该模型就是按"无 CFG"蒸馏的,CFG 3 是原始模型的用法,照搬到 8 步版本并不合适。
总结
MOSS-Image-SFT-8-steps-dmd 的核心卖点就是又快又简单:
- ⚡ 8 步无 CFG 文生图,计算量约为原始模型的 1/12
- 🎯 ComfyUI 加载 LoRA 只需 2 步,强度 1.0 即可上手
- 📦 文件结构清晰,lora.safetensors 一个文件搞定日常使用
如果你正在寻找快速文生图的 8 步方案,这个 8 步文生图 LoRA 值得一试!