Qwen-Image-2.1-Lightning-v2-RL快速上手教程:如何用Diffusers三步跑通本地AI绘图
Qwen-Image-2.1-Lightning-v2-RL快速上手教程:如何用Diffusers三步跑通本地AI绘图
Qwen-Image-2.1-Lightning-v2-RL 是一款基于 Diffusers 本地部署的 AI 绘图模型:经过蒸馏与强化学习(RL)训练,它只需 4 个采样步 即可出图,速度约为原始 Qwen-Image-2.1(40 步)的 10 倍,并支持 文生图、单图编辑、多参考图生成 三种玩法。本文带你用 Diffusers 三步跑通本地 AI 绘图:装依赖 → 加载模型 → 出图。
🚀 先认识模型:4步出图的本地AI绘图模型
本仓库由 LightX2V 团队发布,从 Qwen-Image-2.1 蒸馏而来,再通过 RL 训练精调。相比基线的 40 步采样,它把采样步数压缩到 4 步,CFG 保持 1.0,并默认开启 KV Cache 进一步加速推理:
| 对比项 | Qwen-Image-2.1(基线) | Qwen-Image-2.1-Lightning-v2-RL |
|---|---|---|
| 采样步数 | 40 步 | 4 步 |
| CFG | 1.0 | 1.0 |
| 输出尺寸(示例) | 1024×1024 | 1024×1024 |
| 权重形态 | 完整模型 | 完整 Transformer 权重(替换进基础 pipeline 使用) |
先看 4 步出图的实际效果——文生图示例「风暴中火烧海岸边的海豚」(完整提示词见仓库 prompt.txt):
同样提示词下,原始模型 40 步采样的基线效果,可直观对比 4 步与 40 步的画质差异:
🛠️ 三步跑通:安装 → 加载 → 生成
第1步:安装Diffusers依赖
需要一台带 CUDA 的 GPU,安装支持 QwenImage21Pipeline 的 较新版本 Diffusers:
pip install -U diffusers
pip install "transformers>=5.17.0" accelerate safetensors pillow
第2步:加载模型——只需替换Transformer
本仓库的权重是 完整 Transformer 权重(不是 LoRA):用基础模型搭好完整 pipeline,再把本仓库的 Transformer 替换进去即可。处理器、文本编码器、VAE 会在首次运行时从基座模型自动下载,无需手动准备。
import json
import torch
from diffusers import FlowMatchEulerDiscreteScheduler, QwenImage21Pipeline, QwenImage21Transformer2DModel
with open("inference_config.json", encoding="utf-8") as f:
cfg = json.load(f)
# 1) 加载本仓库的 Transformer 权重(FP32 存储,按 BF16 加载)
transformer = QwenImage21Transformer2DModel.from_pretrained(".", torch_dtype=torch.bfloat16)
# 2) 搭建完整 pipeline 并替换 Transformer
pipe = QwenImage21Pipeline.from_pretrained(
cfg["base_model"], # Qwen/Qwen-Image-2.1
transformer=transformer,
torch_dtype=torch.bfloat16,
)
# 3) 调度器参数直接来自 inference_config.json
pipe.scheduler = FlowMatchEulerDiscreteScheduler(**cfg["scheduler"])
pipe.to("cuda")
第3步:生成图片——文生图、单图编辑、多参考图三种玩法
关键在于 原样传入 inference_config.json 中的 sample_sigmas——只设置 num_inference_steps=4 无法复现原有采样计划:
SIGMAS = cfg["sample_sigmas"] # [1.0, 0.95418, 0.89508, 0.704534]
def generate(prompt, image=None, seed=42):
return pipe(
prompt=prompt,
image=image,
width=1024, height=1024,
sigmas=SIGMAS,
num_inference_steps=len(SIGMAS),
true_cfg_scale=cfg["true_cfg_scale"], # 1.0
use_kv_cache=cfg["use_kv_cache"], # True
generator=torch.Generator("cpu").manual_seed(seed),
).images[0]
# 玩法一:文生图
generate("A ceramic teapot beside a small bowl of oranges on a wooden table, "
"soft morning window light, detailed glaze, natural colors.").save("t2i.png")
# 玩法二:单图编辑(传入参考图即可)
from PIL import Image
ref = Image.open("reference.png").convert("RGB")
generate("Change the jacket to dark green. Preserve the person's face, pose, "
"and the rest of the scene.", image=[ref]).save("edit.png")
# 玩法三:多参考图生成(顺序需与 prompt 中 image1 / image2 一致)
refs = [Image.open("person.png").convert("RGB"), Image.open("jacket.png").convert("RGB")]
generate("Show the person from image 1 wearing the jacket from image 2.", image=refs).save("multi.png")
🎨 4步 vs 40步:更多实测效果
单图编辑:把背景替换为热闹的露天集市,人物与猫保持不变(完整提示词见 prompt.txt):
多参考图生成:从图 2 中提取食物碗,融合进图 1 的 3D 插画场景,并保持风格、透视与光线一致(完整提示词见 prompt.txt):
仓库 assets/comparison/ 目录还收录了全部对比样例,每个示例均含 40 步基线与 4 步结果,可直接对照参考。
📦 模型文件清单与关键推理参数
| 文件 | 说明 |
|---|---|
| diffusion_pytorch_model.safetensors | 完整 Transformer 权重(FP32 存储,可按 BF16 加载推理) |
| config.json | Transformer 结构配置(32 层、32 个注意力头) |
| inference_config.json | 4 组采样 sigmas、CFG、KV Cache 与调度器参数 |
| qwen_image_21_lightning_v2_rl_4steps_lora_rank64.safetensors | 同模型的 LoRA 格式权重(rank 64) |
关键推理参数(详见 inference_config.json):
- sample_sigmas:
1.0 / 0.95418 / 0.89508 / 0.704534,共 4 个采样点(末尾的 0 由调度器自动补上);已做过 shift 处理,不要再开启动态 shifting。 - true_cfg_scale = 1.0:不启用 CFG。
- use_kv_cache = true:开启 KV Cache 加速。
- 分辨率:示例为 1024×1024;改用其他宽高比时,宽和高都必须是 32 的倍数。
❓ 常见问题
Q:官方为什么强调它"不是 LoRA"?
仓库主权重是完整 Transformer 权重,需替换进基础 pipeline 使用;带 lora_rank64 后缀的 LoRA 文件只是提供的另一种权重形态,加载方式不同。
Q:需要提前下载基座 Qwen/Qwen-Image-2.1 吗?
不需要。QwenImage21Pipeline.from_pretrained 构建基础 pipeline 时,其处理器、文本编码器与 VAE 会自动从基座模型下载。
Q:提示词怎么写效果最好? 参考 assets/comparison/ 下的样例:描述越具体(主体、场景、光线、构图),4 步出图的稳定性越高;精细文字、解剖结构与精确参考还原仍建议多换几个 seed 挑选。
Q:许可证是什么? 本模型派生自 Qwen-Image-2.1,遵循 Qwen Research License,含非商业条款,使用前请留意,详见仓库 README.md。



