Qwen-Image-2.1-Lightning-v2-RL单参考图编辑教程:如何快速实现照片局部精准修改
Qwen-Image-2.1-Lightning-v2-RL单参考图编辑教程:如何快速实现照片局部精准修改
Qwen-Image-2.1-Lightning-v2-RL 是由 Qwen-Image-2.1 蒸馏而来、经强化学习精调的 AI 图像编辑模型,只需 4 步去噪 即可完成文生图与单参考图编辑(Single-reference editing)。本教程面向新手,带你快速上手:如何给一张照片做局部精准修改——只改指定区域,其余内容完整保留。
为什么选这个模型做局部修改?
普通的文生图模型想改一张照片,往往需要 30~40 步采样,速度慢、细节也容易漂移。Qwen-Image-2.1-Lightning-v2-RL 的核心卖点是:
- ⚡ 4 步出图:配合固定的 sigma 调度与 CFG = 1.0,速度比基线快一个数量级
- 🎯 单参考图编辑:传入一张参考图,用提示词指定"改哪里、保留什么"
- 🖼️ 三种任务通吃:文生图(t2i)、单参考图编辑(i2i single)、多参考图生成(i2i multi)
模型基于 Qwen/Qwen-Image-2.1 基座,推理时只需替换其中的 Transformer 权重,其余组件(处理器、文本编码器、VAE)沿用原 Qwen-Image-2.1 管线。
模型文件清单:先看有哪些文件
| 文件 | 作用 |
|---|---|
| diffusion_pytorch_model.safetensors | 完整 Transformer 权重(FP32 存储,可按 BF16 加载) |
| config.json | Transformer 网络结构配置(QwenImage21Transformer2DModel) |
| inference_config.json | 推理专用配置:4 个采样 sigma、true_cfg_scale、scheduler 参数、KV cache 开关 |
| qwen_image_21_lightning_v2_rl_4steps_lora_rank64.safetensors | 附带发布的 rank64 LoRA 版本权重 |
| README.md | 官方说明与完整推理示例 |
💡 注意:inference_config.json 是发布专用配置文件,Diffusers 不会自动加载它,需要代码中显式读取——这一步很多新手会漏。
把仓库克隆到本地(建议放在模型目录):
git clone https://gitcode.com/hf_mirrors/lightx2v/Qwen-Image-2.1-Lightning-v2-RL
一键安装:环境配置步骤
需要支持 QwenImage21Pipeline 的较新版本 Diffusers:
pip install -U "diffusers>=0.41.0" "transformers>=5.17.0" accelerate safetensors pillow
模型加载只需三行核心逻辑:从本地目录加载 Transformer,再把它注入 Qwen-Image-2.1 基座管线,最后用 inference_config.json 里的参数初始化 scheduler(sigma 已做过 shift,不要再叠加 dynamic shifting):
import json, torch
from diffusers import FlowMatchEulerDiscreteScheduler, QwenImage21Pipeline, QwenImage21Transformer2DModel
cfg = json.load(open("inference_config.json", encoding="utf-8"))
transformer = QwenImage21Transformer2DModel.from_pretrained(".", torch_dtype=torch.bfloat16)
pipe = QwenImage21Pipeline.from_pretrained(cfg["base_model"], transformer=transformer, torch_dtype=torch.bfloat16)
pipe.scheduler = FlowMatchEulerDiscreteScheduler(**cfg["scheduler"])
pipe.to("cuda")
三步实现照片局部精准修改
第 1 步:准备参考图 + 写好"改 + 留"提示词
单参考图编辑的提示词有一个黄金句式:先说改什么,再说保留什么。以官方对比样例 prompt.txt 为例,它的结构是:
- Replace……:把天空中央的飞鸟替换成同位置、同距离的飞龙,并描述龙的外形与光影
- Keep everything else unchanged:梯田式石构建筑、瀑布、棕榈树、雾气、暖色天空……逐项列出必须保留的元素
这样模型才知道"局部修改"的边界,避免整张图被重新画掉。
参考输入图(一张园林瀑布场景):
第 2 步:4 步运行推理
from PIL import Image
ref = Image.open("reference.png").convert("RGB")
out = pipe(
prompt="Replace the bird in the sky with a flying dragon. Keep everything else completely unchanged.",
image=[ref], # 单参考图:传一个列表
width=1024, height=1024,
sigmas=cfg["sample_sigmas"], # 必须使用配置里的 4 个 sigma
num_inference_steps=4,
true_cfg_scale=cfg["true_cfg_scale"],
use_kv_cache=cfg["use_kv_cache"],
generator=torch.Generator("cpu").manual_seed(42),
).images[0]
out.save("edit.png")
三个关键参数一次说清:
image=[ref]:传入单参考图(多参考图按提示词顺序依次传入)sigmas:必须原样使用 inference_config.json 里的[1.0, 0.95418, 0.89508, 0.704534],只写num_inference_steps=4无法复现该调度true_cfg_scale=1.0:RL 版本已内化引导信号,无需 CFG 放大
第 3 步:查看 4 步编辑结果
上图中那只飞鸟被替换成了展翅飞龙,建筑、瀑布、植被等其余元素保持原样,仅 4 步完成:
效果对比:4 步 vs 基线 40 步
同一个任务(飞鸟 → 飞龙),交给原 Qwen-Image-2.1 权重跑满 40 步 Euler 采样的结果如下,供你对比:
4 步版在速度与质量之间取得了很好的平衡。仓库 assets/comparison/ 目录下还有 t2i、i2i_single、i2i_multi 三组样例可翻:
- 文生图示例:assets/comparison/t2i/12/
- 单参考图编辑:assets/comparison/i2i_single/20/
- 多参考图生成:assets/comparison/i2i_multi/27/
换一个更有挑战的场景:整块背景替换。下图输入是一张书店门前景,任务是把背景换成热闹露天集市,同时人物弹吉他的姿态、猫咪、长椅一个像素都不动:
4 步编辑后的效果——背景已整体替换为集市,人物与猫保持原样,光影和透视也自然融合:
新手常见问题 FAQ
Q1:输出尺寸有什么限制? 示例使用 1024×1024;其他宽高比请让两个维度都是 32 的倍数。
Q2:结果和预期不一致怎么办? 质量会随提示词与 seed 变化。细小文字、手部结构、物体数量和参考细节的严格保持仍可能需要多试几次或微调提示词。
Q3:这个 checkpoint 能当 LoRA 或独立管线加载吗? 不能。它是完整 Transformer 权重,必须替换进 Qwen-Image-2.1 管线使用;仓库里另附的 rank64 LoRA 是单独的 LoRA 形态权重。
Q4:License 允许商用吗? 模型继承 Qwen Research License,含非商业条款,商用前请先阅读原始 Qwen-Image-2.1 的许可证。
总结
| 要点 | 说明 |
|---|---|
| 核心能力 | 4 步完成单参考图编辑,局部修改更稳更快 |
| 提示词公式 | "Replace…… + Keep……" 先改后留 |
| 必改参数 | sigmas 用 inference_config.json 原值,true_cfg_scale=1.0 |
| 参考资源 | README.md 官方示例与 assets/comparison/ 效果对比 |
掌握"改 + 留"提示词套路后,换装、换背景、局部替换等常见照片修改任务,都可以用 Qwen-Image-2.1-Lightning-v2-RL 在几秒内完成 🎉





