PiD from_clean超分实战:不依赖LDM,将低清图一键4倍放大至4K
PiD from_clean超分实战:不依赖LDM,将低清图一键4倍放大至4K
PiD 是一个即插即用的像素扩散解码器(Pixel Diffusion Decoder),它的 from_clean 入口可以不运行任何潜空间扩散模型(LDM),直接把一张低清图片经 VAE 编码后,用扩散解码器一键放大 4 倍输出 4K 高清图。本文带你从零搭建环境,到跑通 from_clean.py 的完整超分流程。
为什么用 from_clean?传统超分 vs PiD
普通工作流里,"解码器"只是把 latent 变回像素,放大只能靠双三次插值这种笨办法。PiD 把解码 + 上采样统一成同一个生成模块:输入图先进 VAE 得到 latent,再由像素扩散模型直接在高分辨率像素空间去噪,一步出图。
from_clean 流程只有三步,全程不跑 LDM:
- 输入图按原生分辨率送入(仅中心裁剪到 16 的倍数);
- 对应 VAE 编码成 latent,可选按
--degrade_sigmas注入高斯噪声; - PiD 在
--scale × VAE原生分辨率处解码,直接输出放大后的超分图。
核心逻辑都在 from_clean.py 里,参数定义见 cli_utils.py。
三步搭建环境:安装、权重、验证
① 克隆仓库并安装依赖
git clone https://gitcode.com/gh_mirrors/pid18/PiD
cd PiD
# 已有 PyTorch(CUDA) + transformers>=4.57 + diffusers>=0.37 的环境可直接用:
pip install hydra-core omegaconf pyyaml \
attrs einops loguru termcolor fvcore iopath wandb \
imageio opencv-python-headless pandas \
safetensors sentencepiece boto3 botocore
② 下载官方检查点
hf download nvidia/PiD --local-dir . --include "checkpoints/*"
③ 验证环境
PYTHONPATH=. python verify_env.py
# 看到 [PASS] Environment OK 即就绪
一键命令:1024 低清图 → 4K 输出
仓库自带 1024×1024 的示例图,配合 --scale 4 正好输出 4096×4096(4K)。这是官方演示用的输入样本:
单图超分只需一条命令:
PYTHONPATH=. python -m pid._src.inference.from_clean --backbone flux \
--input_path assets/sample_1024_1.jpg \
--prompt "A man on a boat under a bridge, overcast sky" \
--degrade_sigmas 0.0 \
--cfg_scale 1 --pid_inference_steps 4 --scale 4 \
--output_dir ./results/from_clean_demo/flux
关键参数速查:
| 参数 | 作用 | 推荐值 |
|---|---|---|
--backbone |
选择 VAE 骨干 | flux / flux2 / sd3 / sdxl / qwenimage |
--input_path |
单张输入图(与 --manifest 二选一) |
你的低清图 |
--prompt |
文本条件,会送入解码器 | 描述图片内容 |
--scale |
放大倍数(输出 = VAE原生 × scale) | 4(1024→4K) |
--degrade_sigmas |
编码后注入的噪声强度,0.0 为无损往返 |
0.0 |
--pid_inference_steps |
像素扩散去噪步数 | 4(蒸馏模型很快) |
--cfg_scale |
解码器 CFG 强度 | 1 |
批量超分:用 manifest 一次处理多张图
--manifest 接收 JSONL 文件,每行一个 {"image": <路径>, "prompt": <文本>} 对象。仓库自带现成清单 clean_image_manifest.jsonl(512 输入)和 clean_image_manifest_1024.jsonl(1024 输入):
PYTHONPATH=. python -m pid._src.inference.from_clean --backbone flux \
--manifest assets/clean_image_manifest_1024.jsonl \
--degrade_sigmas 0.0 \
--cfg_scale 1 --pid_inference_steps 4 --scale 4 \
--output_dir ./results/official_demo_from_clean/flux
多卡时可用 torchrun --nproc_per_node=N 启动,样本会按 rank 轮转分片,无需手动切分。
读懂输出:PiD 结果 vs VAE 基线
脚本对每个样本同时保存三组结果,方便直接对比:
input/— 原始输入图;<tag>/sigma_xxx/— PiD 超分结果(4K 原生分辨率);vae_decode/sigma_xxx/— 原生 VAE 解码基线(无插值放大)。
另外,--degrade_sigmas 0.0 0.2 0.4 0.8 这种写法可以一次扫多个噪声档位,观察不同污染程度 latent 的恢复效果(sdxl 骨干会自动使用 variance-preserving 噪声形式)。
进阶技巧与常见问题
想要 4K 更稳的效果? 换 --pid_ckpt_type 2kto4k_v1pt5,这是 v1.5 多分辨率(2K–4K)训练版本,色彩更准、无角落网格伪影。各骨干支持哪些 checkpoint 变体,见 docs/checkpoints.md 与 checkpoint_registry.py:
| backbone | 可用 --pid_ckpt_type |
|---|---|
| flux / flux2 | 2k、2kto4k_v1pt5 |
| sd3 | 2k、2kto4k |
| sdxl | 2kto4k |
| qwenimage | 2kto4k_v1pt5 |
显存紧张? 蒸馏模型默认只需 4 步去噪;更高分辨率场景可加 --compile 启用 torch.compile 加速(首次调用较慢)。
报错 Sample idx=... has no resolvable caption? 说明图片没有可用文本条件:单图模式记得加 --prompt,manifest 模式在每行补上 "prompt" 字段即可。
PiD 把"解码"和"超分"合二为一,让一张 1024 的低清图在单卡上几分钟就能变成 4K 成图——不需要训练、不需要 LDM 采样,这正是 from_clean 的价值所在。


