GFPGANv1.4-fp32 实战指南:从老照片修复到批量处理,打造你的本地人脸增强工具
GFPGANv1.4-fp32 实战指南:从老照片修复到批量处理,打造你的本地人脸增强工具
GFPGANv1.4-fp32 是一个基于 MLX 框架转换的 AI 人脸修复模型,专为 Apple Silicon 芯片优化。它能将模糊、低分辨率的旧照片人脸增强为清晰的 512×512 高清结果,无需上传数据到云端,全部在本地完成。本指南帮你理解模型原理、正确加载权重,并掌握老照片修复与批量处理的关键技巧。
什么是 GFPGAN?一分钟了解人脸修复原理
GFPGAN(GAN-based Facial Photo Generator)是腾讯 ARC 实验室开源的人脸盲修复(Blind Face Restoration)模型,核心架构 GFPGANv1Clean 由两部分组成:
- 退化去除 U-Net:负责抹除人脸区域的噪声、压缩伪影与模糊
- StyleGAN2 解码器:基于人脸先验重新生成高清面部细节,并保留原图特征(channel-split SFT 调制)
GFPGAN 人脸修复示意图
v1.4 版本的解码器由 BasicSR 从零开始训练(未复用 NVIDIA FFHQ 权重),因此本模型完整遵循 Apache-2.0 协议,可放心使用。
为什么选择 fp32 与 MLX 版本?
这个项目将 GFPGAN v1.4 转换成了 MLX 格式的 safetensors 权重文件,带来几个关键优势:
| 特性 | 说明 |
|---|---|
| 🍎 Apple Silicon 原生加速 | 利用 MLX 框架,在 M 系列芯片上推理效率更高 |
| ⚙️ NHWC 内存布局 | 卷积核按 (O,kH,kW,I) 排列,贴合 MLX 张量约定 |
| 🔒 fp32 全精度 | 修复质量稳定可靠,端到端验证通过 |
| 🔑 参数完全对齐 | 共 87,143,276 个参数(params_ema),键名与上游 PyTorch 状态字典一一对应 |
⚠️ 注意:fp16 已在本模型中被明确"取消资格"——端到端测试中余弦相似度跌至 −0.3、PSNR 仅 8 dB,修复效果会直接崩坏。如果你的内存紧张,可用 bf16(48 dB 测试通过),但官方发布的就是 fp32 版本,建议直接使用。
仓库里有什么?两个文件速览
整个仓库非常精简,只有两个文件:
- model.safetensors —— 模型权重本体,fp32、NHWC 布局。关键点:
- 5 维调制卷积核形状为
(1,O,kH,kW,I) - 每个 4 维张量(偏置、存储噪声缓冲、常量输入)做
(0,2,3,1)转置 - 随机噪声缓冲直接打包在文件里(
randomize_noise=False确定性模式),保证与 PyTorch 参考实现一致
- 5 维调制卷积核形状为
- README.md —— 模型元数据与使用说明,包含架构说明、许可证和消费方式
在 README.md 中可以确认模型的 license: apache-2.0、base_model: TencentARC/GFPGAN 等元信息,方便你在自己的项目中正确标注来源。
快速上手:加载模型的关键步骤
推荐通过 Swift 工具链消费该模型(Apple Silicon 环境):
-
获取权重文件 将
model.safetensors下载到你的工作目录,或直接从仓库获取:git clone https://gitcode.com/hf_mirrors/mlx-community/GFPGANv1.4-fp32 -
使用 MLX GFPGAN 核心库 在 Swift 项目中引入
mlx-gfpgan-swift,核心是两个类:GFPGANMLXCore.GFPGANv1Clean:加载 MLX 权重、执行 512×512 人脸修复MLXGFPGAN.GFPGANRestorePackage:封装完整修复流水线(检测 → 对齐 → 修复 → 贴回)
-
调用图像修复引擎 通过 MLXEngine 的
imageRestore接口处理图片,人脸的检测、对齐和贴回由 Vision 框架自动完成,无需手动裁剪。
💡 输入输出约定:512×512 对齐人脸裁切图,RGB 三通道,数值范围 [-1, 1]。如果你在自研流水线中接入,务必做这个归一化,否则模型输出会"面目全非"。
老照片修复实战:从扫描模糊照到清晰人脸
老照片修复是这个模型最典型的使用场景。典型流水线如下:
- 预处理:将扫描件转为 RGB,统一分辨率;倾斜矫正
- 人脸检测:用 Vision 框架或人脸检测器定位所有人脸
- 对齐裁剪:按 landmark 将每张人脸对齐裁切为 512×512
- GFPGAN 修复:批量送入
GFPGANv1Clean推理 - 融合贴回:用泊松融合或泊松渐变将修复后的人脸贴回原图
实际效果上,压缩伪影、轻度划痕和噪点基本可以被抹平,五官细节(眼睛、发丝)会得到显著重建。
老照片修复效果对比
批量处理技巧:高效修复全家福
处理整本相册时,注意以下几点可以让批量任务又快又稳:
- fp32 常驻显存:87M 参数的 fp32 权重约 340 MB,在 M 系列芯片的统一内存中毫无压力,无需逐张加载/卸载
- 确定性输出:模型自带存储噪声缓冲,同一个人脸裁切每次推理结果一致,方便你对照存档、做版本对比
- 分批调度:按 512×512 的人脸块组织 batch,避免把整张大图直接塞进模型——模型只处理人脸裁切,背景保持原样
- 结果留档:批量跑完后按"原图路径"命名输出文件,方便回溯哪张照片对应哪次修复
常见问题(FAQ)
Q:可以用 fp16 加速吗? 不建议。fp16 会导致端到端质量门控失败(cosine ≈ −0.3、PSNR 8 dB),人脸会严重畸变。追求速度可考虑 bf16(验证通过,48 dB),但默认请使用 fp32。
Q:模型支持哪些输入?
仅支持 512×512 的对齐人脸裁切图,RGB 归一化到 [-1, 1]。完整图片需要你自己处理检测与贴回,或使用 GFPGANRestorePackage 一条龙流水线。
Q:权重与上游 PyTorch 版本一致吗? 一致。转换后通过 285/285 张量键契约校验,各阶段采样点 94/94 相对误差 ≤ 5e-4(fp32、CPU 流验证),可放心替换。
Q:许可证允许商用吗? 模型权重为 Apache-2.0。上游训练数据为 FFHQ(数据集层面存在 CC-BY-NC-SA 的通行争议,与所有人脸模型相同),商用前建议自行评估。
总结
GFPGANv1.4-fp32 把腾讯的人脸修复能力"搬"到了 Apple Silicon 上:MLX 原生格式、fp32 精度、确定性推理,配合 model.safetensors 一个文件即可落地。无论是给老照片里的亲人"焕新",还是批量处理产品图的人脸质量,这套本地方案都兼顾了隐私与效率。
下一步建议:先用少量典型照片验证效果,再跑完整相册;遇到对齐不佳的情况,优先检查 landmark 检测环节,而不是怀疑模型本身。