GFPGANv1.4-fp32 实战指南:从老照片修复到批量处理,打造你的本地人脸增强工具

原创2026-10-17 22:33:521,348 阅读

GFPGANv1.4-fp32 实战指南:从老照片修复到批量处理,打造你的本地人脸增强工具

GFPGANv1.4-fp32 是一个基于 MLX 框架转换的 AI 人脸修复模型,专为 Apple Silicon 芯片优化。它能将模糊、低分辨率的旧照片人脸增强为清晰的 512×512 高清结果,无需上传数据到云端,全部在本地完成。本指南帮你理解模型原理、正确加载权重,并掌握老照片修复与批量处理的关键技巧。

什么是 GFPGAN?一分钟了解人脸修复原理

GFPGAN(GAN-based Facial Photo Generator)是腾讯 ARC 实验室开源的人脸盲修复(Blind Face Restoration)模型,核心架构 GFPGANv1Clean 由两部分组成:

  • 退化去除 U-Net:负责抹除人脸区域的噪声、压缩伪影与模糊
  • StyleGAN2 解码器:基于人脸先验重新生成高清面部细节,并保留原图特征(channel-split SFT 调制)

GFPGAN 人脸修复示意图

v1.4 版本的解码器由 BasicSR 从零开始训练(未复用 NVIDIA FFHQ 权重),因此本模型完整遵循 Apache-2.0 协议,可放心使用。

为什么选择 fp32 与 MLX 版本?

这个项目将 GFPGAN v1.4 转换成了 MLX 格式的 safetensors 权重文件,带来几个关键优势:

特性 说明
🍎 Apple Silicon 原生加速 利用 MLX 框架,在 M 系列芯片上推理效率更高
⚙️ NHWC 内存布局 卷积核按 (O,kH,kW,I) 排列,贴合 MLX 张量约定
🔒 fp32 全精度 修复质量稳定可靠,端到端验证通过
🔑 参数完全对齐 共 87,143,276 个参数(params_ema),键名与上游 PyTorch 状态字典一一对应

⚠️ 注意:fp16 已在本模型中被明确"取消资格"——端到端测试中余弦相似度跌至 −0.3、PSNR 仅 8 dB,修复效果会直接崩坏。如果你的内存紧张,可用 bf16(48 dB 测试通过),但官方发布的就是 fp32 版本,建议直接使用。

仓库里有什么?两个文件速览

整个仓库非常精简,只有两个文件:

  • model.safetensors —— 模型权重本体,fp32、NHWC 布局。关键点:
    • 5 维调制卷积核形状为 (1,O,kH,kW,I)
    • 每个 4 维张量(偏置、存储噪声缓冲、常量输入)做 (0,2,3,1) 转置
    • 随机噪声缓冲直接打包在文件里(randomize_noise=False 确定性模式),保证与 PyTorch 参考实现一致
  • README.md —— 模型元数据与使用说明,包含架构说明、许可证和消费方式

在 README.md 中可以确认模型的 license: apache-2.0、base_model: TencentARC/GFPGAN 等元信息,方便你在自己的项目中正确标注来源。

快速上手:加载模型的关键步骤

推荐通过 Swift 工具链消费该模型(Apple Silicon 环境):

  1. 获取权重文件 将 model.safetensors 下载到你的工作目录,或直接从仓库获取:

    git clone https://gitcode.com/hf_mirrors/mlx-community/GFPGANv1.4-fp32
    
  2. 使用 MLX GFPGAN 核心库 在 Swift 项目中引入 mlx-gfpgan-swift,核心是两个类:

    • GFPGANMLXCore.GFPGANv1Clean:加载 MLX 权重、执行 512×512 人脸修复
    • MLXGFPGAN.GFPGANRestorePackage:封装完整修复流水线(检测 → 对齐 → 修复 → 贴回)
  3. 调用图像修复引擎 通过 MLXEngine 的 imageRestore 接口处理图片,人脸的检测、对齐和贴回由 Vision 框架自动完成,无需手动裁剪。

💡 输入输出约定:512×512 对齐人脸裁切图,RGB 三通道,数值范围 [-1, 1]。如果你在自研流水线中接入,务必做这个归一化,否则模型输出会"面目全非"。

老照片修复实战:从扫描模糊照到清晰人脸

老照片修复是这个模型最典型的使用场景。典型流水线如下:

  1. 预处理:将扫描件转为 RGB,统一分辨率;倾斜矫正
  2. 人脸检测:用 Vision 框架或人脸检测器定位所有人脸
  3. 对齐裁剪:按 landmark 将每张人脸对齐裁切为 512×512
  4. GFPGAN 修复:批量送入 GFPGANv1Clean 推理
  5. 融合贴回:用泊松融合或泊松渐变将修复后的人脸贴回原图

实际效果上,压缩伪影、轻度划痕和噪点基本可以被抹平,五官细节(眼睛、发丝)会得到显著重建。

老照片修复效果对比

批量处理技巧:高效修复全家福

处理整本相册时,注意以下几点可以让批量任务又快又稳:

  • fp32 常驻显存:87M 参数的 fp32 权重约 340 MB,在 M 系列芯片的统一内存中毫无压力,无需逐张加载/卸载
  • 确定性输出:模型自带存储噪声缓冲,同一个人脸裁切每次推理结果一致,方便你对照存档、做版本对比
  • 分批调度:按 512×512 的人脸块组织 batch,避免把整张大图直接塞进模型——模型只处理人脸裁切,背景保持原样
  • 结果留档:批量跑完后按"原图路径"命名输出文件,方便回溯哪张照片对应哪次修复

常见问题(FAQ)

Q:可以用 fp16 加速吗? 不建议。fp16 会导致端到端质量门控失败(cosine ≈ −0.3、PSNR 8 dB),人脸会严重畸变。追求速度可考虑 bf16(验证通过,48 dB),但默认请使用 fp32。

Q:模型支持哪些输入? 仅支持 512×512 的对齐人脸裁切图,RGB 归一化到 [-1, 1]。完整图片需要你自己处理检测与贴回,或使用 GFPGANRestorePackage 一条龙流水线。

Q:权重与上游 PyTorch 版本一致吗? 一致。转换后通过 285/285 张量键契约校验,各阶段采样点 94/94 相对误差 ≤ 5e-4(fp32、CPU 流验证),可放心替换。

Q:许可证允许商用吗? 模型权重为 Apache-2.0。上游训练数据为 FFHQ(数据集层面存在 CC-BY-NC-SA 的通行争议,与所有人脸模型相同),商用前建议自行评估。

总结

GFPGANv1.4-fp32 把腾讯的人脸修复能力"搬"到了 Apple Silicon 上:MLX 原生格式、fp32 精度、确定性推理,配合 model.safetensors 一个文件即可落地。无论是给老照片里的亲人"焕新",还是批量处理产品图的人脸质量,这套本地方案都兼顾了隐私与效率。

下一步建议:先用少量典型照片验证效果,再跑完整相册;遇到对齐不佳的情况,优先检查 landmark 检测环节,而不是怀疑模型本身。

登录后查看全文
GFPGANv1.4-fp32