HEART-fp32是什么?Apple Silicon专属16.7M参数AI图像超分辨率模型完全指南
HEART-fp32是什么?Apple Silicon专属16.7M参数AI图像超分辨率模型完全指南
HEART-fp32 是专为 Apple Silicon(M 系列芯片) 打造的 AI 图像超分辨率模型权重仓库:它把 Philip Hofmann(Phips)开发的 HEART(16.7M 参数、HAT-iLN 窗口注意力架构)超分网络,以 fp32 精度逐张量精确转换为 MLX 格式,可直接用于 Mac 上的图像放大与画质修复,是 Swift/MLX 移植项目 mlx-heart-swift 的基准参考权重。
🧭 快速了解:HEART 超分辨率模型是什么?
简单说,HEART 是一个图像放大(Super-Resolution)模型:
- 输入:一张低分辨率、或受损/压缩过的图片
- 输出:放大 2× 或 4× 后的高清图片
- 架构:基于 HAT / HAT-iLN(带窗口注意力的 Transformer),并引入 RIB(隐式神经渲染)组件增强细节
- 训练数据:仅使用 CC0 许可的
Phips/lucid-cc0-v2-hc-512高质量语料
而 HEART-fp32 这个仓库,就是上述模型的 MLX fp32 参考版本(parity / reference lane),与上游 PyTorch 实现逐位对齐,适合用于精度验证、研究对比和追求最高保真度的场景。
📦 仓库里有什么?4 个模型变体一览
仓库非常精简,核心就是 4 个 safetensors 权重文件 + 1 个架构配置:
| 模型文件 | 变体名 | 放大倍率 | 定位 |
|---|---|---|---|
| heart_4x_otf_v2_fp32.safetensors | .fidelity(默认) |
4× | OTF 保真版,受损输入表现最佳 |
| heart_4x_otf_gan_fp32.safetensors | .sharp |
4× | OTF GAN 版,真实感细节最锐利 |
| heart_4x_pretrain_fp32.safetensors | .clean |
4× | 官方预训练版,适合干净图源 |
| heart_2x_fp32.safetensors | .clean2x |
2× | 官方 2× 预训练版 |
| config.json | — | — | 架构参数、变体信息与校验和 |
每个变体单独成文件,包管理器可以只下载自己需要的 checkpoint,不用为其他变体付流量。
如何挑选合适的变体?
- 处理老照片、截图、压缩图等受损输入 → 选
.fidelity(默认,推荐) - 追求锐利、真实感输出 → 选
.sharp - 输入本身就是干净图(如游戏截图、插画)→ 选
.clean或 2× 的.clean2x
🏗️ 架构亮点:16.7M 参数如何做到高效超分?
从 config.json 可以读到这套架构的关键参数:
embed_dim: 180、6 层 Transformer(depths全为 6)、num_heads: 6- 窗口注意力:
window_size: 32,把全局注意力限制在局部窗口内,大幅降低计算量 rank: 8的秩分解偏置(Rank-factorized bias)——这正是 HEART(Hybrid Efficient Attention with Rank-factorized bias Transformer)名称的由来- RIB 隐式网络(
rib_hidden_dim: 32、rib_n_freqs: 10)用于细节重建 - 张量布局:卷积权重
OHWI、激活值NHWC,专为 MLX 生态整理
总参数量约 16,677,399(2× 版约 16,529,687),每个 4× 变体 fp32 文件约 63.8 MB,在 Mac 上运行非常轻快。
🔬 fp32 参考版 vs fp16 发布版:区别在哪?
仓库 README 中把两条"车道"区分得很清楚:
- HEART-fp32:全 fp32 的精度基准版,用于对齐验证(parity / reference lane)
- HEART-fp16:日常发布版,卷积/线性层张量用 fp16 减半体积,但 i-LN 归一化、仿射权重偏置和 RIB 隐式网络参数保持 fp32(748 个张量中 220 个),且所有归约运算(i-LN 统计、softmax、全局平均池化等)均在 fp32 下完成,保证画质不塌方
一致性验证数据:与上游 PyTorch 实现(CPU fp32、相同输入)对比,.fidelity 变体在 128² 分辨率下达到 127.5 dB PSNR(.sharp 125.3、.clean 122.5、.clean2x 124.0),每个子算子误差小于 1e-5 相对差——这意味着两个实现几乎逐位一致,可放心用于回归测试和画质对比。
🚀 如何在 Swift/MLX 中使用 HEART 模型?
HEART-fp32 的主要消费方是 Swift 移植项目 xocialize/mlx-heart-swift(对应其 MLXEngine 的 imageUpscale、fidelity 档位)。用法非常简单——引擎首次调用时会自动从本仓库拉取所选变体并放入本地模型库:
import MLXServeCore, MLXHEART
let engine = MLXServeEngine()
let id = try await engine.register(HEARTUpscalePackage.registration,
configuration: HEARTConfiguration(variant: .fidelity, quant: .fp16))
let out = try await engine.run(ImageUpscaleRequest(image: image), package: id) // 4×(2× 用 .clean2x)
只需把 variant 改成 .sharp / .clean / .clean2x 即可切换变体,无需手动管理文件。
📥 获取模型文件
若需要把权重仓库 clone 到本地(例如离线分发或自行集成推理框架):
git clone https://gitcode.com/hf_mirrors/mlx-community/HEART-fp32
clone 后即可得到上文 4 个 safetensors 文件与 config.json。由于 fp16 版张量只占一半体积,若只为日常放大使用,可优先考虑 fp16 仓库;本 fp32 仓库则适合作为基准参照。
⚖️ 许可证与出处
- 全部采用 Apache-2.0:HEART 代码与预训练权重(Philip Hofmann / Phips)、HAT 与 HAT-iLN 架构家族(XPixelGroup)、traiNNer-redux 的
hat_iln_arch.py、SST 的 RIB - 训练语料
Phips/lucid-cc0-v2-hc-512为平台声明的 CC0 许可 - 每个文件都附带
source_sha256与fp32_sha256(见 config.json),可校验权重的逐张量精确转换:上游 revision868878ce的键名不变,仅卷积权重布局由(O,I,kH,kW)重排为(O,kH,kW,I),其余一律未动
❓ 常见问题(FAQ)
Q1:HEART-fp32 只能在 Mac 上用吗?
权重本身是标准 safetensors,MLX 生态主要面向 Apple Silicon;其他平台建议使用上游 PyTorch 原版 HEART。
Q2:fp32 和 fp16 画质差距大吗?
README 的 parity 章节显示 fp16 版在关键归约路径上全部保持 fp32,并附有专门的 fp16 与分块(tiling)研究(见移植仓库的 PORTING-SPEC.md),因此两者画质基本无感知差异,fp16 只是体积减半、推理更快。
Q3:能用于视频放大吗?
仓库定位为 image-to-image(图像到图像)管线,官方示例针对静态图像;视频帧序列需要自行逐帧处理并注意显存/内存开销。
Q4:为什么只有 4 个文件,没有代码?
这是纯模型权重仓库,推理代码在 Swift 移植项目 xocialize/mlx-heart-swift 中;架构定义则完整记录在 config.json 里,便于任何框架按参数重建网络。
📌 总结
- HEART-fp32 是为 Apple Silicon 提供 16.7M 参数 AI 图像超分辨率能力的 MLX fp32 参考权重仓库
- 4 个变体(
.fidelity/.sharp/.clean/.clean2x)覆盖 2× 与 4× 放大、受损修复与干净放大等典型场景 - 与上游 PyTorch 实现 127.5 dB PSNR 级别的逐位对齐,适合作为精度基准
- Apache-2.0 许可,可自由使用(请保留作者署名)