深入探索：GAN不能生成的内容

在当今的计算机视觉领域，生成对抗网络（GANs）已成为创造逼真图像的强大工具，然而它们并非完美无瑕。那么，GAN到底无法生成什么呢？我们引入一个名为“看到GAN不能生成的内容”（Seeing What a GAN Cannot Generate）的开源项目，它提供了一个框架，让我们能够解答这个问题。

原始GAN重建	真实照片

本项目的目标不是基准测试GAN生成分布与目标之间的距离，而是可视化和理解真实图像与假图像之间的差异。

模式丢失与遗漏可视化

我们通过两种方式来揭示GAN图像生成中的遗漏：

1. 分布级遗漏识别：比较GAN输出与训练分布之间的分割统计信息。
2. 单个图像级遗漏识别：将GAN生成的图像与真实照片对比，找出应有却未出现的元素。

分布级遗漏洞察

如LSUN户外教堂图像的Progressive GAN案例所示，GAN在生成像素（如人物、汽车、栅栏、棕榈树或标志牌等）方面存在不足。run_fsd.sh脚本和seeing_distributions.ipynb笔记本展示了如何收集和可视化这些分割统计数据。

单个图像级遗漏识别

针对特定的GAN生成图像，我们通过与重构的真实照片进行比较，可以发现GAN应绘制但未绘制的元素。run_invert.sh脚本生成了以下可视化结果：

人物

GAN似乎避免绘制大型人物形象，转而合成没有人物的合理场景。

GAN重构	真实照片

车辆

对于车辆，也有类似的现象。

GAN重构	真实照片

标志、纪念碑和棕榈树

GAN对标志、纪念碑和棕榈树的遗漏也清晰可见。

GAN重构	真实照片

项目特点：

• 可视化新颖：以创新的方式呈现GAN的模式缺失，既有整体分布的可视化，也有个体图像的对比。
• 易用性高：提供了便捷的脚本和笔记本，用户可以轻松运行并查看自己的模型结果。
• 应用广泛：适用于任何基于GAN的图像生成模型的评估和分析。

这个项目为研究人员和开发人员提供了一种全新的视角来理解和评估GAN的局限性，推动了生成模型领域的深入研究和改进。如果你正在从事GAN相关的研究或者应用，不妨尝试一下这个项目，或许会给你带来意想不到的启发。