GAN生成的面部的整容手术

韩国最新的研究承诺提高由生成对抗网络（GANs）创建的合成面部数据的质量。

该系统能够识别GAN过程生成的图像伪影，并对其进行补偿，甚至可以替换被帽子遮挡的头发，替换原始图像中完全缺失的面部部分，并删除遮挡物，如手和墨镜。同时，该系统也适用于风景和建筑输出。

每列左侧为原始GAN输出的缺陷图像，其后为其他两种方法对伪影的处理，最后为韩国研究人员使用的方法。来源：https://arxiv.org/pdf/2104.06118.pdf

大多数最近的提高GAN生成图像质量的方法都认为伪影是该过程的职业病，将方法视为“自然力量”，将其产生的更具迷幻色或异常的结果视为不可避免的副产品。

相反，韩国研究人员提出了一种“修复”受影响的图像的方法，这种方法不会干扰继续的生成链，通过识别导致伪影的方面，并在半监督级别上降低或消除GAN网络中的伪影产生单元的激活，这种方法超过和扩展了GAN架构中的原生自我纠正机制。

为了完成该项目，研究人员需要创建一个广泛适用的手动标记的图像数据集，这些图像严重受到GAN伪影的影响。最初，研究人员使用弗雷切特感知距离（FID），一种通过比较图像中的特征来评估GAN输出质量的指标，作为资格单位。在20万张图像的运行中，FID评分最高的10,000张图像被用作离散的“伪影单位”。随后，研究人员手动标记了2,000张生成的图像，将每张图像分类为“正常”或受FID伪影影响。然后创建了一个模型来将数据集分类为伪影、正常和随机的真实世界样本。

之后，使用梯度加权类激活映射（Grad-CAM）生成了对伪影区域的掩码，有效地自动标记了缺陷。

上图中，Grad-CAM掩码已应用于LSUN-Church外景数据集和CelebA-HQ数据集的输出。

通过分析20,000张图像运行中最受影响的20个结果，生成了分割掩码，可以将代表性结果代入这些掩码中，这些结果可能比伪影更准确或更令人信服，方法是降低后续生成中伪影产生单元的激活。

人类对纠正结果的评估显示，53%的“修复”图像被标记为“正常”，而97%的原始图像仍然显示出与原始图像相比的显著改进。

研究人员声称，该方法经过一些小的重新工具化，也可以适用于NVIDIA的StyleGAN2。

合成数据的益处

主要是关于面部数据的，计算机视觉领域中真实世界数据集的普遍匮乏是重要研究领域的一个障碍，例如面部识别、情绪识别、医学研究和面部拓扑更细粒度分割等领域的研究。

当前对使用网络上的数据和随意收集真实世界面部图像用于面部数据库的反弹是一个额外的障碍，越来越多的州和国家正在打击网络抓取和社交媒体图像的挪用用于这些目的。

过去十年中，有限数量的高度策划的面部数据集为这种不确定性提供了避难所，各种年度公共研究挑战围绕着它们展开。然而，这可能导致研究项目将其方法论特意针对这些数据集，年复一年地以牺牲源材料多样性为代价获得一致且可比的结果——这种情况每年都会恶化，因为新的研究将自己限制在这些范围内。

此外，一些“传统”数据集已因缺乏种族多样性而受到批评，这表明这些基准数据集可能不会被视为未来合适的资源。

这表明需要高质量的面部数据，这些数据是真实的，但其贡献的“真实世界”图像已经被转化得远远超出了识别。即使这种使用“一阶”真实面部数据可能最终会引发关于GAN生成面部的来源的问题，但这是一种不太可能在法律和技术机制为此类数据收集建立之前出现的绊脚石；就可能对该问题的法律框架进行的更改而言，这仍然比使用真实人物的图像更小的风险。

进一步阅读：

提高合成图像的真实性
生成神经网络中内部单元的自动纠正
isms for data-gathering of this kind have become established; and, regarding possible changes to legal frameworks around the issue, it’s still a lesser hazard than using images of real people. Further reading: Improving the Realism of Synthetic Images Automatic Correction of Internal Units in Generative Neural Networks