人工智能
用于GAN生成人脸的整容手术
新的研究出自韩国，承诺提高由生成对抗网络（GANs）创建的合成人脸数据的质量。
该系统能够识别GAN过程产生的图像伪影，并对其进行修复，甚至可以替换被帽子遮挡的头发，替换原始图像中缺失的面部部分，并删除遮挡物，如手和墨镜，并且在风景和建筑输出上也能很好地工作。
每列左边是原始GAN输出带有缺陷，接着是其他两种方法对伪影的处理，最后是韩国研究人员使用的方法。 来源：https://arxiv.org/pdf/2104.06118.pdf
大多数最近的方法都试图通过将伪影视为GAN过程的职业危害来提高GAN生成图像的质量，将这种方法视为一种“自然力量”，并将其产生的更具迷幻色彩或异常的结果视为不可避免的副产品。
相反，韩国的研究提出了一种实际的“修复”受影响的图像的方法，不会干扰生成链的继续，通过识别导致伪影的方面，并在半监督级别上减少或消除其在GAN网络中的影响，这种方法超过和扩展了GAN架构中的本地自我纠正机制。
为了完成这个项目，需要创建一个广泛适用的手动标记的图像数据集，这些图像严重受到GAN伪影的影响。最初，研究人员使用了弗雷切特感知距离（FID），一种评估GAN输出质量的指标，通过比较图像中的特征。200,000张图像中FID评分最高的10,000张图像被用作离散的“伪影单位”。随后，研究人员手动标记了2,000张生成的图像，将每张图像分类为“正常”或受FID伪影的影响。然后创建了一个模型来将数据集分类为伪影、正常和随机的真实世界样本。
之后，使用了梯度加权类激活映射（Grad-CAM）来生成伪影区域的掩码，有效地自动标记缺陷。
上面的图像中，Grad-CAM掩码被应用于LSUN-Church outdoor数据集和CelebA-HQ数据集。
通过分析20,000张图像中最容易受到影响的20个结果，会生成分割掩码，可以在其中替换更准确或更令人信服的区域代表性结果，方法是降低伪影产生单元在后续生成中的激活。
人工评估修复结果显示，53%的“修复”图像被标记为“正常”，而97%的原始图像仍然显示出显著的改进。
研究人员认为，这种方法经过一些小的改造，也可以适用于NVIDIA的StyleGAN2。
合成数据的益处
主要是关于人脸数据，计算机视觉领域中现实世界数据集的普遍稀缺性是一个障碍，阻碍了多样化的研究，如面部识别、情绪识别、医学研究和面部拓扑更细致的分割等领域的研究。
当前对免费使用网络数据和临时收集真实世界面部图像以包含在面部数据库中的反弹是一个额外的障碍，越来越多的州和国家打击网络抓取和社交媒体图像的挪用。
过去十年中，有限数量的精心策划的面部数据集为此提供了避难所，各种年度公共研究挑战围绕着它们展开。然而，这可能导致研究项目将其方法调整为这些数据集，年复一年地获得一致且可比的结果，但代价是源材料缺乏多样性——这种情况每年都会恶化，因为新的研究将自己限制在这些范围内。
此外，一些“传统”数据集已受到批评，因为它们缺乏种族多样性，这表明这些基准测试可能不被认为是合适的资源。
这意味着需要高质量的面部数据，这些数据是真实的，但其中的“真实世界”图像已经被转换得远远超出了识别。即使这种使用“间接”真实面部数据的方法可能最终触发关于GAN生成人脸的来源的问题，但这是一种不太可能在法律和技术机制为此类数据收集建立之前出现的绊脚石；而且，关于这个问题的可能的法律框架变化，这仍然是一种比使用真实人物图像更小的风险。
进一步阅读：
