新工具可以显示研究人员GANs从图像中省略的内容

最近，来自MIT-IBM Watson AI Lab的一组研究人员创建了一种方法来显示当要求生成图像时，生成对抗网络（GAN）会从图像中省略什么。该研究被称为看到GAN无法生成的内容，并在国际计算机视觉会议上提出。 生成对抗网络在过去几年中变得更加强大、复杂和广泛使用。它们在渲染充满细节的图像方面变得非常好，只要图像被限制在相对较小的区域内。然而，当GAN用于生成较大场景和环境的图像时，它们往往不能很好地执行。在GAN被要求渲染充满许多物体和物品的场景（如繁忙的街道）时，GAN通常会省略图像中的许多重要方面。 根据MIT新闻，该研究由MIT电气工程和计算机科学系的研究生David Bau开发。Bau解释说，研究人员通常专注于改进机器学习系统关注的内容以及如何将特定输入映射到特定输出。然而，Bau还解释说，了解机器学习模型忽略的数据通常同样重要，他希望他们的工具能够激励研究人员关注被忽略的数据。 Bau对GAN的兴趣源于它们可以用来调查神经网络的黑盒性质以及了解网络如何推理。Bau之前曾经从事过一种可以识别特定人工神经元集群的工具，将它们标记为负责表示现实世界对象（如书籍、云和树木）的工具。Bau还曾经使用过一种名为GANPaint的工具，该工具允许艺术家通过使用GAN从照片中删除和添加特定功能。根据Bau的说法，GANPaint应用程序揭示了GAN的一个潜在问题，当Bau分析图像时，该问题变得明显。 正如Bau告诉MIT新闻： “我的导师一直鼓励我们看eyond数字并审查实际图像。当我们看时，现象跳了出来：人们被有选择性地丢弃。”虽然机器学习系统旨在从图像中提取模式，但它们也可能最终忽略相关模式。Bau和其他研究人员曾经尝试过在各种室内和室外场景中训练GAN，但在所有不同类型的场景中，GAN都会省略场景中的重要细节，例如汽车、道路标志、人员、自行车等。这即使被省略的对象对于场景至关重要也是如此。 研究团队假设，当GAN在图像上训练时，GAN可能更容易捕获图像中更容易表示的模式，例如大型静止物体，如风景和建筑物。它学习这些模式，而不是其他更难以解释的模式，例如汽车和人员。众所周知，GAN通常在生成图像时省略重要的、有意义的细节，但MIT团队的研究可能是第一次证明GAN在图像中省略整个对象类别。 研究团队指出，GAN可以实现其数字目标，即使省略了人类在查看图像时关心的对象。如果由GAN生成的图像将用于训练复杂系统（例如自动驾驶汽车），则图像数据应仔细审查，因为人们担心像标志、人员和其他汽车这样的关键对象可能会从图像中省略。Bau解释说，他们的研究表明为什么模型的性能不应仅基于准确性： “我们需要了解网络正在做什么以及不做什么，以确保它们做出我们想要的选择。”