神经网络帮助从航空图像中去除云层

大阪大学可持续能源与环境工程系的研究人员和科学家能够通过使用生成对抗网络（GAN）从航空图像中数字化去除云层。通过生成的数据，他们可以自动生成建筑图像掩码的准确数据集。

该研究发表在《Advanced Engineering Informatics》期刊上。

该团队将两个人工智能（AI）网络对立起来，以提高数据质量，并且不需要预先标记的图像。根据该团队的说法，这些新发展可以应用于土木工程等领域，在那里计算机视觉技术很重要。

图像修复中的机器学习

机器学习通常用于修复被遮挡的图像，例如被云层遮挡的建筑物的航空图像。这个任务可以手动完成，但它耗时且不如机器学习算法有效。即使已经可用的算法也需要大量的训练图像，因此推进技术至关重要。

大阪大学的研究人员就是这样做的，当他们应用生成对抗网络时。一个网络是“生成网络”，它提出没有云层的重建图像。这个网络与一个“判别网络”对立，后者依赖于卷积神经网络来区分数字修复的图片和没有云层的真实图像。

随着网络进行此过程，它们都会变得越来越好，这使得它们能够创建高度逼真的图像，云层被数字擦除。

Kazunosuke Ikeno 是论文的第一作者。

“通过训练生成网络来‘欺骗’判别网络，使其认为图像是真实的，我们获得了更自洽的重建图像，”Ikeno 说。

图片：2021 Kazunosuke IKENO 等，Advanced Engineering Informatics

训练系统

该团队依赖于 3D 虚拟模型和来自开源数据集的照片，并将其用作输入。这使得系统能够自动生成数字“掩码”，将重建的建筑物叠加在云层上。

Tomohiro Fukuda 是研究的首席作者。

“这种方法可以在没有标记训练数据的区域检测建筑物，”Fukuda 说。

训练模型能够以 0.651 的“交并比”值检测建筑物。这是测量重建区域与实际区域相符程度的指标。

根据该团队的说法，这种方法可以改善其他被遮挡图像的数据集质量，只需扩展即可。这可以包括医疗保健等领域的图像，在那里它可以用于改善医疗成像。