ニューラルネットワークが空中画像から雲を除去する

大阪大学の持続可能なエネルギーと環境工学部門の研究者と科学者は、生成対抗ネットワーク（GANs）を使用して空中画像から雲をデジタル的に除去することができました。結果として得られたデータを使用して、自動的に精確な建物画像マスクのデータセットを生成することができました。

この研究は、Advanced Engineering Informaticsに掲載されました。

チームは、データの品質を向上させるために2つの人工知能（AI）ネットワークを対戦させました。これには、事前にラベル付けされた画像は必要ありません。チームによると、これらの新しい開発は、コンピュータビジョン技術が重要な分野である土木工学などで使用できます。

画像修復のためのマシンラーニング

マシンラーニングは、雲によって隠された建物の空中画像などのぼやけた画像を修復するためによく使用されます。このタスクは手動で実行できますが、時間がかかり、既存のマシンラーニングアルゴリズムほど効果的ではありません。既存のアルゴリズムも、多数のトレーニング画像が必要です。したがって、技術をさらに進歩させることが重要です。

大阪大学の研究者たちは、生成対抗ネットワークを適用することでこれを実現しました。一方のネットワークは「生成ネットワーク」で、雲のない画像を提案します。このネットワークは、もう一方の「判別ネットワーク」と対戦します。判別ネットワークは、畳み込みニューラルネットワークを使用して、デジタル修復された画像と実際の雲のない画像を区別します。

ネットワークがこのプロセスを進めるにつれて、両方のネットワークが徐々に改善され、高度にリアルな画像が生成され、雲がデジタル的に除去されます。

Kazunosuke Ikenoは、この論文の第一著者です。

「生成ネットワークを訓練して、判別ネットワークを欺いて、画像が実際のものであると思わせることで、より自己一致性のある画像を取得します」とIkenoさんは述べています。

画像: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

システムの訓練

チームは、3Dバーチャルモデルとオープンソースデータセットからの写真を使用して、入力データを生成しました。これにより、システムは再構築された建物を雲の上に重ねたデジタル「マスク」を自動的に生成することができました。

Tomohiro Fukudaは、この研究の責任著者です。

「この方法により、ラベル付けされたトレーニングデータがなくても、建物を検出することができます」とFukudaさんは述べています。

訓練されたモデルは、交差係数（intersection over union）値0.651で建物を検出することができました。この値は、再構築された領域が実際の領域とどれだけ一致するかを測定する指標です。

チームによると、この方法は、画像がぼやけた他のデータセットの品質を向上させることができます。ただし、拡張する必要があります。これは、医療などの分野で使用でき、医療画像を改善することができます。