Neural Networks Help Remove Clouds From Aerial Images

Vědci a výzkumníci z oddělení udržitelné energie a environmentálního inženýrství na Ossacké univerzitě byli schopni digitálně odstranit mraky z leteckých snímků pomocí generativních adversativních sítí (GANs). S výslednými daty mohli automaticky generovat přesné datové sady masky budov.

Výzkum byl zveřejněn v Advanced Engineering Informatics.

Tým umístil dvě umělé inteligence (AI) proti sobě, aby zlepšil kvalitu dat, a nemusel použít předem označené snímky. Podle týmu by tyto nové vývojové možnosti mohly být použity v oblastech, jako je stavební inženýrství, kde je počítačové vidění důležité.

Strojové učení pro opravu snímků

Strojové učení se často používá k opravě zakrytých snímků, jako jsou letecké snímky budov zakryté mraky. Tato úloha může být provedena manuálně, ale je časově náročná a méně účinná než algoritmy strojového učení. I tyto algoritmy vyžadují velké množství trénovacích snímků, takže je důležité dále rozvíjet tuto technologii.

To je to, co výzkumníci na Ossacké univerzitě provedli, když použili generativní adversativní sítě. Jedna síť je „generativní síť“, a navrhuje rekonstruované snímky bez mraků. Tato síť je umístěna proti „diskriminační síti“, která se spoléhá na konvoluční neuronovou síť, aby rozlišila mezi digitálně opravenými snímky a skutečnými snímky bez mraků.

Jakmile sítě projdou tímto procesem, obě se stávají stále lepšími, což umožňuje vytvářet velmi realistické snímky s digitálně odstraněnými mraky.

Kazunosuke Ikeno je prvním autorem článku.

„Školením generativní sítě, aby „oklamala“ diskriminační síť, že snímek je skutečný, získáme rekonstruované snímky, které jsou více konzistentní,” říká Ikeno.

Image: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

Školení systému

Tým se spoléhal na 3D virtuální modely s fotografiemi z otevřené datové sady, a to bylo použito jako vstup. To umožnilo systému automaticky generovat digitální „masky“, které překrývají rekonstruované budovy nad mraky.

Tomohiro Fukuda je hlavním autorem výzkumu.

“Tato metoda umožňuje detekovat budovy v oblastech bez označených trénovacích dat,” říká Fukuda.

Školený model byl schopen detekovat budovy s „intersection over union“ hodnotou 0,651. Tato hodnota je měřítkem toho, jak přesně rekonstruovaná oblast odpovídá skutečné oblasti.

Podle týmu by tato metoda mohla zlepšit kvalitu dalších datových sad se snímky, které jsou zakryté, stačí ji pouze rozšířit. To může zahrnovat snímky v různých oblastech, jako je zdravotnictví, kde by mohla být použita ke zlepšení medicínského zobrazování.