Neuronové sítě pomáhají odstraňovat mraky z leteckých snímků

Výzkumníci a vědci z Divize udržitelné energie a environmentálního inženýrství na Osvačské univerzitě byli schopni digitálně odstranit mraky z leteckých snímků pomocí generativních adversativních sítí (GANs). S výslednými daty mohli automaticky generovat přesné datové sady masky budov.

Výzkum byl zveřejněn v Advanced Engineering Informatics.

Tým postavil dvě umělé inteligence (AI) proti sobě, aby zlepšil kvalitu dat, a to bez potřeby předem označených snímků. Podle týmu by tyto nové vývoje mohly být použity v oblastech, jako je stavební inženýrství, kde je počítačové vidění důležité.

Strojové učení pro opravu snímků

Strojové učení se často používá k opravě zakrytých snímků, jako jsou letecké snímky budov zakrytých mraky. Tato úloha může být provedena manuálně, ale je časově náročná a méně účinná než algoritmy strojového učení. I ty již dostupné algoritmy vyžadují velkou sadu trénovacích snímků, takže je důležité dále rozvíjet tuto technologii.

To je to, co výzkumníci z Osvačské univerzity udělali, když použili generativní adversativní sítě. Jedna síť je “generativní síť”, která navrhuje rekonstruované snímky bez mraků. Tato síť je postavena proti “diskriminační síti”, která se spoléhá na konvoluční neuronovou síť, aby rozlišila mezi digitálně opravenými snímky a skutečnými snímky bez mraků.

Jak sítě postupují tímto procesem, obě se stávají stále lepšími, což umožňuje vytvářet vysoce realistické snímky s digitálně odstraněnými mraky.

Kazunosuke Ikeno je prvním autorem článku.

“Školením generativní sítě, aby ‘oklamala’ diskriminační síť a přesvědčila ji, že snímek je skutečný, získáme rekonstruované snímky, které jsou více sebe-konzistentní,” říká Ikeno.

Image: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

Školení systému

Tým se spoléhal na 3D virtuální modely s fotografiemi z otevřené datové sady, a to jako vstup. To umožnilo systému automaticky generovat digitální “masky”, které překrývaly rekonstruované budovy nad mraky.

Tomohiro Fukuda je seniorním autorem výzkumu.

“Tato metoda umožňuje detekovat budovy v oblastech bez označených trénovacích dat,” říká Fukuda.

Školený model byl schopen detekovat budovy s hodnotou “intersection over union” 0,651. Tato hodnota je měřítkem toho, jak přesně rekonstruovaná oblast odpovídá skutečné oblasti.

Podle týmu by tato metoda mohla zlepšit kvalitu dalších datových sad se snímky, které jsou zakryty, stačí ji pouze rozšířit. To může zahrnovat snímky z různých oblastí, jako je zdravotnictví, kde by mohla být použita ke zlepšení medicínského zobrazování.