Sieci Neuronowe Pomagają Usunąć Chmury Z Aerialnych Zdjęć

Naukowcy i badacze z Wydziału Zrównoważonej Energetyki i Inżynierii Środowiska na Uniwersytecie w Osace byli w stanie cyfrowo usunąć chmury z aerialnych zdjęć, używając generatywnych sieci przeciwników (GAN). Z powstałymi danymi byli w stanie automatycznie generować dokładne zestawy maski obrazów budynków.

Badanie zostało opublikowane w Advanced Engineering Informatics.

Zespół umieścił dwa sztuczne sieci neuronowe przeciwko sobie, aby poprawić jakość danych i nie wymagało to wcześniej oznaczonych obrazów. Według zespołu, nowe rozwoju mogą być użyte w dziedzinach takich jak inżynieria lądowa, gdzie technologia widzenia komputerowego jest ważna.

Uczenie Maszynowe Do Naprawy Obrazów

Uczenie maszynowe jest często używane do naprawy zasłoniętych obrazów, takich jak aerialne zdjęcia budynków zasłonięte przez chmury. To zadanie może być wykonane ręcznie, ale jest czasochłonne i mniej skuteczne niż algorytmy uczenia maszynowego. Nawet algorytmy już dostępne wymagają dużej liczby obrazów szkoleniowych, więc jest ważne, aby te technologie dalej rozwijać.

To właśnie zrobili naukowcy z Uniwersytetu w Osace, gdy zastosowali generatywne sieci przeciwników. Jedna sieć to “sieć generatywna”, która proponuje odtworzone obrazy bez chmur. Ta sieć jest umieszczona przeciwko “sieci dyskryminacyjnej”, która opiera się na sieci neuronowej z wykorzystaniem splotu, aby odróżnić cyfrowo naprawione obrazy od prawdziwych obrazów bez chmur.

Podczas gdy sieci przechodzą przez ten proces, obie stają się coraz lepsze, co umożliwia im tworzenie bardzo realistycznych obrazów z cyfrowo usuniętymi chmurami.

Kazunosuke Ikeno jest pierwszym autorem artykułu.

“Poprzez szkolenie sieci generatywnej, aby ‘oszukać’ sieć dyskryminacyjną, aby myślała, że obraz jest prawdziwy, otrzymujemy odtworzone obrazy, które są bardziej spójne”, mówi Ikeno.

Image: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

Szkolenie Systemu

Zespół opierał się na 3D modelach wirtualnych z fotografiami z otwartego zestawu danych i użył tego jako danych wejściowych. To umożliwiło systemowi automatyczne generowanie cyfrowych “masek”, które nakładały odtworzone budynki na chmury.

Tomohiro Fukuda jest seniorem autorem badania.

“Ta metoda umożliwia wykrywanie budynków w obszarach bez oznaczonych danych szkoleniowych”, mówi Fukuda.

Wytrenowany model był w stanie wykryć budynki z wartością “przecięcia nad związkiem” wynoszącą 0,651. Ta wartość jest miarą, jak dokładnie odtworzony obszar odpowiada rzeczywistemu obszarowi.

Według zespołu, ta metoda może poprawić jakość innych zestawów danych z obrazami, które są zasłonięte, potrzebuje tylko być rozszerzona. Może to obejmować obrazy w różnych dziedzinach, takich jak opieka zdrowotna, gdzie mogłaby być użyta do poprawy obrazowania medycznego.