Sieci neuronowe pomagają usuwać chmury z obrazów lotniczych

Badacze i naukowcy z Wydziału Zrównoważonej Energetyki i Inżynierii Środowiska na Uniwersytecie w Osace byli w stanie cyfrowo usunąć chmury z obrazów lotniczych, wykorzystując generatywne sieci adversarialne (GAN). Z powstałymi danymi mogli automatycznie generować dokładne zestawy danych maski obrazów budynków. 

Badania zostały opublikowane w Advanced Engineering Informatics. 

Zespół ustawił dwie sztuczne sieci neuronowe przeciwko sobie, aby poprawić jakość danych i nie wymagało to wcześniej oznaczonych obrazów. Zgodnie z zespołem, nowe rozwiązania mogą być wykorzystane w dziedzinach takich jak inżynieria lądowa, gdzie technologia wizji komputerowej jest ważna.

Uczenie maszynowe do naprawy obrazów

Uczenie maszynowe jest często wykorzystywane do naprawy zasłoniętych obrazów, takich jak obrazy lotnicze budynków zasłonięte przez chmury. To zadanie może być wykonane ręcznie, ale jest czasochłonne i mniej skuteczne niż algorytmy uczenia maszynowego. Nawet te algorytmy, które są już dostępne, wymagają dużej liczby obrazów szkoleniowych, więc jest to kluczowe, aby rozwinąć tę technologię dalej.

To jest to, co zrobili badacze na Uniwersytecie w Osace, gdy zastosowali generatywne sieci adversarialne. Jedna sieć to „sieć generatywna”, która proponuje odtworzone obrazy bez chmur. Ta sieć jest ustawiona przeciwko „sieci dyskryminacyjnej”, która opiera się na sieci neuronowej z wykorzystaniem splotu, aby odróżnić cyfrowo naprawione obrazy od prawdziwych obrazów bez chmur.

Podczas gdy sieci przechodzą przez ten proces, obie stają się coraz lepsze, co umożliwia im tworzenie bardzo realistycznych obrazów z cyfrowo usuniętymi chmurami. 

Kazunosuke Ikeno jest pierwszym autorem artykułu. 

„Poprzez szkolenie sieci generatywnej, aby „oszukać” sieć dyskryminacyjną, aby myślała, że obraz jest prawdziwy, otrzymujemy odtworzone obrazy, które są bardziej spójne”, mówi Ikeno. 

Image: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

Szkolenie systemu

Zespół opierał się na 3D modelach wirtualnych z fotografiami z otwartego zestawu danych i zostało to wykorzystane jako dane wejściowe. To umożliwiło systemowi automatyczne generowanie cyfrowych „masek”, które nakładają odtworzone budynki na chmury. 

Tomohiro Fukuda jest seniorem autorem badań.

“Ta metoda umożliwia wykrywanie budynków w obszarach bez oznaczonych danych szkoleniowych”, mówi Fukuda.

Wytrenowany model był w stanie wykryć budynki z wartością „przecięcia nad związkiem” 0,651. Ta wartość jest miarą tego, jak dokładnie odtworzona powierzchnia odpowiada rzeczywistej powierzchni. 

Zgodnie z zespołem, ta metoda może poprawić jakość innych zestawów danych z obrazami, które są zasłonięte, tylko trzeba ją rozszerzyć. Może to obejmować obrazy w różnych dziedzinach, takich jak opieka zdrowotna, gdzie mogą być one wykorzystane do poprawy obrazowania medycznego.