Neuronale netwerken helpen bij het verwijderen van wolken uit luchtfoto’s

Onderzoekers en wetenschappers van de afdeling Duurzame Energie en Milieutechniek van de Osaka University zijn erin geslaagd om wolken uit luchtfoto’s digitaal te verwijderen met behulp van generatieve tegenstrijdige netwerken (GAN’s). Met de resulterende gegevens konden ze automatisch nauwkeurige datasets van beeldmasks van gebouwen genereren.

Het onderzoek werd gepubliceerd in Advanced Engineering Informatics.

Het team zette twee kunstmatige intelligentie (AI) netwerken tegen elkaar op om de gegevenskwaliteit te verbeteren, en het vereiste geen eerder gelabelde afbeeldingen. Volgens het team kunnen deze nieuwe ontwikkelingen worden gebruikt in gebieden zoals civiele techniek, waar computervisietechnologie belangrijk is.

Machine Learning voor het repareren van afbeeldingen

Machine learning wordt vaak gebruikt om afbeeldingen te repareren die zijn aangetast, zoals luchtfoto’s van gebouwen die zijn aangetast door wolken. Deze taak kan handmatig worden uitgevoerd, maar het is tijdrovend en niet zo effectief als machine learning-algoritmes. Zelfs de al beschikbare algoritmes vereisen een grote verzameling trainingsafbeeldingen, dus het is cruciaal om de technologie verder te ontwikkelen.

Dit is wat de onderzoekers van de Osaka University deden toen ze generatieve tegenstrijdige netwerken toepasten. Een netwerk is het “generatieve netwerk” en het stelt gereconstrueerde afbeeldingen voor zonder wolken. Dit netwerk wordt tegen een “discriminatief netwerk” gezet, dat een convolutioneel neuronaal netwerk gebruikt om het onderscheid te maken tussen digitaal gerepareerde afbeeldingen en echte afbeeldingen zonder wolken.

Naarmate de netwerken dit proces doorlopen, worden ze beide steeds beter, waardoor ze in staat zijn om zeer realistische afbeeldingen te creëren met de wolken digitaal verwijderd.

Kazunosuke Ikeno is de eerste auteur van het artikel.

“Door het generatieve netwerk te trainen om het discriminatieve netwerk te ‘bedriegen’ en te doen denken dat een afbeelding echt is, krijgen we gereconstrueerde afbeeldingen die meer zelfconsistent zijn,” zegt Ikeno.

Afbeelding: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

Training van het systeem

Het team gebruikte 3D-virtuele modellen met foto’s uit een open-source dataset als invoer. Dit stelde het systeem in staat om automatisch digitale “masks” te genereren die gereconstrueerde gebouwen over de wolken heen legden.

Tomohiro Fukuda is de senior auteur van het onderzoek.

“Deze methode maakt het mogelijk om gebouwen te detecteren in gebieden zonder gelabelde trainingsgegevens,” zegt Fukuda.

Het getrainde model kon gebouwen detecteren met een “intersection over union”-waarde van 0,651. Deze waarde is de maatstaf voor hoe nauwkeurig het gereconstrueerde gebied overeenkomt met het daadwerkelijke gebied.

Volgens het team kan deze methode de kwaliteit van andere datasets met afbeeldingen die zijn aangetast verbeteren, het hoeft alleen maar te worden uitgebreid. Dit kan afbeeldingen in verschillende gebieden omvatten, zoals de gezondheidszorg, waar het kan worden gebruikt om medische beeldvorming te verbeteren.