Neurale nettverk hjelper med å fjerne skyer fra luftbilder

Forskere og vitenskapsmenn fra avdelingen for bærekraftig energi og miljøteknikk ved Osaka University har kunnet fjerne skyer fra luftbilder ved å bruke generative adversarial nettverk (GANs). Med de resulterende dataene kunne de automatisk generere nøyaktige datasett av bygningbildemasker.

Forskningen ble publisert i Advanced Engineering Informatics.

Laget plasserte to kunstig intelligens (AI) nettverk mot hverandre for å forbedre datakvaliteten, og det krevde ikke tidligere merket bilder. Ifølge laget kan disse nye utviklingene brukes i felt som sivilingeniør, der datavisjonsteknologi er viktig.

Maskinlæring for å reparere bilder

Maskinlæring brukes ofte til å reparere skjulte bilder, som luftbilder av bygninger skjult av skyer. Denne oppgaven kan gjøres manuelt, men det er tidskrevende og ikke like effektivt som maskinlæring salgoritmer. Selv de allerede tilgjengelige algoritmene krever en stor mengde treningbilder, så det er viktig å videreutvikle teknologien.

Dette er hva forskerne ved Osaka University gjorde da de anvendte generative adversarial nettverk. Et nettverk er det “generative nettverk”, og det foreslår rekonstruerte bilder uten skyer. Dette nettverket plasseres mot et “diskriminerende nettverk”, som avhenger av et konvolusjonsneuralt nettverk for å skille mellom de digitalt reparerte bildene og ekte bilder uten skyer.

Etterhvert som nettverkene går gjennom denne prosessen, blir de begge stadig bedre, noe som muliggjør å lage svært realistiske bilder med skyene digitalt slettet.

Kazunosuke Ikeno er den første forfatteren av artikkelen.

“Ved å trene det generative nettverk til å ‘late’ det diskriminerende nettverk tro at et bilde er ekte, får vi rekonstruerte bilder som er mer selvkonsekvente,” sier Ikeno.

Bilde: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

Trening av systemet

Laget brukte 3D-virtuelle modeller med fotografier fra en åpen kilde-datasett, og dette ble brukt som inndata. Dette muliggjorde at systemet kunne automatisk generere digitale “masker” som lagde rekonstruerte bygninger over skyene.

Tomohiro Fukuda er seniorforfatter av forskningen.

“Denne metoden gjør det mulig å detektere bygninger i områder uten merket treningdata,” sier Fukuda.

Det trente modellen kunne detektere bygninger med en “interseksjon over union”-verdi på 0,651. Denne verdien er målet på hvor nøyaktig det rekonstruerte området svarer til det faktiske området.

Ifølge laget kan denne metoden forbedre kvaliteten på andre datasett med bilder som er skjult, det trenger bare å utvides. Dette kan inkludere bilder i ulike felt, som helse, der det kan brukes til å forbedre medisinske bilder.