Neurale netværk hjælper med at fjerne skyer fra luftfotos

Forskere og videnskabsmænd fra afdelingen for bæredygtig energi og miljøteknik ved Osaka Universitet har kunnet fjerne skyer digitalt fra luftfotos ved hjælp af generative adversarial netværk (GAN’er). Med de resulterende data kunne de automatisk generere nøjagtige datasæt af bygningebilleder. 

Forskningen blev offentliggjort i Advanced Engineering Informatics. 

Holdet satte to kunstig intelligens (AI) netværk op imod hinanden for at forbedre datakvaliteten, og det krævede ikke tidligere mærkede billeder. Ifølge holdet kan disse nye udviklinger bruges i felter som bygningsingeniørvidenskab, hvor computerseings-teknologi er vigtig.

Maskinlæring til reparation af billeder

Maskinlæring bruges ofte til at reparere tilslørede billeder, som luftfotos af bygninger tilsløret af skyer. Denne opgave kan udføres manuelt, men det er tidskrævende og ikke så effektivt som maskinlæringsalgoritmer. Selv de allerede tilgængelige algoritmer kræver et stort sæt af træningsbilleder, så det er afgørende at udvikle teknologien yderligere.

Det er, hvad forskerne ved Osaka Universitet gjorde, da de anvendte generative adversarial netværk. Et netværk er det “generative netværk”, og det foreslår rekonstruerede billeder uden skyer. Dette netværk sættes op imod et “diskriminerende netværk”, der afhænger af et convolutionelt neuralt netværk til at skelne mellem de digitalt reparerde billeder og ægte billeder uden skyer.

Da netværkene fortsætter med denne proces, bliver de begge mere og mere effektive, hvilket ermöglicer dem at skabe meget realistiske billeder med skyerne digitalt slettet. 

Kazunosuke Ikeno er den første forfatter af artiklen. 

“Ved at træne det generative netværk til at ‘narre’ det diskriminerende netværk til at tro, et billede er ægte, får vi rekonstruerede billeder, der er mere selvkonsekvente,” siger Ikeno. 

Billede: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

Træning af systemet

Holdet afhængte af 3D-virtuelle modeller med fotografier fra en åben kilde-datasæt, og dette blev brugt som input. Dette ermöglicerede systemet at automatisk generere digitale “masker”, der lagde rekonstruerede bygninger over skyerne. 

Tomohiro Fukuda er seniorforfatter af forskningen.

“Denne metode gør det muligt at registrere bygninger i områder uden mærkede træningsdata,” siger Fukuda.

Det trænede model kunne registrere bygninger med en “intersection over union”-værdi på 0,651. Denne værdi er målet for, hvor nøjagtigt det rekonstruerede område svarer til det faktiske område. 

Ifølge holdet kan denne metode forbedre kvaliteten af andre datasæt med billeder, der er tilsløret, det kræver blot at blive udvidet. Dette kan inkludere billeder i forskellige felter, såsom sundhedsvidenskab, hvor det kan bruges til at forbedre medicinsk billedanalyse.