Neuronnätverk hjälper till att ta bort moln från flygbilder

Forskare och vetenskapsmän från avdelningen för hållbar energi och miljöteknik vid Osaka University kunde digitalt ta bort moln från flygbilder med hjälp av generativa adversariala nätverk (GAN). Med de resulterande data kunde de automatiskt generera precisa datamängder av byggnadsbilder.

Forskningen publicerades i Advanced Engineering Informatics.

Laget satte två konstgjorda intelligensnätverk mot varandra för att förbättra datakvaliteten, och det krävde inte tidigare märkta bilder. Enligt laget kan dessa nya utvecklingar användas inom områden som byggnadsteknik, där datorseende är viktigt.

Maskinlärning för reparation av bilder

Maskinlärning används ofta för att reparera skadade bilder, som flygbilder av byggnader som skymms av moln. Detta kan göras manuellt, men det är tidskrävande och inte så effektivt som maskinlärningsalgoritmer. Även de algoritmer som redan finns tillgängliga kräver en stor mängd träningsbilder, så det är viktigt att utveckla tekniken ytterligare.

Detta är vad forskarna vid Osaka University gjorde när de tillämpade generativa adversariala nätverk. Ett nätverk är det “generativa nätverket”, och det föreslår rekonstruerade bilder utan moln. Detta nätverk sätts mot ett “diskriminerande nätverk”, som använder ett konvolutionsneuronnät för att skilja på digitalt reparerade bilder och riktiga bilder utan moln.

När nätverken fortskrider genom denna process blir de båda allt bättre, vilket möjliggör att de skapar mycket realistiska bilder med molnen digitalt raderade.

Kazunosuke Ikeno är den första författaren till artikeln.

“Genom att träna det generativa nätverket att ‘lura’ det diskriminerande nätverket att tro att en bild är riktig, får vi rekonstruerade bilder som är mer självständiga”, säger Ikeno.

Bild: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

Träning av systemet

Laget använde 3D-virtuella modeller med foton från en öppen källkodsdatamängd, och detta användes som indata. Detta möjliggjorde för systemet att automatiskt generera digitala “masker” som överlappade rekonstruerade byggnader över molnet.

Tomohiro Fukuda är seniorförfattare till forskningen.

“Denna metod möjliggör att upptäcka byggnader i områden utan märkta träningsdata”, säger Fukuda.

Den tränade modellen kunde upptäcka byggnader med ett “intersection over union”-värde på 0,651. Detta värde är ett mått på hur exakt den rekonstruerade arean motsvarar den faktiska arean.

Enligt laget kan denna metod förbättra kvaliteten på andra datamängder med bilder som är skadade, det behöver bara utvidgas. Detta kan inkludera bilder inom olika områden, som hälsovård, där det kan användas för att förbättra medicinsk avbildning.