AI-model kan tage slørede billeder og forbedre opløsningen med 60 gange

Forskere fra Duke University har udviklet en AI-model, der er i stand til at tage meget slørede, pixelerede billeder og gengive dem med høje detaljer.  Ifølge TechXplore, er modellen i stand til at tage relativt få pixels og skalere billederne op for at skabe realistiske ansigter, der er cirka 64 gange opløsningen af ​​det originale billede. Modellen hallucinerer eller forestiller sig træk, der er mellem linjerne i det originale billede.

Forskningen er et eksempel på superopløsning. Som Cynthia Rudin fra Duke Universitys datalogiteam forklaret til TechXplore, sætter dette forskningsprojekt rekord for super-opløsning, da der aldrig før er blevet skabt billeder med en sådan feal fra så lille et udsnit af startpixels. Forskerne var omhyggelige med at understrege, at modellen faktisk ikke genskaber personens ansigt i det originale billede af lav kvalitet. I stedet genererer det nye ansigter, der udfylder detaljer, der ikke var der før. Af denne grund kunne modellen ikke bruges til noget lignende sikkerhedssystemer, da den ikke ville være i stand til at gøre ude af fokus billeder til billeder af en rigtig person.

Traditionelle superopløsningsteknikker fungerer ved at gætte på, hvilke pixels der skal til for at gøre billedet til et billede i høj opløsning, baseret på billeder, som modellen har lært om på forhånd. Fordi de tilføjede pixels er resultatet af gæt, vil ikke alle pixels matche deres omgivende pixels, og visse områder af billedet kan se slørede eller skæve ud. Forskerne fra Duke University brugte en anden metode til at træne deres AI-model. Modellen skabt af Duke-forskerne fungerer ved først at tage billeder i lav opløsning og tilføje detaljer til billedet over tid, idet man henviser til højopløselige AI-genererede ansigter som eksempler. Modellen refererer til de AI-genererede ansigter og forsøger at finde dem, der ligner målbillederne, når de genererede ansigter skaleres ned til målbilledets størrelse.

Forskerholdet skabte en Generative Adversarial Network-model til at håndtere skabelsen af ​​nye billeder. GAN'er er faktisk to neurale netværk, der begge er trænet på det samme datasæt og sat op mod hinanden. Det ene netværk er ansvarligt for at generere falske billeder, der efterligner de rigtige billeder i træningsdatasættet, mens det andet netværk er ansvarligt for at opdage de falske billeder fra de ægte. Det første netværk får besked, når dets billeder er blevet identificeret som falske, og det forbedres, indtil de falske billeder forhåbentlig ikke kan skelnes fra de ægte billeder.

Forskerne har døbt deres superopløsningsmodel PULS, og modellen producerer konsekvent billeder i høj kvalitet, selvom de er givet billeder så slørede, at andre superopløsningsmetoder ikke kan skabe billeder i høj kvalitet ud fra dem. Modellen er endda i stand til at lave realistiske ansigter ud fra billeder, hvor ansigtets træk næsten ikke kan skelnes. For eksempel, når det får et billede af et ansigt med 16×16 opløsning, kan det skabe et 1024 x 1024 billede. Mere end en million pixels tilføjes under denne proces, og udfylder detaljer som hårstrå, rynker og endda belysning. Da forskerne fik folk til at vurdere 1440 PULSE-genererede billeder i forhold til billeder genereret af andre super-opløsningsteknikker, scorede de PULSE-genererede billeder konsekvent bedst.

Mens forskerne brugte deres model på billeder af folks ansigter, kunne de samme teknikker, de bruger, anvendes på næsten ethvert objekt. Billeder i lav opløsning af forskellige objekter kunne bruges til at skabe billeder i høj opløsning af det sæt objekter, hvilket åbner op for mulige applikationer til en række forskellige industrier og områder fra mikroskopi, satellitbilleder, uddannelse, fremstilling og medicin.