AI-model kan tage uklare billeder og forbedre opløsningen med 60 gange

Forskere fra Duke University har udviklet en AI-model, der kan tage meget uklare, pixellerede billeder og gengive dem med høj detaljeringsgrad. Ifølge TechXplore, er modellen i stand til at tage relativt få pixels og skala billederne op for at skabe realistisk udseende ansigter, der er ca. 64 gange opløsningen af det originale billede. Modellen hallucinerer eller forestiller sig funktioner, der er mellem linjerne i det originale billede.

Forskningen er et eksempel på superopløsning. Som Cynthia Rudin fra Duke Universitys computer science-team forklarede til TechXplore, sætter dette forskningsprojekt en rekord for superopløsning, da billeder aldrig før er blevet skabt med så megen detaljeringsgrad fra så få startpixels. Forskerne var omhyggelige med at understrege, at modellen ikke faktisk genskaber ansigtet på personen i det originale, lavkvalitetsbillede. I stedet genererer den nye ansigter og udfylder detaljer, der ikke var der før. Af denne grund kan modellen ikke bruges til noget som sikkerhedssystemer, da den ikke ville kunne omdanne uklare billeder til billeder af en rigtig person.

Traditionelle superopløsningsmetoder fungerer ved at gætte, hvilke pixels der er nødvendige for at omdanne billedet til et højopløsningsbillede, baseret på billeder, som modellen har lært om førhen. Fordi de tilføjede pixels er resultatet af gæt, vil ikke alle pixels matche med de omgivende pixels, og visse områder af billedet kan se uklare eller forvrængede ud. Forskerne fra Duke University brugte en anden metode til at træne deres AI-model. Modellen, som Duke-forskerne skabte, fungerer ved først at tage lavkvalitetsbilleder og tilføje detaljer til billedet over tid, med reference til højopløsnings-AI-genererede ansigter som eksempler. Modellen refererer til de AI-genererede ansigter og prøver at finde dem, der ligner målbillederne, når de genererede ansigter skaleres ned til størrelsen af målbilledet.

Forskningsholdet skabte en Generative Adversarial Network-model til at håndtere skabelsen af nye billeder. GAN’er er faktisk to neurale netværk, der er trænet på samme dataset og sat op imod hinanden. Det ene netværk er ansvarligt for at generere falske billeder, der ligner de rigtige billeder i træningsdatasettet, mens det andet netværk er ansvarligt for at opdage de falske billeder fra de ægte. Det første netværk bliver underrettet, når dets billeder er identificeret som falske, og det forbedrer sig, indtil de falske billeder håbentligt er umulige at skelne fra de ægte billeder.

Forskerne har døbt deres superopløsningsmodel PULSE, og modellen producerer konsekvent højkvalitetsbilleder, selv hvis den får billeder, der er så uklare, at andre superopløsningsmetoder ikke kan skabe højkvalitetsbilleder fra dem. Modellen er endda i stand til at lave realistisk udseende ansigter fra billeder, hvor ansigtets træk næsten er umulige at skelne. For eksempel kan den, når den får et billede af et ansigt med 16×16 opløsning, skabe et 1024 x 1024-billede. Mere end en million pixels bliver tilføjet under denne proces, og det udfylder detaljer som hårsstrå, rynker og selv lys. Når forskerne fik mennesker til at bedømme 1440 PULSE-genererede billeder mod billeder genereret af andre superopløsningsmetoder, scorede PULSE-genererede billeder konsekvent bedst.

Selvom forskerne brugte deres model på billeder af menneskers ansigter, kan de samme metoder, de bruger, også anvendes på næsten alle objekter. Lavkvalitetsbilleder af forskellige objekter kan bruges til at skabe højopløsningsbilleder af det pågældende sæt af objekter, og det åbner op for mulige anvendelser i en række forskellige industrier og fag, lige fra mikroskopi, satellitbilleder, uddannelse, produktion og medicin.