AI-modellen kan ta uskarpe bilder og forbedre oppløsningen med 60 ganger

Forskere fra Duke University har utviklet en AI-modell som er i stand til å ta svært uskarpe, pikselerte bilder og gjengi dem med høy detaljrikdom.  Ifølge TechXplore, er modellen i stand til å ta relativt få piksler og skalere bildene opp for å lage realistiske ansikter som er omtrent 64 ganger oppløsningen til originalbildet. Modellen hallusinerer, eller forestiller seg, trekk som er mellom linjene i originalbildet.

Forskningen er et eksempel på superoppløsning. Som Cynthia Rudin fra Duke Universitys informatikkteam forklart til TechXplore, setter dette forskningsprosjektet rekord for superoppløsning, som aldri før har bilder blitt skapt med en slik feal fra et så lite utvalg av startpiksler. Forskerne var nøye med å understreke at modellen faktisk ikke gjenskaper ansiktet til personen i det originale bildet av lav kvalitet. I stedet genererer den nye ansikter, og fyller ut detaljer som ikke var der før. Av denne grunn kunne ikke modellen brukes til noe sånt som sikkerhetssystemer, da den ikke ville være i stand til å gjøre ufokuserte bilder til bilder av en ekte person.

Tradisjonelle superoppløsningsteknikker fungerer ved å gjøre gjetninger om hvilke piksler som trengs for å gjøre bildet om til et høyoppløselig bilde, basert på bilder som modellen har lært om på forhånd. Fordi de tilførte pikslene er et resultat av gjetninger, vil ikke alle pikslene samsvare med de omkringliggende pikslene, og visse områder av bildet kan se uklare eller skjeve ut. Forskerne fra Duke University brukte en annen metode for å trene opp AI-modellen sin. Modellen laget av Duke-forskerne fungerer ved først å ta bilder med lav oppløsning og legge til detaljer i bildet over tid, og refererer til høyoppløselige AI-genererte ansikter som eksempler. Modellen refererer til de AI-genererte ansiktene og prøver å finne de som ligner målbildene når de genererte ansiktene skaleres ned til størrelsen på målbildet.

Forskerteamet opprettet en Generative Adversarial Network-modell for å håndtere opprettelsen av nye bilder. GAN-er er faktisk to nevrale nettverk som begge er trent på samme datasett og satt opp mot hverandre. Det ene nettverket er ansvarlig for å generere falske bilder som etterligner de virkelige bildene i treningsdatasettet, mens det andre nettverket er ansvarlig for å oppdage de falske bildene fra de ekte. Det første nettverket blir varslet når bildene har blitt identifisert som falske, og det forbedres til de falske bildene forhåpentligvis ikke kan skilles fra de ekte bildene.

Forskerne har kalt sin superoppløsningsmodell PULS, og modellen produserer konsekvent bilder av høy kvalitet selv om gitte bilder er så uskarpe at andre superoppløsningsmetoder ikke kan lage bilder av høy kvalitet fra dem. Modellen er til og med i stand til å lage realistiske ansikter fra bilder der ansiktstrekkene nesten ikke kan skilles fra hverandre. For eksempel, når det gis et bilde av et ansikt med 16×16 oppløsning, kan det lage et 1024 x 1024 bilde. Mer enn en million piksler legges til under denne prosessen, og fyller ut detaljer som hårstrå, rynker og til og med belysning. Da forskerne fikk folk til å rangere 1440 PULSE-genererte bilder mot bilder generert av andre superoppløsningsteknikker, scoret de PULSE-genererte bildene konsekvent best.

Mens forskerne brukte modellen sin på bilder av folks ansikter, kunne de samme teknikkene de bruker brukes på nesten alle objekter. Lavoppløselige bilder av forskjellige objekter kan brukes til å lage høyoppløselige bilder av det settet med objekter, og åpner opp for mulige applikasjoner for en rekke forskjellige bransjer og felt fra mikroskopi, satellittbilder, utdanning, produksjon og medisin.