AI-modell kan ta uskarpe bilder og forbedre oppløsningen med 60 ganger

Forskere fra Duke University har utviklet en AI-modell som kan ta svært uskarpe, pikslede bilder og rendre dem med høy detalj. Ifølge TechXplore, er modellen i stand til å ta relativt få piksler og skalerer bildene opp for å skape realistiske ansikter som er omtrent 64 ganger oppløsningen av det originale bildet. Modellen hallucinerer, eller forestiller seg, trekk som er mellom linjene i det originale bildet.

Forskningen er et eksempel på super-oppløsning. Som Cynthia Rudin fra Duke Universitys datavitenskapelige team forklarte til TechXplore, setter denne forskningsprosjektet en rekord for super-oppløsning, siden bilder aldri før har blitt skapt med så mye detalj fra så få startpiksler. Forskerne var nøye med å understreke at modellen ikke faktisk gjenskaper ansiktet på personen i det originale, lavkvalitetsbildet. I stedet genererer den nye ansikter, fyller inn detaljer som ikke var der før. Av denne grunn kan modellen ikke brukes til noe som ligner sikkerhetssystemer, siden den ikke ville kunne gjøre uskarpe bilder til bilder av en virkelig person.

Tradisjonelle super-oppløsningsmetoder opererer ved å gjette på hvilke piksler som er nødvendige for å gjøre bildet til et høyoppløst bilde, basert på bilder som modellen har lært om tidligere. Fordi de tilføyde pikslene er resultatet av gjettning, vil ikke alle pikslene matche med sine omgivende piksler, og visse regioner av bildet kan se utydelige eller forvrengte ut. Forskerne fra Duke University brukte en annen metode for å trene sin AI-modell. Modellen skapt av Duke-forskerne opererer ved å først ta lavoppløste bilder og legge til detaljer til bildet over tid, med høyoppløste AI-genererte ansikter som eksempler. Modellen refererer til AI-genererte ansikter og prøver å finne de som ligner målbildene når de genererte ansiktene skaleres ned til størrelsen på målbildet.

Forskningsgruppen skapte en Generative Adversarial Network-modell for å håndtere skapningen av nye bilder. GAN-er er faktisk to neurale nettverk som er trent på samme datasett og plassert mot hverandre. Det ene nettverket er ansvarlig for å generere falske bilder som ligner de ekte bildene i treningsdatasettet, mens det andre nettverket er ansvarlig for å detektere de falske bildene fra de ekte. Det første nettverket blir underrettet når bildene har blitt identifisert som falske, og det forbedrer seg til de falske bildene håperligvis er ubeskrevne fra de ekte bildene.

Forskerne har døpt sin super-oppløsningsmodell PULSE, og modellen produserer konsistent høykvalitetsbilder selv om den får bilder som er så uskarpe at andre super-oppløsningsmetoder ikke kan produsere høykvalitetsbilder fra dem. Modellen er også i stand til å lage realistiske ansikter fra bilder hvor ansiktets trekk nesten er umulige å skille. For eksempel, når den får et bilde av et ansikt med 16×16 oppløsning, kan den skape et 1024 x 1024 bilde. Mer enn en million piksler blir lagt til under denne prosessen, fyller inn detaljer som hårstrå, rynker og selv lys. Når forskerne hadde mennesker vurdere 1440 PULSE-genererte bilder mot bilder generert av andre super-oppløsningsmetoder, scoret PULSE-genererte bildene konsistent best.

Mens forskerne brukte sin modell på bilder av menneskers ansikter, kan de samme teknikkene de bruker bli brukt på nesten alle objekter. Lavoppløste bilder av forskjellige objekter kan brukes til å skape høyoppløste bilder av den samme objektsamlingen, åpner opp mulige bruksområder for en rekke ulike industrier og felt, fra mikroskopi, satellittbilder, utdanning, produksjon og medisin.