AI-modell kan ta suddiga bilder och förbättra upplösningen med 60 gånger

Forskare från Duke University har utvecklat en AI-modell som kan ta mycket suddiga, pixlade bilder och återge dem med hög detalj. Enligt TechXplore kan modellen ta relativt få pixlar och skala upp bilderna för att skapa realistiska ansikten som är ungefär 64 gånger större än den ursprungliga bilden. Modellen hallucinerar, eller föreställer sig, funktioner som finns mellan linjerna i den ursprungliga bilden.

Forskningen är ett exempel på superupplösning. Som Cynthia Rudin från Duke Universitys datavetenskapliga team förklarade för TechXplore, så sätter denna forskningsprojekt rekord för superupplösning, eftersom bilder aldrig tidigare har skapats med sådan detalj från så få startpixlar. Forskarna var noga med att betona att modellen inte faktiskt återskapar ansiktet på personen i den ursprungliga, lågkvalitetsbilden. Istället genererar den nya ansikten och fyller i detaljer som inte fanns där tidigare. Av denna anledning kan modellen inte användas för något som säkerhetssystem, eftersom den inte kan förvandla suddiga bilder till bilder av en riktig person.

Traditionella superupplösningstekniker fungerar genom att göra gissningar om vilka pixlar som behövs för att förvandla bilden till en högupplöst bild, baserat på bilder som modellen har lärt sig tidigare. Eftersom de tillagda pixelerna är resultatet av gissningar, så kommer inte alla pixlar att matcha med sina omgivande pixlar, och vissa områden av bilden kan se suddiga eller förvridna ut. Forskarna från Duke University använde en annan metod för att träna sin AI-modell. Modellen som skapades av Duke-forskarna fungerar genom att först ta lågupplösta bilder och lägga till detaljer till bilden över tid, med referens till högupplösta AI-genererade ansikten som exempel. Modellen refererar till de AI-genererade ansiktena och försöker hitta de som liknar målbilderna när de genererade ansiktena skalas ner till storleken på målbilderna.

Forskningsgruppen skapade en Generative Adversarial Network-modell för att hantera skapandet av nya bilder. GAN:er är i själva verket två neurala nätverk som båda tränas på samma dataset och sätts mot varandra. Ett nätverk är ansvarigt för att generera falska bilder som imiterar de riktiga bilderna i träningsdatasetet, medan det andra nätverket är ansvarigt för att upptäcka de falska bilderna från de äkta. Det första nätverket meddelas när dess bilder har identifierats som falska, och det förbättras tills de falska bilderna hoppas vara oändliga från de äkta bilderna.

Forskarna har döpt sin superupplösningsmodell till PULSE, och modellen producerar konsekvent högkvalitetsbilder, även om den ges bilder som är så suddiga att andra superupplösningstekniker inte kan skapa högkvalitetsbilder från dem. Modellen kan till och med skapa realistiska ansikten från bilder där ansiktsdragen nästan är otydliga. Till exempel, när den ges en bild av ett ansikte med 16×16 upplösning, kan den skapa en 1024 x 1024 bild. Mer än en miljon pixlar läggs till under denna process, och fyller i detaljer som hårstrån, rynkor och till och med belysning. När forskarna hade människor som bedömde 1440 PULSE-genererade bilder mot bilder genererade av andra superupplösningstekniker, så gav PULSE-genererade bilderna konsekvent de bästa resultaten.

Medan forskarna använde sin modell på bilder av människors ansikten, så kan samma tekniker de använder tillämpas på nästan alla föremål. Lågupplösta bilder av olika föremål kan användas för att skapa högupplösta bilder av den uppsättningen föremål, och öppna upp möjliga tillämpningar för en mängd olika industrier och områden, från mikroskopi, satellitbilder, utbildning, tillverkning och medicin.