AI-modellen kan ta suddiga bilder och förbättra upplösningen med 60 gånger

Forskare från Duke University har utvecklat en AI-modell som kan ta mycket suddiga, pixlade bilder och återge dem med hög detaljrikedom.  Enligt TechXplore, kan modellen ta relativt få pixlar och skala upp bilderna för att skapa realistiska ansikten som är ungefär 64 gånger upplösningen från originalbilden. Modellen hallucinerar, eller föreställer sig, drag som befinner sig mellan linjerna i originalbilden.

Forskningen är ett exempel på superupplösning. Som Cynthia Rudin från Duke Universitys datavetenskapsteam förklarade för TechXplore, det här forskningsprojektet sätter rekord för superupplösning, som aldrig tidigare har bilder skapats med en sådan feal från ett så litet urval av startpixlar. Forskarna var noga med att betona att modellen faktiskt inte återskapar personens ansikte i den ursprungliga bilden av låg kvalitet. Istället genererar det nya ansikten, fyller i detaljer som inte fanns där tidigare. Av denna anledning kunde modellen inte användas för något liknande säkerhetssystem, eftersom den inte skulle kunna förvandla bilder från fokus till bilder av en verklig person.

Traditionella superupplösningstekniker fungerar genom att göra gissningar om vilka pixlar som behövs för att förvandla bilden till en högupplöst bild, baserat på bilder som modellen har lärt sig om i förväg. Eftersom de tillagda pixlarna är resultatet av gissningar kommer inte alla pixlar att matcha de omgivande pixlarna och vissa delar av bilden kan se suddiga eller skeva ut. Forskarna från Duke University använde en annan metod för att träna sin AI-modell. Modellen som skapats av Duke-forskarna fungerar genom att först ta lågupplösta bilder och lägga till detaljer i bilden över tid, med hänvisning till högupplösta AI-genererade ansikten som exempel. Modellen refererar till de AI-genererade ansiktena och försöker hitta sådana som liknar målbilderna när de genererade ansiktena skalas ner till målbildens storlek.

Forskargruppen skapade en Generative Adversarial Network-modell för att hantera skapandet av nya bilder. GAN är faktiskt två neurala nätverk som båda tränas på samma datauppsättning och ställs mot varandra. Det ena nätverket ansvarar för att generera falska bilder som efterliknar de verkliga bilderna i träningsdatauppsättningen, medan det andra nätverket ansvarar för att upptäcka de falska bilderna från de äkta. Det första nätverket meddelas när dess bilder har identifierats som falska, och det förbättras tills de falska bilderna förhoppningsvis inte går att skilja från de äkta bilderna.

Forskarna har döpt sin superupplösningsmodell PULS, och modellen producerar genomgående högkvalitativa bilder även om bilderna är så suddiga att andra superupplösningsmetoder inte kan skapa bilder av hög kvalitet från dem. Modellen är till och med kapabel att skapa realistiska ansikten från bilder där ansiktsdragen nästan inte går att urskilja. Till exempel, när den ges en bild av ett ansikte med 16×16 upplösning, kan det skapa en 1024 x 1024 bild. Mer än en miljon pixlar läggs till under denna process, och fyller i detaljer som hårstrån, rynkor och till och med belysning. När forskarna lät folk betygsätta 1440 PULSE-genererade bilder mot bilder som genererades med andra superupplösningstekniker, fick de PULSE-genererade bilderna konsekvent bäst poäng.

Medan forskarna använde sin modell på bilder av människors ansikten, kunde samma tekniker som de använder tillämpas på nästan alla föremål. Lågupplösta bilder av olika objekt kan användas för att skapa högupplösta bilder av den uppsättningen objekt, vilket öppnar upp för möjliga tillämpningar för en mängd olika industrier och områden från mikroskopi, satellitbilder, utbildning, tillverkning och medicin.