AI-modell kan ta suddiga bilder och förbättra upplösningen med 60 gånger

Forskare från Duke University har utvecklat en AI-modell som kan ta mycket suddiga, pixlade bilder och återge dem med hög detalj. Enligt TechXplore kan modellen ta relativt få pixlar och skala upp bilderna för att skapa realistiska ansikten som är ungefär 64 gånger den ursprungliga bildens upplösning. Modellen hallucinerar, eller föreställer sig, funktioner som ligger mellan linjerna i den ursprungliga bilden.

Forskningen är ett exempel på super-upplösning. Som Cynthia Rudin från Duke Universitys datavetenskapliga team förklarade för TechXplore, sätter detta forskningsprojekt ett rekord för super-upplösning, eftersom bilder aldrig tidigare har skapats med sådan färg från så få startpixlar. Forskarna var noga med att betona att modellen inte faktiskt återskapar ansiktet på personen i den ursprungliga, lågkvalitativa bilden. Istället genererar den nya ansikten, fyller i detaljer som inte fanns där tidigare. Av denna anledning kan modellen inte användas för något som säkerhetssystem, eftersom den inte kan göra suddiga bilder till bilder av en riktig person.

Traditionella super-upplösningstekniker fungerar genom att gissa vilka pixlar som behövs för att göra bilden till en högupplöst bild, baserat på bilder som modellen har lärt sig om tidigare. Eftersom de tillagda pixlarna är resultatet av gissningar, kommer inte alla pixlar att matcha med omgivande pixlar och vissa områden av bilden kan se suddiga eller förvridna ut. Forskarna från Duke University använde en annan metod för att träna sin AI-modell. Modellen skapad av Duke-forskarna fungerar genom att först ta lågupplösta bilder och lägga till detaljer till bilden över tid, med referens till högupplösta AI-genererade ansikten som exempel. Modellen refererar till de AI-genererade ansiktena och försöker hitta de som liknar målbilderna när de genererade ansiktena skalas ner till storleken på målbilden.

Forskningsgruppen skapade en Generative Adversarial Network-modell för att hantera skapandet av nya bilder. GAN:er är i själva verket två neurala nätverk som båda tränas på samma dataset och sätts mot varandra. Ett nätverk är ansvarigt för att generera falska bilder som imiterar de riktiga bilderna i träningsdatasetet, medan det andra nätverket är ansvarigt för att upptäcka de falska bilderna från de äkta. Det första nätverket meddelas när dess bilder har identifierats som falska, och det förbättras tills de falska bilderna hoppas vara otillräckliga från de äkta bilderna.

Forskarna har döpt sin super-upplösningsmodell till PULSE, och modellen producerar konsekvent högkvalitetsbilder, även om den ges bilder som är så suddiga att andra super-upplösningstekniker inte kan skapa högkvalitetsbilder från dem. Modellen kan till och med skapa realistiska ansikten från bilder där ansiktsfunktionerna nästan är outvecklade. Till exempel, när den ges en bild av ett ansikte med 16×16-upplösning, kan den skapa en 1024 x 1024-bild. Mer än en miljon pixlar läggs till under denna process, fyller i detaljer som hårstrån, rynkor och till och med belysning. När forskarna hade människor betygsätta 1440 PULSE-genererade bilder mot bilder genererade av andra super-upplösningstekniker, betygsatte PULSE-genererade bilder konsekvent som de bästa.

Medan forskarna använde sin modell på bilder av människors ansikten, kan samma tekniker de använder tillämpas på nästan alla föremål. Lågupplösta bilder av olika föremål kan användas för att skapa högupplösta bilder av det föremålet, vilket öppnar möjliga tillämpningar för en mängd olika industrier och fält, från mikroskopi, satellitbilder, utbildning, tillverkning och medicin.