Pixelmator Tar Med AI-Driven Superupplösning Till Användarna

Pixelmator har nyligen aktiverat ägare av Pixelmator Pro, en fotohanteringsapp, att använda ett superupplösningverktyg som drivs av AI.

Superupplösning möjliggör att suddiga, lågupplösta foton kan förbättras och bildens upplösning förbättras. Superupplösteknik kan skärpa bilder till imponerande effekt, ofta påminner det om “förbättrings”-trope som ofta ses i brottsdraman. Pixelmator meddelade nyligen att de inkluderat sitt “ML Super Resolution”-verktyg i Pro-versionen av sin fotoeditorsprogramvara. Pixelmators demonstration av några av resultaten kan ses här.

Tidiga tester av verktyget visar att det kan minska suddighet i flera typer av bilder, inklusive text, foton och illustrationer. Som rapporterats av The Verge, verkar resultaten som skapats av programmet också vara bättre än andra bilduppgraderingsverktyg, som ofta använder algoritmer som Nearest Neighbors och Bilinear-algoritmer.

Forskning om superupplösning har drivits av en mängd tekniska företag som Google (GOOGL ), Microsoft (MSFT ) och Nvidia. Flera företag har utformat sina egna superupplösningsalgoritmer, men metoden som används för att träna de olika superupplösningsenheterna använder samma grundläggande principer.

ML Super Resolution och andra superupplösningsverktyg tränas med hjälp av par av lågupplösta och högupplösta bilder. De lågupplösta bilderna är vanligtvis bara nedskalade versioner av de vanliga högupplösta bilderna. Jämförelser görs mellan de lågupplösta och högupplösta bilderna, och maskinlärningsalgoritmerna lär sig hur områdena av pixlar i de högupplösta bilderna skiljer sig från de lågupplösta bilderna. Målet är att neurala nätverk lär sig att känna igen mönster av pixlar som kommer att leda till en högupplöst bild. Det kan sedan använda dessa mönster av skillnader för att förutsäga var man ska lägga till pixlar i en bild för att förbättra upplösningen när det presenteras med en osedd bild.

Superupplösningsapplikationer kan skapas med hjälp av olika metoder. Till exempel är en metod för superupplösning användningen av Generative Adversarial Networks (GANs). GANs är i själva verket två neurala nätverk som är riktade mot varandra, med koncept från spelteori som nollsummespel och skådespelare-kritiker-modellen. I princip är det ena neurala nätverkets uppgift att skapa falska bilder, medan den andra nätverkets uppgift är att upptäcka dessa falska bilder. Nätverket som skapar de falska bilderna kallas generatoren, medan nätverket som upptäcker dem kallas diskriminatoren.

I fallet med Pixelmators superupplösningverktyg skapades ett konvolutionsneuralt nätverk som också implementerade en “förstora”-block som förstorar bilden efter att de 29 konvolutionslager har skannat bilden. Den förstorade bildmatrisen bearbetas sedan och omvandlas tillbaka till en traditionell bild med förbättrad upplösning. Nätverket innehåller också funktioner som reducerar brus i bilden och hanterar komprimeringsartefakter, så att dessa aspekter av bilden inte förstoras. Pixelmators algoritmer är mycket mindre än de algoritmer som används i forskningsmiljöer, så att de kan inkluderas i Pixelmator Pro-appen och köras på en mängd olika enheter. Träningsdatasetet är ganska litet jämfört med andra dataset som används för liknande tillämpningar, och endast 15000 prover användes för att träna algoritmerna.

Enligt The Verge finns det andra superupplösningsverktyg tillgängliga för konsumenter. Till exempel har Adobe (ADBE ) också sitt eget superupplösningsverktyg i sin Adobe Camera-svit, men Pixelmators verktyg verkar producera de mest konsekvent högkvalitativa bilderna.