Pixelmator bringer AI-drevet superoppløsning til sine brukere

Pixelmator har nylig aktivert eierne av Pixelmator Pro, en foto-manipulasjonsapp, til å bruke en superoppløsningsverktøy drevet av AI.

Superoppløsning gjør det mulig å forbedre uskarpe, lavoppløste bilder og forbedre bildets oppløsning. Superoppløsnings-teknologien kan skarpe bilder med imponerende effekt, ofte ved å bruke “forbedrings”-tropen som ofte sees i krimserier. Pixelmator annonserte nylig inklusjonen av sin “ML Super Resolution”-verktøy i Pro-versjonen av sitt foto-redigeringsprogram. Pixelmators demonstrasjon av noen av resultater kan sees her.

Tidlige tester av verktøyet viser at det kan redusere uskarphet i flere typer bilder, inkludert tekst, fotografier og illustrasjoner. Ifølge The Verge ser resultater skapt av programmet også ut til å være bedre enn andre bilde-forstørrelse-verktøy, som ofte bruker algoritmer som Nearest Neighbors og Bilinear-algoritmer.

Forskning på superoppløsning har blitt drevet av en rekke teknologiselskaper som Google (GOOGL ), Microsoft (MSFT ) og Nvidia. Flere selskaper har designet sine egne superoppløsningsalgoritmer, men metoden som brukes til å trene forskjellige superoppløsningsenheter bruker de samme grunnleggende prinsippene.

ML Super Resolution og andre superoppløsningsverktøy er trenet med par av lavoppløste og høyoppløste bilder. De lavoppløste bildene er vanligvis bare skalert ned-versjoner av vanlige høyoppløste bilder. Sammenligninger gjøres mellom lavoppløste og høyoppløste bilder, og maskinlæringsalgoritmene lærer hvordan områdene av piksler i høyoppløste bilder er forskjellige fra lavoppløste bilder. Målet er at neurale nettverk lærer å skille mønster av piksler som vil føre til et høyoppløst bilde. Det kan deretter bruke disse mønstrene av forskjell til å forutsi hvor å legge til piksler i et bilde for å forbedre oppløsningen når det presenteres med et usett bilde.

Superoppløsningsapplikasjoner kan skapes med en rekke metoder. For eksempel er en metode for superoppløsning å bruke Generative Adversarial Networks (GANs). GANs er faktisk to neurale nettverk som er satt opp mot hverandre, og låner konsepter fra spillteori som nullsumspill og actor-critic-modellen. I praksis er det ene neurale nettverkets jobb å skape falske bilder, mens den andre nettverkets jobb er å oppdage disse falske bildene. Nettverket som skaper falske bilder kalles generatoren, mens nettverket som oppdager dem kalles diskriminatoren.

I tilfelle Pixelmators Super-Resolution-verktøy ble et konvolusjonsneuralt nettverk skapt som også implementerte en “forstør”-blokk som oppskalerer bildet etter at 29 konvolusjonslag har skannet bildet. Det forstørte bilde-arrayet blir deretter post-prosessert og transformert tilbake til et tradisjonelt bilde med forbedret oppløsning. Nettverket inneholder også funksjoner som fjerner støy fra bildet og håndterer kompresjonsartefakter, så at disse aspektene av bildet ikke blir oppskalert. Pixelmators algoritmer er mye mindre enn algoritmene som brukes i forskningssammenheng, for at de kan inkluderes i Pixelmator Pro-appen og kjøres på en rekke enheter. Treningssammenlaget er ganske lite sammenlignet med andre datasett som brukes til lignende applikasjoner, bare 15000 eksempler ble brukt til å trene algoritmene.

Ifølge The Verge er det andre superoppløsningsverktøy tilgjengelige for bruk av forbrukere. For eksempel har Adobe (ADBE ) også sitt eget superoppløsningsverktøy i sitt Adobe Camera-suit, men Pixelmators verktøy ser ut til å produsere de mest konsekvent høykvalitetsbildene.