Pixelmator Bringer AI-Drevet Super Opløsning Til Dets Brugere

Pixelmator har nylig aktiveret ejere af Pixelmator Pro, en foto-manipulationsapp, til at bruge en superopløsningsværktøj drevet af AI.

Superopløsning gør det muligt at forbedre uskarpe, lavopløsningsfotos og forbedre billedets opløsning. Superopløsnings-teknologi kan skærpe billeder til imponerende effekt, ofte ved at fremkalde “forbedrings”-trope, der ofte ses i krimi-serier. Pixelmator har nylig annonceret inklusionen af sin “ML Super Resolution”-værktøj i Pro-versionen af sin foto-redigeringssoftware. Pixelmators demonstration af nogle af resultaterne kan ses her.

Tidlige tests af værktøjet viser, at det kan reducere uskarphed i multiple typer af billeder, herunder tekst, fotografier og illustrationer. Som rapporteret af The Verge, synes resultaterne, der er skabt af programmet, også at være bedre end andre billedforstørrelseværktøjer, der ofte anvender algoritmer som Nearest Neighbors og Bilinear-algoritmer.

Forskning i superopløsning er blevet drevet af en række teknologivirksomheder som Google (GOOGL ), Microsoft (MSFT ) og Nvidia. Flere virksomheder har designet deres egne superopløsningsalgoritmer, men metoden, der anvendes til at træne forskellige superopløsningsenheder, anvender de samme grundlæggende principper.

ML Super Resolution og andre superopløsningsværktøjer er trænet ved hjælp af par af lavopløsnings- og højopløsningsbilleder. De lavopløsningsbilleder er typisk blot skalerede versioner af de normale højopløsningsbilleder. Sammenligninger foretages mellem lavopløsnings- og højopløsningsbillederne, og maskinlæringsalgoritmerne lærer, hvordan områderne af pixels i højopløsningsbillederne adskiller sig fra lavopløsningsbillederne. Målet er, at neurale netværk lærer at skelne mønstre af pixels, der vil føre til et højopløsningsbillede. Det kan derefter bruge disse mønstre af forskel til at forudsige, hvor man skal tilføje pixels til et billede for at forbedre opløsningen, når det præsenteres med et uset billede.

Superopløsningsapplikationer kan skabes med en række metoder. For eksempel er en metode til superopløsning brugen af Generative Adversarial Networks (GANs). GANs er faktisk to neurale netværk, der er sat op mod hinanden, og låner koncepter fra spilteori som zero-sum-spil og actor-critic-modellen. Essentielt set er det ene neurale netværks opgave at skabe falske billeder, mens det andet netværks opgave er at detektere disse falske billeder. Det neurale netværk, der skaber falske billeder, kaldes generatoren, mens det neurale netværk, der detekterer dem, kaldes diskriminatoren.

I tilfældet med Pixelmators Super-Resolution-værktøj blev et convolutionelt neuralt netværk skabt, der også implementerede en “forstør”-blok, der forstører billedet efter de 29 convolutionelle lag har scanet billedet. Det forstørrede billede-array bliver derefter post-processeret og transformeret tilbage til et traditionelt billede med forbedret opløsning. Netværket indeholder også funktioner, der fjerner støj fra billedet og håndterer kompressionsarter, så disse aspekter af billedet ikke forstøres. Pixelmators algoritmer er meget mindre end de algoritmer, der anvendes i forskningsmiljøer, så de kan være inkluderet i Pixelmator Pro-appen og køre på en række enheder. Træningsdatasettet er ret små i forhold til andre dataset, der anvendes til lignende formål, kun 15000 eksempler blev brugt til at træne algoritmene.

Ifølge The Verge er der andre superopløsningsværktøjer til rådighed for forbrugere. For eksempel har Adobe (ADBE ) også sit eget superopløsningsværktøj i sin Adobe Camera-suite, men Pixelmators værktøj synes at producere de mest konsekvent højkvalitetsbilleder.