Pixelmator tuo tekoälyohjatun Super Resolution -ominaisuuden käyttäjilleen

Pixelmator on ottanut käyttöön omistajien käyttöön super-resolution-työkalun, joka on tekoälyvoimainen, Pixelmator Pro -valokuvamanipulaatio-ohjelmassa.

Super-resolution mahdollistaa epätarkkojen, matalan resoluution valokuvien parantamisen ja kuvan resoluution parantamisen. Super-resolution-teknologia pystyy terävöittämään kuvia vaikuttaviin vaikutuksiin, usein herättäen “parantamisen” -trooppia, jota usein nähdään rikosohjelmissa. Pixelmator on ilmoittanut “ML Super Resolution” -työkalun sisällyttämisestä Pro-versioon valokuvamuokkausohjelmastaan. Pixelmatorin esittämä joitain tuloksia voidaan nähdä täällä.

Varhaiset testit työkalusta osoittavat, että se pystyy vähentämään sumea useissa kuvatyypeissä, mukaan lukien teksti, valokuvat ja kuvitus. The Verge -sivuston mukaan ohjelman luomat tulokset näyttävät myös olevan parempia kuin muut kuvan skaalausvälineet, jotka usein käyttävät algoritmeja kuten Naapurit ja Bilineaarinen algoritmi.

Super-resolution-tutkimuksia on ajettu useiden teknologiayritysten toimesta, kuten Google (GOOGL ), Microsoft (MSFT ) ja Nvidia. Useat yritykset ovat suunnitelleet omat super-resolution-algoritminsaa, mutta super-resolution-laitteiden koulutusmenetelmä perustuu samoille periaatteille.

ML Super Resolution ja muut super-resolution-työkalut on koulutettu parien matalan resoluution ja korkean resoluution kuvien avulla. Matalan resoluution kuvat ovat tyypillisesti vain mitatun korkean resoluution kuvan versioita. Vertailuja tehdään matalan resoluution ja korkean resoluution kuvien välillä, ja koneoppimisalgoritmit oppivat, miten korkean resoluution kuvien pikseleiden alueet eroavat matalan resoluution kuvista. Tavoitteena on, että neurverkot oppivat tunnistamaan pikseleiden kuvioita, jotka johtavat korkeampaan resoluutioon. Se voi sitten käyttää näitä kuvioita ennustamaan, mihin kohtiin kuvaa lisätään pikseleitä resoluution parantamiseksi, kun se esitetään näkemättömälle kuvalle.

Super-resolution-sovellukset voidaan luoda useilla menetelmillä. Esimerkiksi yksi super-resolution-menetelmä on Generative Adversarial Networks (GAN) -menetelmä. GAN on itse asiassa kaksi neurverkkoa, jotka kilpailevat toisiaan vastaan, lainaten käsitteitä Peliteoriasta, kuten nollasummapeli ja näyttelijä-kriittinen malli. Periaatteessa, toisen neurverkon tehtävä on luoda väärennöksiä, kun toisen verkon tehtävä on havaita nämä väärennökset. Verkko, joka luo väärennökset, on generoiva verkko, kun taas verkko, joka havaitsee ne, on diskriminointiverkko.

Pixelmatorin Super-Resolution-työkalun tapauksessa luotiin konvoluutio-neurverkko, joka toteutti myös “suurenna”-lohkon, joka skaalasi kuvan ylös 29 konvoluutiokerrosten jälkeen. Suurennettu kuvamatriisi muunnettiin sitten takaisin perinteiseksi kuvaksi parannetulla resoluutiolla. Verkossa on myös toimintoja, jotka poistavat kuvasta kohinaa ja tarkistelevat pakkausvirheitä, jotta nämä kuvan osat eivät skaalautuisi. Pixelmatorin algoritmit ovat paljon pienempiä kuin tutkimusympäristössä käytettävät algoritmit, jotta ne voidaan sisällyttää Pixelmator Pro -sovellukseen ja suorittaa useilla laitteilla. Koulutusaineisto on melko pieni verrattuna muihin sovelluksiin käytettyihin aineistoihin, vain 15000 otosta käytettiin algoritmien kouluttamiseen.

The Verge -sivuston mukaan on olemassa muita super-resolution-työkaluja, jotka ovat käytettävissä kuluttajille. Esimerkiksi Adobella on myös oma super-resolution-työkalu Adobe (ADBE ) Camera -sovelluksessaan, mutta Pixelmatorin työkalu näyttää tuottavan johdonmukaisesti korkealaatuisimpia kuvia.