Pixelmator Aduce Rezoluție Super cu Ajutorul Inteligenței Artificiale Utilizatorilor Săi

Pixelmator a activat recent pentru posesorii de Pixelmator Pro, o aplicație de manipulare a fotografiilor, utilizarea unui instrument de rezoluție superioară alimentat de inteligență artificială.

Rezoluția superioară permite îmbunătățirea fotografiilor blurry și de rezoluție scăzută și îmbunătățirea rezoluției imaginii. Tehnologia de rezoluție superioară poate ascuți imaginile cu efect impresionant, evocând adesea tropul “îmbunătățirii” care se vede adesea în emisiunile de crimă. Pixelmator a anunțat recent includerea instrumentului “ML Super Resolution” în versiunea Pro a software-ului de editare foto. Demonstrația Pixelmator a unor dintre rezultate poate fi văzută aici.

Testele inițiale ale instrumentului arată că acesta poate reduce blur-ul în multiple tipuri de imagini, inclusiv text, fotografii și ilustrații. Așa cum a raportat The Verge, rezultatele create de programul pare a fi mai bune decât alte instrumente de escalare a imaginilor, care adesea utilizează algoritmi precum Nearest Neighbors și Bilinear.

Cercetarea efectuată asupra rezoluției superioare a fost condusă de o varietate de companii tehnologice precum Google (GOOGL ), Microsoft (MSFT ) și Nvidia. Multiple companii au proiectat algoritmi de rezoluție superioară, dar metoda utilizată pentru a antrena dispozitivele de rezoluție superioară utilizează aceleași principii de bază.

ML Super Resolution și alte instrumente de rezoluție superioară sunt antrenate utilizând perechi de imagini de rezoluție scăzută și înaltă. Imaginile de rezoluție scăzută sunt de obicei doar versiuni redimensionate ale imaginilor regulate de înaltă rezoluție. Se fac comparații între imaginile de rezoluție scăzută și înaltă, și algoritmii de învățare a mașinii învață cum regiunile de pixeli din imaginile de înaltă rezoluție diferă de cele din imaginile de rezoluție scăzută. Scopul este ca rețelele neuronale să învețe să distingă modele de pixeli care vor duce la o imagine de înaltă rezoluție. Acesta poate apoi utiliza aceste modele de diferență pentru a prezice unde să adauge pixeli la o imagine pentru a îmbunătăți rezoluția atunci când este prezentată cu o imagine necunoscută.

Aplicațiile de rezoluție superioară pot fi create cu o varietate de metode. De exemplu, o metodă de rezoluție superioară este utilizarea Rețelelor Adversative Generative (GAN). GAN-urile sunt de fapt două rețele neuronale opuse unele altora, împrumutând concepte din Teoria Jocurilor precum jocul cu zero sumă și modelul actor-critic. Esențial, sarcina uneia dintre rețelele neuronale este de a crea imagini false, în timp ce sarcina celeilalte rețele este de a detecta aceste imagini false. Rețeaua care creează falsurile se numește generator, în timp ce rețeaua care le detectează se numește discriminator.

În cazul instrumentului de rezoluție superioară al Pixelmator, a fost creată o rețea neurală convoluțională care a implementat și un bloc “mărire” care mărește imaginea după ce cele 29 de straturi convoluționale scanează imaginea. Matricea imaginii mărite este apoi post-procesată și transformată înapoi într-o imagine tradițională cu rezoluție îmbunătățită. Rețeaua conține și funcții care reduc zgomotul din imagine și fac față artefactelor de compresie, astfel încât aceste aspecte ale imaginii să nu fie mărite. Algoritmii Pixelmator sunt mult mai mici decât algoritmii utilizați în mediile de cercetare, astfel încât să poată fi incluși în aplicația Pixelmator Pro și să ruleze pe o varietate de dispozitive. Setul de date de antrenare este relativ mic în comparație cu alte seturi de date utilizate pentru aplicații similare, doar 15000 de mostre fiind utilizate pentru a antrena algoritmii.

Conform The Verge, există și alte instrumente de rezoluție superioară disponibile pentru utilizatorii finali. De exemplu, Adobe (ADBE ) are și el propriul instrument de rezoluție superioară în suita sa de cameră Adobe, dar instrumentul Pixelmator pare a produce cele mai constante imagini de înaltă calitate.