Το Pixelmator Προσφέρει AI-Driven Super Resolution Στους Χρήστες του

Το Pixelmator έχει πρόσφατα ενεργοποιήσει τους ιδιοκτήτες του Pixelmator Pro, μιας εφαρμογής επεξεργασίας φωτογραφιών, να χρησιμοποιήσουν ένα εργαλείο super-resolution που βασίζεται σε AI.

Η super-resolution επιτρέπει τις θολούμενες, χαμηλής ανάλυσης φωτογραφίες να ενισχυθούν και η ανάλυση της εικόνας να βελτιωθεί. Η τεχνολογία super-resolution μπορεί να σκληρύνει τις εικόνες με εντυπωσιακό αποτέλεσμα, συχνά εvoκώντας το τρόπο “βελτίωσης” που συχνά εμφανίζεται σε εγκληματικές εκπομπές. Το Pixelmator πρόσφατα ανακοίνωσε την ένταξη του εργαλείου “ML Super Resolution” στην έκδοση Pro του λογισμικού επεξεργασίας φωτογραφιών. Η επίδειξη του Pixelmator μερικών από τα αποτελέσματα μπορεί να φανεί εδώ.

Πρώιμα τεστ του εργαλείου δείχνουν ότι μπορεί να μειώσει τη θολότητα σε διάφορους τύπους εικόνων, συμπεριλαμβανομένων κειμένων, φωτογραφιών και εικονογραφημάτων. Όπως αναφέρθηκε από το The Verge, τα αποτελέσματα που δημιουργούνται από το πρόγραμμα φαίνεται να είναι καλύτερα από άλλα εργαλεία αύξησης εικόνας, τα οποία συχνά χρησιμοποιούν αλγόριθμους όπως Nearest Neighbors και Bilinear αλγόριθμους.

Η έρευνα για την super-resolution έχει οδηγηθεί από διάφορες εταιρείες τεχνολογίας όπως η Google (GOOGL ), η Microsoft (MSFT ) και η Nvidia. Πολλές εταιρείες έχουν σχεδιάσει τους δικούς τους αλγόριθμους super-resolution, αλλά η μέθοδος που χρησιμοποιείται για την εκπαίδευση των διαφορετικών συσκευών super-resolution χρησιμοποιεί τις ίδιες βασικές αρχές.

Το ML Super Resolution και άλλα εργαλεία super-resolution εκπαιδεύονται χρησιμοποιώντας ζευγάρια χαμηλής ανάλυσης και υψηλής ανάλυσης εικόνων. Οι χαμηλής ανάλυσης εικόνες είναι συνήθως απλές μειωμένες εκδόσεις των κανονικών, υψηλής ανάλυσης εικόνων. Συγκρίσεις γίνονται μεταξύ των χαμηλής ανάλυσης και υψηλής ανάλυσης εικόνων, και οι αλγόριθμοι machine learning μαθαίνουν πώς οι περιοχές των pixel στις υψηλής ανάλυσης εικόνες διαφέρουν από τις χαμηλής ανάλυσης εικόνες. Ο στόχος είναι ότι τα νευρωνικά δίκτυα να μάθουν να διακρίνουν μοτίβα pixel που θα οδηγήσουν σε μια υψηλότερη ανάλυση εικόνας. Μπορούν τότε να χρησιμοποιήσουν αυτά τα μοτίβα διαφοράς για να προβλέψουν πού να προσθέσουν pixel σε μια εικόνα για να βελτιώσουν την ανάλυση όταν παρουσιάζεται με μια μη προβλεπόμενη εικόνα.

Οι εφαρμογές super-resolution μπορούν να δημιουργηθούν με διάφορες μεθόδους. Για παράδειγμα, μια μέθοδος super-resolution είναι η χρήση των Generative Adversarial Networks (GANs). Τα GANs είναι στην πραγματικότητα δύο νευρωνικά δίκτυα που αντιτάσσονται μεταξύ τους, δανειζόμενα έννοιες από τη Θεωρία Παιχνιδιών όπως το μηδενικό άθροισμα και το μοντέλο ηθοποιού-κριτή. Βασικά, η δουλειά ενός νευρωνικού δικτύου είναι να δημιουργήσει ψεύτικες εικόνες, ενώ η δουλειά του άλλου δικτύου είναι να ανιχνεύσει αυτές τις ψεύτικες εικόνες. Το δίκτυο που δημιουργεί τις ψεύτικες εικόνες ονομάζεται γεννήτορας, ενώ το δίκτυο που τις ανιχνεύει ονομάζεται κριτής.

Στην περίπτωση του εργαλείου Super-Resolution του Pixelmator, δημιουργήθηκε ένα συν볼ικό νευρωνικό δίκτυο που υλοποιούσε επίσης ένα “ενlarge” block που αυξάνει την εικόνα μετά τις 29 συνβολικές στρώσεις σκανάρουν την εικόνα. Το διευρυμένο πίνακα εικόνας μετατρέπει τότε την εικόνα πίσω σε μια παραδοσιακή εικόνα με βελτιωμένη ανάλυση. Το δίκτυο περιέχει επίσης συναρτήσεις που απομακρύνουν τη θόλωση και αντιμετωπίζουν τα συμπιεσμένα αρτεφάκτα, ώστε αυτά τα στοιχεία της εικόνας να μην αυξηθούν. Τα αλγόριθμοι του Pixelmator είναι πολύ μικρότεροι από τους αλγόριθμους που χρησιμοποιούνται σε ερευνητικές ρυθμίσεις, ώστε να μπορούν να ενταχθούν στην εφαρμογή Pixelmator Pro και να τρέχουν σε διάφορες συσκευές. Το σύνολο δεδομένων εκπαίδευσης είναι αρκετά μικρό σε σύγκριση με άλλα σύνολα δεδομένων που χρησιμοποιούνται για παρόμοιες εφαρμογές, μόνο 15000 δείγματα χρησιμοποιήθηκαν για την εκπαίδευση των αλγορίθμων.

Σύμφωνα με το The Verge, υπάρχουν άλλα εργαλεία super-resolution διαθέσιμα για χρήση από τους καταναλωτές. Για παράδειγμα, η Adobe (ADBE ) έχει επίσης το δικό της εργαλείο super-resolution στη σουίτα Adobe Camera, αλλά το εργαλείο του Pixelmator φαίνεται να παράγει τις πιο συνεπείς υψηλής ποιότητας εικόνες.