Σημασιολογική επεξεργασία εικόνας υψηλής ακρίβειας με το EditGAN

Παραγωγικά Ανταγωνιστικά Δίκτυα ή GANs έχουν απολαύσει νέες εφαρμογές στη βιομηχανία επεξεργασίας εικόνας. Για τους τελευταίους μήνες, το EditGAN κερδίζει δημοτικότητα στη βιομηχανία AI/ML επειδή είναι μια καινοτόμος μέθοδος για υψηλής ακρίβειας και υψηλής ποιότητας σημασιολογική επεξεργασία εικόνας. 

Θα μιλήσουμε για το μοντέλο EditGAN σε λεπτομέρειες και θα σας πούμε γιατί μπορεί να αποδειχθεί ένα ορόσημο στη βιομηχανία σημασιολογικής επεξεργασίας εικόνας.

Έτσι, ας ξεκινήσουμε. Αλλά πριν να μάθουμε τι είναι το EditGAN, είναι σημαντικό για μας να κατανοήσουμε τη σημασία του EditGAN και γιατί είναι ένα σημαντικό βήμα προς τα εμπρός. 

Γιατί EditGAN;

Αν και οι παραδοσιακές αρχιτεκτονικές GAN έχουν βοηθήσει τη βιομηχανία επεξεργασίας εικόνας που βασίζεται σε AI να προχωρήσει σημαντικά, υπάρχουν κάποια μεγάλα προβλήματα με την κατασκευή μιας αρχιτεκτονικής GAN από την αρχή. 

1. Κατά τη διάρκεια της φάσης εκπαίδευσης, μια αρχιτεκτονική GAN απαιτεί μεγάλη ποσότητα δεδομένων με επισημάνσεις σημασιολογικής τμηματοποίησης. 
2. Είναι ικανές να παρέχουν μόνο υψηλό επίπεδο ελέγχου. 
3. Και συχνά, απλώς παρεμβάλλουν μεταξύ εικόνων προς τη μία ή την άλλη κατεύθυνση. 

Μπορεί να παρατηρηθεί ότι αν και οι παραδοσιακές αρχιτεκτονικές GAN κάνουν τη δουλειά, δεν είναι αποτελεσματικές για ανάπτυξη σε ευρεία κλίμακα. Η κατώτερη αποτελεσματικότητα των παραδοσιακών αρχιτεκτονικών GAN είναι ο λόγος για τον οποίο εισαχθηκε το EditGAN από την NVIDIA (NVDA ) το 2022. 

Το EditGAN προτείνεται να είναι μια αποτελεσματική μέθοδος για υψηλής ακρίβειας και υψηλής ποιότητας σημασιολογική επεξεργασία εικόνας με τη δυνατότητα να επιτρέπει στους χρήστες να επεξεργάζονται εικόνες τροποποιώντας τις υψηλά λεπτομερείς μάσκες τμηματοποίησης μιας εικόνας. Ένας από τους λόγους για τους οποίους το EditGAN είναι μια μέθοδος που μπορεί να κλιμακωθεί για εργασίες επεξεργασίας εικόνας είναι η αρχιτεκτονική του. 

Το μοντέλο EditGAN είναι κατασκευασμένο σε ένα πλαίσιο GAN που μοντελοποιεί εικόνες και τις σημασιολογικές τμηματοποιήσεις τους από κοινού, και απαιτεί μόνο λίγα δεδομένα εκπαίδευσης με ετικέτες ή επισημάνσεις. Οι προγραμματιστές του EditGAN έχουν προσπαθήσει να ενσωματώσουν μια εικόνα στον λανθάνοντα χώρο του GAN για να τροποποιήσουν αποτελεσματικά την εικόνα πραγματοποιώντας βελτιστοποίηση υπό συνθήκες του λανθάνοντος κώδικα σύμφωνα με την επεξεργασία τμηματοποίησης. Επιπλέον, για να επιμερίσει το κόστος της βελτιστοποίησης σε επόμενες επεξεργασίες, το μοντέλο προσπαθεί να βρει “διανύσματα επεξεργασίας” στον λανθάνοντα χώρο που πραγματοποιούν τις διορθώσεις. 

Η αρχιτεκτονική του πλαισίου EditGAN επιτρέπει στο μοντέλο να μάθει ένα αυθαίρετο αριθμό διανυσμάτων επεξεργασίας που μπορούν να εφαρμοστούν άμεσα σε άλλες εικόνες με υψηλή ταχύτητα και αποτελεσματικότητα. Επιπλέον, τα πειραματικά αποτελέσματα δείχνουν ότι το EditGAN μπορεί να επεξεργαστεί εικόνες με ένα πρωτοφανές επίπεδο λεπτομέρειας ενώ διατηρεί την ποιότητα της εικόνας στο μέγιστο. 

Για να συνοψίσουμε γιατί χρειαζόμαστε το EditGAN, είναι το πρώτο GAN-βασισμένο πλαίσιο επεξεργασίας εικόνας που προσφέρει

1. Πολύ υψηλής ακρίβειας επεξεργασία. 
2. Μπορεί να εργαστεί με λίγα επισημασμένα δεδομένα. 
3. Μπορεί να αναπτυχθεί αποτελεσματικά σε εφαρμογές πραγματικού χρόνου. 
4. Επιτρέπει την σύνθεση για πολλαπλές διορθώσεις ταυτόχρονα. 
5. Εργάζεται σε παραγόμενες από GAN, πραγματικές ενσωματωμένες και ακόμη εκτός πεδίου εικόνες. 

Σημασιολογική επεξεργασία εικόνας υψηλής ακρίβειας με EditGAN 

Το StyleGAN2, ένα σύγχρονο πλαίσιο GAN για σύνθεση εικόνας, είναι η κύρια συνιστώσα παραγωγής εικόνων του EditGAN. Αντιστοιχίζει λανθάνοντες κώδικες που δειγματοληπτούνται από πολυμεταβλητή κανονική κατανομή σε ρεαλιστικές εικόνες. 

Το StyleGAN2 είναι ένα βαθύ παραγωγικό μοντέλο που έχει εκπαιδευτεί να συνθέσει εικόνες της υψηλότερης ποιότητας δυνατής μαζί με την απόκτηση μιας σημασιολογικής κατανόησης των εικόνων που μοντελοποιούνται. 

Εκπαίδευση και Εξαγωγή Συμπερασμάτων για την Τμηματοποίηση

Το μοντέλο EditGAN ενσωματώνει μια εικόνα στον λανθάνοντα χώρο του GAN χρησιμοποιώντας βελτιστοποίηση, και έναν κωδικοποιητή για να πραγματοποιήσει τμηματοποίηση σε μια νέα εικόνα, και εκπαίδευση του κλάδου τμηματοποίησης. Το πλαίσιο EditGAN συνεχίζει να κατασκευάζεται σε προηγούμενες εργασίες, και εκπαιδεύει έναν κωδικοποιητή για να ενσωματώσει τις εικόνες στον λανθάνοντα χώρο. Ο πρωτεύων στόχος εδώ είναι να εκπαιδεύσει τον κωδικοποιητή που αποτελείται από τυπικές απώλειες ανακατασκευής L2 ανά εικονοστοιχείο και LPIPS χρησιμοποιώντας δείγματα από GAN, και πραγματικά δεδομένα εκπαίδευσης. Επιπλέον, το μοντέλο επίσης ρυθμίζει τον κωδικοποιητή ρητά χρησιμοποιώντας τους λανθάνοντες κώδικες όταν εργάζεται με τα δείγματα GAN. 

Αποτέλεσμα, το μοντέλο ενσωματώνει τις επισημασμένες εικόνες από το σύνολο δεδομένων που ετικετώνεται με σημασιολογική τμηματοποίηση στον λανθάνοντα χώρο, και χρησιμοποιεί απώλεια διασταυρούμενης εντροπίας για να εκπαιδεύσει τον κλάδο τμηματοποίησης του γεννήτορα. 

Χρήση Επεξεργασίας της Τμηματοποίησης για Εντοπισμό Σημασιολογίας στον Λανθάνοντα Χώρο

Ο πρωτεύων στόχος του EditGAN είναι να εκμεταλλευτεί την κοινή κατανομή σημασιολογικών τμηματοποιήσεων και εικόνων για υψηλής ακρίβειας επεξεργασία εικόνας. Ας πούμε ότι έχουμε μια εικόνα x που πρέπει να επεξεργαστεί, έτσι το μοντέλο ενσωματώνει την εικόνα στον λανθάνοντα χώρο του EditGAN ή χρησιμοποιεί τα δείγματα εικόνας από το ίδιο το μοντέλο. Ο κλάδος τμηματοποίησης τότε παράγει y ή την αντίστοιχη τμηματοποίηση κυρίως επειδή και οι RGB εικόνες & τμηματοποιήσεις μοιράζονται τους ίδιους λανθάνων κώδικες w. Οι προγραμματιστές μπορούν τότε να χρησιμοποιήσουν οποιοδήποτε εργαλείο ετικέτας ή ψηφιακής ζωγραφικής για να τροποποιήσουν την τμηματοποίηση & να την επεξεργαστούν χειροκίνητα σύμφωνα με τις απαιτήσεις τους. 

Διαφορετικοί Τρόποι Επεξεργασίας κατά την Εξαγωγή Συμπερασμάτων

Τα διανύσματα επεξεργασίας του λανθάνοντος χώρου που λαμβάνονται χρησιμοποιώντας βελτιστοποίηση μπορούν να περιγραφούν ως σημασιολογικά σημαντικά, και συχνά είναι διαχωρισμένα ως προς διαφορετικά χαρακτηριστικά. Έτσι, για να επεξεργαστεί μια νέα εικόνα, το μοντέλο μπορεί να ενσωματώσει την εικόνα στον λανθάνοντα χώρο, και να πραγματοποιήσει τις ίδιες επεξεργασίες που το μοντέλο έχει μάθει προηγουμένως, χωρίς να πραγματοποιήσει την βελτιστοποίηση από την αρχή. Θα ήταν ασφαλές να πούμε ότι τα διανύσματα επεξεργασίας που μαθαίνει το μοντέλο επιμερίζουν το κόστος της βελτιστοποίησης που ήταν απαραίτητη για να επεξεργαστεί την εικόνα αρχικά. 

Είναι αξιοσημείωτο ότι οι προγραμματιστές ακόμη δεν έχουν τελειοποιήσει την αποσύνδεση, και τα διανύσματα επεξεργασίας δεν επιστρέφουν πάντα τα καλύτερα αποτελέσματα όταν χρησιμοποιούνται σε άλλες εικόνες. Ωστόσο, το πρόβλημα μπορεί να ξεπεραστεί αφαιρώντας τα τεχνουργήματα της επεξεργασίας από άλλα μέρη της εικόνας πραγματοποιώντας λίγα επιπλέον βήματα βελτιστοποίησης κατά τη διάρκεια του χρόνου δοκιμής. 

Βασισμένοι στις τρέχουσες γνώσεις μας, το πλαίσιο EditGAN μπορεί να χρησιμοποιηθεί για να επεξεργαστεί εικόνες σε τρεις διαφορετικούς τρόπους. 

• Επεξεργασία σε Πραγματικό Χρόνο με Διανύσματα Επεξεργασίας

Για επεξεργασίες που είναι τοπικές και διαχωρισμένες από τα υπόλοιπα χαρακτηριστικά, το μοντέλο εφαρμόζει ήδη μαθημένα διανύσματα επεξεργασίας με διαφορετική ένταση και χειρίζεται τις εικόνες με διαδραστική ταχύτητα. 

• Χρήση Αυτοεπιβλεπόμενης Βελτίωσης για Διανύσματα-Βασισμένη Επεξεργασία

Για επεξεργασία τοπικών εικόνων που δεν είναι πλήρως διαχωρισμένες από άλλα μέρη της εικόνας, το μοντέλο αρχικοποιεί την επεξεργασία της εικόνας χρησιμοποιώντας διανύσματα επεξεργασίας που έχει μάθει προηγουμένως, και αφαιρεί τα τεχνουργήματα της επεξεργασίας πραγματοποιώντας λίγα επιπλέον βήματα βελτιστοποίησης κατά τη διάρκεια του χρόνου δοκιμής. 

• Βελτιστοποίηση-Βασισμένη Επεξεργασία

Για να πραγματοποιήσει μεγάλης κλίμακας & εικόνα-ειδικές διορθώσεις, το μοντέλο πραγματοποιεί βελτιστοποίηση από την αρχή επειδή τα διανύσματα επεξεργασίας δεν μπορούν να χρησιμοποιηθούν για να πραγματοποιήσουν αυτές τις μεταφορές σε άλλες εικόνες. 

Εφαρμογή

Το πλαίσιο EditGAN αξιολογείται σε εικόνες που διασκορπίζονται σε τέσσερις διαφορετικές κατηγορίες: Αυτοκίνητα, Πουλιά, Γάτες, και Πρόσωπα. Ο κλάδος τμηματοποίησης του μοντέλου εκπαιδεύεται χρησιμοποιώντας εικόνα-μάσκα ζευγάρια 16, 30, 30, 16 ως επισημασμένα δεδομένα εκπαίδευσης για Αυτοκίνητα, Πουλιά, Γάτες, και Πρόσωπα αντίστοιχα. Όταν η εικόνα πρέπει να επεξεργαστεί αποκλειστικά χρησιμοποιώντας βελτιστοποίηση, ή όταν το μοντέλο προσπαθεί να μάθει τα διανύσματα επεξεργασίας, το μοντέλο πραγματοποιεί 100 βήματα βελτιστοποίησης χρησιμοποιώντας τον βελτιστοποιητή Adam. 

Για το σύνολο δεδομένων Γάτας, Αυτοκινήτου, και Προσώπου, το μοντέλο χρησιμοποιεί πραγματικές εικόνες από το σύνολο δοκιμής του DatasetGAN που δεν χρησιμοποιήθηκαν για την εκπαίδευση του πλαισίου GAN για την πραγματοποίηση της λειτουργίας επεξεργασίας. Αυτές οι εικόνες ενσωματώνονται απευθείας στον λανθάνοντα χώρο του EditGAN χρησιμοποιώντας βελτιστοποίηση και κωδικοποίηση. Για την κατηγορία Πουλιά, η επεξεργασία δείχνεται σε παραγόμενες από GAN εικόνες. 

Αποτελέσματα

Ποιοτικά Αποτελέσματα

Εντός Πεδίου Αποτελέσματα

Η παραπάνω εικόνα δείχνει την απόδοση του πλαισίου EditGAN όταν εφαρμόζει τα ήδη μαθημένα διανύσματα επεξεργασίας σε νέες εικόνες, και βελτιώνει τις εικόνες χρησιμοποιώντας 30 βήματα βελτιστοποίησης. Αυτές οι λειτουργίες επεξεργασίας που πραγματοποιούνται από το πλαίσιο EditGAN είναι διαχωρισμένες ως προς τα χαρακτηριστικά για όλες τις κατηγορίες, και διατηρούν την συνολική ποιότητα των εικόνων. Συγκρίνοντας τα αποτελέσματα του EditGAN και άλλων πλαισίων, θα μπορούσε να παρατηρηθεί ότι το πλαίσιο EditGAN υπερέχει των άλλων μεθόδων στην πραγματοποίηση υψηλής ακρίβειας και σύνθετων διορθώσεων ενώ διατηρεί την ταυτότητα του θέματος, και την ποιότητα της εικόνας ταυτόχρονα. 

Τι είναι αξιοσημείωτο είναι ότι το πλαίσιο EditGAN μπορεί να πραγματοποιήσει εξαιρετικά υψηλής ακρίβειας διορθώσεις όπως η διαστολή των κορών των ματιών, ή η επεξεργασία των ακτίνων των τροχών σε ένα αυτοκίνητο. Επιπλέον, το EditGAN μπορεί επίσης να χρησιμοποιηθεί για να επεξεργαστεί τα σημασιολογικά τμήματα αντικειμένων που έχουν μόνο λίγα pixels, ή μπορεί να χρησιμοποιηθεί για να πραγματοποιήσει μεγάλης κλίμακας τροποποιήσεις σε μια εικόνα. Είναι αξιοσημείωτο ότι οι λειτουργίες επεξεργασίας του πλαισίου EditGAN είναι ικανές να γεννήσουν εικόνες που δεν εμφανίζονται στο σύνολο δεδομένων εκπαίδευσης του GAN. 

Εκτός Πεδίου Αποτελέσματα

Για να αξιολογήσει την απόδοση του EditGAN εκτός πεδίου, το πλαίσιο έχει δοκιμαστεί στο σύνολο δεδομένων MetFaces. Το μοντέλο EditGAN χρησιμοποιεί εντός πεδίου πραγματικές εικόνες προσώπου για να δημιουργήσει διανύσματα επεξεργασίας. Το μοντέλο τότε ενσωματώνει τις εικόνες MetFaces που είναι εκτός πεδίου χρησιμοποιώντας μια διαδικασία 100-βημάτων βελτιστοποίησης, και εφαρμόζει τα διανύσματα επεξεργασίας μέσω μιας διαδικασίας 30-βημάτων αυτοεπιβλεπόμενης βελτίωσης. Τα αποτελέσματα φαίνονται στην παρακάτω εικόνα. 

Ποσοτικά Αποτελέσματα

Για να μετρήσει την ικανότητα επεξεργασίας εικόνας του EditGAN ποσοτικά, το μοντέλο χρησιμοποιεί ένα πρότυπο διόρθωσης χαμόγελου που εισήχθη για πρώτη φορά από το MaskGAN. Πρόσωπα που περιέχουν ουδέτερη έκφραση αντικαθίστανται με χαμογελαστά πρόσωπα, και η απόδοση μετράται σε τρεις παραμέτρους. 

• Σημασιολογική Ορθότητα

Το μοντέλο χρησιμοποιεί έναν προ-εκπαιδευμένο ταξινομητή ιδιοτήτων χαμόγελου για να μετρήσει αν τα πρόσωπα στις εικόνες δείχνουν χαμογελαστές εκφράσεις μετά την επεξεργασία. 

• Ποιότητα Εικόνας σε Επίπεδο Κατανομής

Η απόσταση Kernel Inception ή KID και η απόσταση Frechet Inception ή FID υπολογίζονται μεταξύ του συνόλου δεδομένων δοκιμής CelebA & 400 επεξεργασμένων εικόνων δοκιμής. 

• Διατήρηση Ταυτότητας

Η ικανότητα του μοντέλου να διατηρεί την ταυτότητα των θεμάτων όταν επεξεργάζεται την εικόνα μετράται χρησιμοποιώντας ένα προ-εκπαιδευμένο δίκτυο εξαγωγής χαρακτηριστικών ArcFace. 

Ο παραπάνω πίνακας συγκρίνει την απόδοση του πλαισίου EditGAN με άλλες μεθόδους-βάση στο πρότυπο διόρθωσης χαμόγελου. Η μέθοδος που ακολουθεί το EditGAN για να παραδώσει τέτοια υψηλά αποτελέσματα είναι συγκριμένη σε τρεις διαφορετικές μεθόδους-βάση: 

• MaskGAN

Το MaskGAN λαμβάνει μη-χαμογελαστές εικόνες μαζί με τις σημασιολογικές επισημάνσεις τους, και μια στόχευση χαμογελαστή επισήμανση ως είσοδο. Είναι αξιοσημείωτο ότι σε σύγκριση με το EditGAN, το MaskGAN απαιτεί μεγάλη ποσότητα επισημασμένων δεδομένων. 

• Τοπική Επεξεργασία

Το EditGAN επίσης συγκρίνει την απόδοση του με την τοπική επεξεργασία, μια μέθοδο που χρησιμοποιείται για να ομαδοποιήσει χαρακτηριστικά GAN για να εφαρμόσει τοπική επεξεργασία, και είναι εξαρτημένη από εικόνες-αναφορά. 

• InterFaceGAN

Όπως και το EditGAN, το InterFaceGAN επίσης προσπαθεί να βρει διανύσματα επεξεργασίας στον λανθάνοντα χώρο του μοντέλου. Ωστόσο, σε αντίθεση με το EditGAN, το InterFaceGAN μοντέλο χρησιμοποιεί μεγάλη ποσότητα επισημασμένων δεδομένων, βοηθητικούς ταξινομητές χαρακτηριστικών, και δεν έχει την ίδια λεπτή ακρίβεια. 

• StyleGAN2Distillation

Αυτή η μέθοδος δημιουργεί μια εναλλακτική προσέγγιση που δεν απαιτεί πραγματικές εικόνες-ενσωματώσεις, και αντίθετα χρησιμοποιεί ένα μοντέλο διανυσμάτων-επεξεργασίας για να δημιουργήσει ένα σύνολο δεδομένων εκπαίδευσης. 

Περιορισμοί

Επειδή το EditGAN είναι βασισμένο στο πλαίσιο GAN, έχει τον ίδιο περιορισμό όπως και οποιοδήποτε άλλο μοντέλο GAN: μπορεί να εργαστεί μόνο με εικόνες που μπορούν να μοντελοποιηθούν από το GAN. Ο περιορισμός του EditGAN να εργαστεί με εικόνες που μοντελοποιούνται από το GAN είναι ο κύριος λόγος για τον οποίο είναι δύσκολο να εφαρμοστεί το EditGAN σε διαφορετικές συνθήκες. Ωστόσο, είναι αξιοσημείωτο ότι οι υψηλής ακρίβειας διορθώσεις του EditGAN μπορούν να μεταφερθούν εύκολα σε άλλες εικόνες χρησιμοποιώντας διανύσματα επεξεργασίας. 

Συμπέρασμα

Ένας από τους κύριους λόγους για τους οποίους το GAN δεν είναι ένα βιομηχανικό πρότυπο στη βιομηχανία επεξεργασίας εικόνας είναι λόγω της περιορισμένης πρακτικότητας. Τα πλαίσια GAN συνήθως απαιτούν μεγάλη ποσότητα επισημασμένων δεδομένων εκπαίδευσης, και δεν επιστρέφουν πάντα υψηλή αποτελεσματικότητα & ακρίβεια. 

Το EditGAN προσπαθεί να αντιμετωπίσει τα προβλήματα που παρουσιάζονται από τα παραδοσιακά πλαίσια GAN, και προσπαθεί να παρουσιαστεί ως μια αποτελεσματική μέθοδος για υψηλής ποιότητας και υψηλής ακρίβειας σημασιολογική επεξεργασία εικόνας. Τα αποτελέσματα μέχρι τώρα έχουν δείξει ότι το EditGAN πραγματικά προσφέρει αυτό που ισχυρίζεται, και ήδη εκτελεί καλύτερα από κάποιες τρέχουσες βιομηχανικές μεθόδους & μοντέλα.