Χειρουργική για GAN-Generated Faces

Νέα έρευνα από τη Νότια Κορέα υποσχέται να βελτιώσει την ποιότητα των συνθετικών δεδομένων προσώπου που δημιουργούνται από τις Αντιπαλές Γενετικές Δίκτυα (GAN).

Το σύστημα είναι ικανό να αναγνωρίζει τα τεχνικά προβλήματα που παράγονται από τις διαδικασίες GAN και να τα διορθώνει, ακόμη και να αντικαθιστά τα μαλλιά που ήταν κρυμένα από ένα καπέλλο, να αντικαθιστά μέρη του προσώπου που λείπουν完全 στο αρχικό και να αφαιρεί εμποδίσματα όπως τα χέρια και τα γυαλιά ηλίου, και επίσης λειτουργεί καλά σε σκηνικά και αρχιτεκτονικά αποτελέσματα.

Αριστερά για κάθε στήλη, η αρχική έξοδος GAN με ελαττώματα, ακολουθούμενη από δύο άλλες προσεγγίσεις στα ελαττώματα και τελικά από τη μέθοδο που χρησιμοποιούν οι ερευνητές της Νότιας Κορέας. Πηγή: https://arxiv.org/pdf/2104.06118.pdf

Οι περισσότερες πρόσφατες προσεγγίσεις για τη βελτίωση της ποιότητας των εικόνων GAN έχουν λάβει τη στάση ότι τα ελαττώματα είναι μια επαγγελματική απειλή της διαδικασίας, αντιμετωπίζοντας τη μεθοδολογία ως μια ‘φυσική δύναμη’ και τα πιο ψυχεδελικά ή παραμορφωμένα αποτελέσματα που μπορεί να παράγει ως αναπόφευκτο παραπροϊόν.

Αντίθετα, η έρευνα της Νότιας Κορέας προτείνει να ‘διορθώσει’ τις επηρεασμένες εικόνες με τρόπο που δεν επηρεάζει τη συνεχή γενετική αλυσίδα, αναγνωρίζοντας τις πτυχές που προκαλούν ελαττώματα και μειώνοντας ή εξαλείφοντας την επιρροή τους στο δίκτυο GAN σε ημι-εποπτικό επίπεδο που υπερβαίνει και επεκτείνει τις αυτο-διορθωτικές μηχανισμούς στη δομή GAN.

Για το έργο, ήταν αναγκαίο να δημιουργηθεί ένα ευρέως εφαρμόσιμο dataset εικόνων που ήταν κακώς επηρεασμένες από τα ελαττώματα GAN. Αρχικά, οι ερευνητές χρησιμοποίησαν τη μέτρηση Frechet Inception Distance (FID), μια μετρική που αξιολογεί την ποιότητα της έξοδου GAN συγκρίνοντας χαρακτηριστικά στις εικόνες, ως μονάδα ποιοτικής αξιολόγησης. Οι 10.000 εικόνες με τα υψηλότερα σκορ FID μεταξύ eines run 200.000 εικόνων χρησιμοποιήθηκαν ως διακριτά ‘μονάδες ελαττωμάτων’. Στη συνέχεια, οι ερευνητές χειροκίνητα ετικέτισαν 2.000 γενετικές εικόνες, ταξινομώντας κάθε μια ως ‘κανονική’ ή επηρεασμένη από ελαττώματα FID. Τότε δημιουργήθηκε ένα μοντέλο για να ταξινομήσει το dataset σε ελαττώματα, κανονικά και τυχαία δείγματα του πραγματικού κόσμου.

Μετά από αυτό, η Gradient-weighted Class Activation Mapping (Grad-CAM) χρησιμοποιήθηκε για να δημιουργήσει μάσκες για τις περιοχές που επηρεάζονται από ελαττώματα, αποτελεσματικά αυτοματοποιώντας την ετικέτα των ελαττωμάτων.

Στην εικόνα πάνω, οι μάσκες Grad-CAM έχουν εφαρμοστεί στην έξοδο από το LSUN-Church outdoor dataset, και το CelebA-HQ dataset.

Με την ανάλυση των 20 πιο επηρεασμένων αποτελεσμάτων από ένα run 20.000 εικόνων, δημιουργούνται μάσκες τμηματοποίησης, στις οποίες μπορούν να αντικατασταθούν αντιπροσωπευτικά αποτελέσματα από τις γενετικές διαδικασίες (τα οποία είναι πιθανό να είναι πιο ακριβή ή πειστικά από τα ελαττώματα) μειώνοντας την ενεργοποίηση των μονάδων που παράγουν ελαττώματα στις επόμενες γενετικές διαδικασίες.

Η αξιολόγηση των διορθώσεων από ανθρώπους οδήγησε στο 53% των ‘διορθωμένων’ εικόνων να ετικετώνεται ως ‘κανονικές’, ενώ το 97% των αρχικών εικόνων vẫn δείχνει σημαντικές βελτιώσεις στα αρχικά.

Οι ερευνητές υποστηρίζουν ότι αυτή η μέθοδος, με κάποιες μικρές αναπροσαρμογές, μπορεί επίσης να προσαρμοστεί στο StyleGAN2 της NVIDIA.

Τα Οφέλη των Συνθετικών Δεδομένων

Πρωτίστως σε σχέση με τα δεδομένα προσώπου, η γενική σπανιότητα των πραγματικών δεδομένων του κόσμου για την υπολογιστική όραση είναι ένα εμπόδιο για την ποικιλία της έρευνας σε σημαντικούς τομείς έρευνας, όπως η αναγνώριση προσώπου, η αναγνώριση συναισθήματος, η ιατρική έρευνα και οι μελέτες για την πιο λεπτομερή τμηματοποίηση της τοπολογίας του προσώπου, μεταξύ άλλων πεδίων.

Η τρέχουσα αντίδραση κατά της ελεύθερης χρήσης των δεδομένων του web και της αδόκητης συλλογής πραγματικών εικόνων προσώπου για ένταξη σε βάσεις δεδομένων προσώπου είναι ένα επιπλέον εμπόδιο για την έρευνα, με έναν αυξανόμενο αριθμό κρατών και εθνών που επιβάλλουν web-scraping και την απόσπαση εικόνων από τα μέσα κοινωνικής δικτύωσης για αυτά τα σκοπούς.

Τον τελευταίο δεκαετία, ένας περιορισμένος αριθμός καλά επιμελημένων βάσεων δεδομένων προσώπου έχουν προσφέρει καταφύγιο από αυτή την αβεβαιότητα, με διάφορους ετήσιους δημόσιους ερευνητικούς αγώνες που επικεντρώνονται γύρω από αυτά. Ωστόσο, αυτό έχει οδηγήσει σε ερευνητικά έργα που στρέφουν τις μεθόδους τους ειδικά προς αυτές τις βάσεις δεδομένων, με συνεπείς και συγκρίσιμες ετήσιες αποτελέσματα που λαμβάνονται με το υψηλό κόστος της έλλειψης ποικιλίας στο υλικό πηγής – μια κατάσταση που χειροτερεύει κάθε χρόνο που νέα έρευνα περιορίζει τον εαυτό της σε αυτά τα όρια.

Επιπλέον, κάποιες από αυτές τις ‘παραδοσιακές’ βάσεις δεδομένων έχουν έρθει υπό κριτική για την έλλειψη φυλετικής ποικιλότητας, που υποδηλώνει ότι αυτές οι σταθερές βάσεις δεδομένων μπορεί να μην θεωρηθούν κατάλληλες πηγές στο κοντινό μέλλον.

Αυτό σημαίνει την ανάγκη για υψηλής ποιότητας δεδομένα προσώπου που είναι ρεαλιστικά, αλλά όπου οι συνεισφορές ‘πραγματικού κόσμου’ εικόνων έχουν μεταμορφωθεί πολύ πέρα από την αναγνώριση. Ακόμη και αν η χρήση αυτών των δεδομένων ‘σε απόσταση’ μπορεί να προκαλέσει ζητήματα για την προέλευση των GAN-γενετικών προσώπων, είναι ένα εμπόδιο που δεν είναι πιθανό να εμφανιστεί μέχρι την έλευση των νομικών και τεχνικών μηχανισμών για τη συλλογή δεδομένων αυτού του είδους. και, όσον αφορά τις πιθανές αλλαγές στα νομικά πλαίσια γύρω από το ζήτημα, είναι ακόμη ένα μικρότερο κίνδυνο από τη χρήση εικόνων πραγματικών ανθρώπων.

Επιπλέον ανάγνωση:

Βελτίωση της Ρεαλιστικότητας των Συνθετικών Εικόνων
Αυτόματη Διόρθωση των Εσωτερικών Μονάδων στα Γενετικά Νευρωνικά Δίκτυα