Πλαστική Χειρουργική για Πρόσωπα που δημιουργούνται από GAN

Νέα έρευνα από τη Νότια Κορέα υπόσχεται να βελτιώσει την ποιότητα των συνθετικών δεδομένων προσώπων που δημιουργούνται από τα Generative Adversarial Networks (GAN).

Το σύστημα είναι σε θέση να αναγνωρίζει τεχνουργήματα εικόνας που παράγονται από διεργασίες GAN και να τα επανορθώνει, ακόμη και στο σημείο να αντικαθιστά τα μαλλιά που κρύβονται από ένα καπάκι, να αντικαθιστά μέρη του προσώπου που λείπουν εντελώς στο πρωτότυπο και να αφαιρεί εμφράξεις όπως χέρια και γυαλιά ηλίου. , και επίσης λειτουργεί καλά σε γραφικά και αρχιτεκτονικά αποτελέσματα.

Έμεινε για κάθε στήλη, η αρχική έξοδος GAN με ελαττώματα, ακολουθούμενη από δύο άλλες προσεγγίσεις στα τεχνουργήματα και τέλος με τη μέθοδο που χρησιμοποιούσαν οι Νοτιοκορεάτες ερευνητές. Πηγή: https://arxiv.org/pdf/2104.06118.pdf

Οι πιο πρόσφατες προσεγγίσεις για τη βελτίωση της ποιότητας των εικόνων που δημιουργούνται από το GAN έχουν υιοθετήσει τη θέση ότι τα τεχνουργήματα αποτελούν επαγγελματικό κίνδυνο της διαδικασίας, αντιμετωπίζοντας τη μεθοδολογία ως «δύναμη της φύσης» και τα πιο ψυχεδελικά ή παράλογα αποτελέσματα που μπορεί να παράγει ως αναπόφευκτο υποπροϊόν.

Αντίθετα, η έρευνα της Νότιας Κορέας προτείνει στην πραγματικότητα την «διόρθωση» των επηρεαζόμενων εικόνων με τρόπο που να μην παρεμβαίνει στη συνεχιζόμενη γενετική αλυσίδα, εντοπίζοντας πτυχές που προκαλούν τεχνουργήματα και μειώνοντας ή εξαλείφοντας την επιρροή τους στο δίκτυο GAN σε ημι-εποπτευόμενο επίπεδο που υπερβαίνει και επεκτείνει τους εγγενείς μηχανισμούς αυτοδιόρθωσης στην αρχιτεκτονική GAN.

Για το έργο, ήταν απαραίτητο να δημιουργηθεί ένα ευρέως εφαρμόσιμο σύνολο δεδομένων εικόνων με σήμανση χειρός που επηρεάστηκαν άσχημα από τα τεχνουργήματα GAN. Αρχικά, οι ερευνητές χρησιμοποίησαν το Frechet Inception Distance (ΜΟΥΡΕΛΛΟ) Του μετρικός που αξιολογεί την ποιότητα της εξόδου GAN συγκρίνοντας χαρακτηριστικά στις εικόνες, ως ειδική μονάδα. Οι 10,000 εικόνες με τις υψηλότερες βαθμολογίες FID μεταξύ μιας σειράς 200,000 εικόνων χρησιμοποιήθηκαν ως διακριτές «μονάδες τεχνουργημάτων». Στη συνέχεια, οι ερευνητές επισήμαναν με το χέρι 2,000 δημιουργημένες εικόνες, ταξινομώντας την καθεμία ως «κανονική» ή επηρεασμένη από τεχνουργήματα FID. Στη συνέχεια δημιουργήθηκε ένα μοντέλο για να ταξινομήσει το σύνολο δεδομένων σε τεχνουργήματα, κανονικά και τυχαία δείγματα πραγματικού κόσμου.

Μετά από αυτό, αντιστοίχιση ενεργοποίησης κλάσης με στάθμιση κλίσης (Grad-CAM) χρησιμοποιήθηκε για τη δημιουργία μασκών για περιοχές που επηρεάζονται από τεχνουργήματα, αυτοματοποιώντας αποτελεσματικά την επισήμανση των ελαττωμάτων.

Στην παραπάνω εικόνα, οι μάσκες Grad-CAM έχουν εφαρμοστεί στην έξοδο από το LSUN-Εκκλησία υπαίθρια σύνολο δεδομένων, και το Δεδομένα CelebA-HQ.

Με την ανάλυση των κορυφαίων 20 αποτελεσμάτων που έχουν πληγεί περισσότερο από μια σειρά 20,000 εικόνων, δημιουργούνται μάσκες τμηματοποίησης, στην οποία αντιπροσωπευτικά αποτελέσματα ανά γενεές (τα οποία είναι πιθανό να είναι πιο ακριβή ή πειστικά από τα τεχνουργήματα) μπορούν να αντικατασταθούν με μείωση της ενεργοποίησης τις μονάδες παραγωγής αντικειμένων στις επόμενες γενιές.

Η αξιολόγηση των διορθώσεων από τον άνθρωπο είχε ως αποτέλεσμα το 53% των «επισκευασμένων» εικόνων να χαρακτηρίζονται ως «κανονικές», ενώ το 97% των αρχικών εικόνων εξακολουθούν να παρουσιάζουν σημαντικές βελτιώσεις στα πρωτότυπα.

Οι ερευνητές υποστηρίζουν ότι αυτή η μέθοδος, με κάποια μικρή αλλαγή εργαλείων, μπορεί επίσης να προσαρμοστεί στη NVIDIA ΣτυλGAN2.

Τα οφέλη των συνθετικών δεδομένων

Κυρίως όσον αφορά τα δεδομένα προσώπων, η γενική έλλειψη συνόλων δεδομένων πραγματικού κόσμου για την όραση υπολογιστή αποτελεί εμπόδιο για ποικίλες έρευνες σε σημαντικούς ερευνητικούς τομείς, όπως η αναγνώριση προσώπου, η αναγνώριση συναισθημάτων, η ιατρική έρευνα και οι μελέτες σε πιο λεπτομερή κατάτμηση της τοπολογίας του πρόσωπο, μεταξύ διαφόρων άλλων τομέων.

Η τρέχουσα αντίδραση προς την ελεύθερη χρήση δεδομένων που αντιμετωπίζουν το web και το ad hoc συλλογή οι εικόνες προσώπων πραγματικού κόσμου για συμπερίληψη σε βάσεις δεδομένων προσώπων είναι ένα επιπλέον εμπόδιο στην έρευνα, με έναν αυξανόμενο αριθμό κρατών και εθνών πάταξη on απόξεση ιστού, και την οικειοποίηση εικόνων μέσων κοινωνικής δικτύωσης για αυτούς τους σκοπούς.

Τα τελευταία δέκα χρόνια, ένας περιορισμένος αριθμός άκρως επιμελημένων σύνολα δεδομένων προσώπου έχουν προσφέρει καταφύγιο από αυτό το είδος αβεβαιότητας, με διάφορες ετήσιες προκλήσεις δημόσιας έρευνας να επικεντρώνονται γύρω τους. Ωστόσο, αυτό οδήγησε αναμφισβήτητα τα ερευνητικά έργα να στρέβλωναν τις μεθοδολογίες τους ειδικά προς αυτά τα σύνολα δεδομένων, με συνεπή και συγκρίσιμα αποτελέσματα από έτος σε έτος που λαμβάνονται με το υψηλό κόστος της έλλειψης ποικιλομορφίας στο αρχικό υλικό – μια κατάσταση που χειροτερεύει κάθε χρόνο που νέα έρευνα περιορίζεται σε αυτά τα όρια.

Επιπλέον, μερικά από αυτά τα «παραδοσιακά» σύνολα δεδομένων έχουν έρθει υπό κριτική λόγω έλλειψης φυλετικής ποικιλομορφίας, γεγονός που υποδηλώνει ότι αυτοί οι ισχυροί συγκριτικοί παράγοντες μπορεί να μην θεωρηθούν κατάλληλοι πόροι στο εγγύς μέλλον.

Αυτό υποδηλώνει την ανάγκη για δεδομένα προσώπου υψηλής ποιότητας που είναι ρεαλιστικά, αλλά όπου οι συνεισφέρουσες εικόνες του «πραγματικού κόσμου» έχουν μετατραπεί πολύ πέρα ​​από την αναγνώριση. Ακόμα κι αν αυτή η χρήση δεδομένων πραγματικών προσώπων «με μία αφαίρεση» μπορεί τελικά να προκαλέσει προβλήματα σχετικά με το προέλευση των προσώπων που δημιουργούνται από το GAN, είναι ένα εμπόδιο που δεν είναι πιθανό να εμφανιστεί έως ότου καθιερωθούν οι νομικοί και τεχνικοί μηχανισμοί για τη συλλογή δεδομένων αυτού του είδους. και, όσον αφορά πιθανές αλλαγές στα νομικά πλαίσια γύρω από το θέμα, εξακολουθεί να αποτελεί μικρότερο κίνδυνο από τη χρήση εικόνων πραγματικών ανθρώπων.

Περαιτέρω ανάγνωση:

Βελτίωση του ρεαλισμού των συνθετικών εικόνων
Αυτόματη Διόρθωση Εσωτερικών Μονάδων σε Γενετικά Νευρωνικά Δίκτυα