Η γωνία του Anderson
Ένα σύστημα AI που μπορεί να κάνει πιο όμορφες τις εικόνες ανθρώπων

Βασικά σημείαΤο νέο σύστημα τεχνητής νοημοσύνης χρησιμοποιεί ενισχυτική μάθηση για να ομορφαίνει…
Δείτε περισσότερα
- Το νέο σύστημα τεχνητής νοημοσύνης χρησιμοποιεί ενισχυτική μάθηση για να ομορφαίνει πρόσωπα χωρίς να αλλάζει την ταυτότητα.
- Ο φωτισμός και η στάση των ματιών έχουν μεγαλύτερη σημασία από τη γενετική για την αύξηση των αλγοριθμικών βαθμολογιών ομορφιάς.
- Το σύστημα βασίζεται μόνο σε 60 κρίσεις ομορφιάς από επισημειωτές του συνόλου δεδομένων SCUT-FBP5500.
Ερευνητές από την Κίνα έχουν αναπτύξει ένα νέο σύστημα βελτίωσης εικόνων βασισμένο σε τεχνητή νοημοσύνη που είναι ικανό να κάνει εικόνες ενός ατόμου πιο “όμορφες”, με βάση μια νέα προσέγγιση για ενισχυτική μάθηση.

Η νέα προσέγγιση χρησιμοποιεί ένα ‘δίκτυο πρόβλεψης ομορφιάς προσώπου’ για να επαναλάβει πολλές παραλλαγές μιας εικόνας με βάση πολλούς παράγοντες, μεταξύ των οποίων ο ‘φωτισμός’ και η στάση των ματιών μπορεί να είναι κρίσιμα στοιχεία. Οι αρχικές εικόνες, αριστερά σε κάθε στήλη, προέρχονται από το EigenGAN, ενώ τα νέα αποτελέσματα βρίσκονται δεξιά. Πηγή: https://arxiv.org/pdf/2208.04517.pdf
Η τεχνική βασίζεται σε καινοτομίες που ανακαλύφθηκαν για τον γεννήτορα EigenGAN, ένα άλλο κινέζικο πρότζεκτ, από το 2021, που έκανε σημαντικά βήματα στην αναγνώριση και τον έλεγχο των ποικίλων σημασιολογικών ιδιοτήτων στον λανθάνοντα χώρο των Generative Adversarial Networks (GANs).

Ο γεννήτωρας EigenGAN του 2021 ήταν σε θέση να αναγνωρίσει υψηλού επιπέδου έννοιες όπως το ‘χρώμα μαλλιών’ στον λανθάνοντα χώρο ενός γεννήτορα ανταγωνιστικών δικτύων. Η νέα εργασία αξιοποιεί αυτό το εργαλείο για να ομορφαίνει τις αρχικές εικόνες χωρίς αλλαγή της αναγνωρίσιμης ταυτότητας, πρόβλημα προηγούμενων προσεγγίσεων. Πηγή: https://arxiv.org/pdf/2104.12476.pdf
Το σύστημα χρησιμοποιεί ένα ‘δίκτυο αισθητικής βαθμολογίας’ που προέρχεται από το SCUT-FBP5500 (SCUT), ένα σύνολο δεδομένων αναφοράς του 2018 για την πρόβλεψη ομορφιάς προσώπου, από το Πανεπιστήμιο Τεχνολογίας της Νότιας Κίνας στο Γκουανγκτζόου.

Από την εργασία του 2018 ‘SCUT-FBP5500: Ένα ποικιλόμορφο σύνολο δεδομένων αναφοράς για πολυπαραδειγματική πρόβλεψη ομορφιάς προσώπου’, η οποία πρόσφερε ένα ‘δίκτυο πρόβλεψης ομορφιάς προσώπου’ (FBP) που ήταν ικανό να βαθμολογεί τα πρόσωπα με βάση την αντιλαμβανόμενη ελκυστικότητα, χωρίς όμως να μπορεί να μετασχηματίσει ή να βελτιώσει πραγματικά τα πρόσωπα. Πηγή: https://arxiv.org/pdf/1801.06345.pdf
Αντιθέτως με τη νέα εργασία, το πρότζεκτ του 2018 δεν μπορεί να εκτελέσει μετασχηματισμούς, αλλά περιέχει αλγοριθμικές κρίσεις για 5.500 πρόσωπα, που παρέχονται από 60 επισημαντές, οι μισοί γυναίκες και οι μισοί άνδρες. Αυτά έχουν ενσωματωθεί στο νέο σύστημα ως ένας αποτελεσματικός διακρίτης, για να ενημερώσουν μετασχηματισμούς που είναι πιθανό να βελτιώσουν την ‘ελκυστικότητα’ μιας εικόνας.
Ενδιαφέρον είναι ότι η νέα εργασία έχει τον τίτλο Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning. Ο λόγος που όλες οι φυλετικές ομάδες εκτός από την καυκάσια εξαιρούνται από το σύστημα (σκέψου επίσης ότι οι ερευνητές είναι Κινέζοι) είναι ότι τα δεδομένα πηγής για το SCUT παρουσιάζουν μια σημαντική κλίση προς τις ασιατικές πηγές (4.000 ισομερώς διαιρεμένα ασιατικά θηλυκά/αρσενικά, 1.500 ισομερώς διαιρεμένα Καυκασιανά θηλυκά/αρσενικά), καθιστώντας τον ‘μέσο άνθρωπο’ σε αυτό το σύνολο δεδομένων καστανόμαλλο και καστανόματι.
Για να καλυφθούν χρωματικές διαφοροποιήσεις τουλάχιστον μέσα σε μία φυλετική ομάδα, ήταν αναγκαίο να αποκλειστεί το ασιατικό τμήμα των αρχικών δεδομένων. Διαφορετικά θα απαιτούνταν σημαντικό κόστος για την ανασύνθεση των δεδομένων, με σκοπό την ανάπτυξη μιας μεθόδου που ίσως δεν απέδιδε. Επιπλέον, οι πολιτισμικές διαφορές στην αντίληψη της ομορφιάς σημαίνουν αναπόφευκτα ότι τέτοια συστήματα θα χρειάζονται κάποιο βαθμό γεωγραφικής προσαρμογής ως προς το τι θεωρείται ελκυστικό.
Σημαντικές Ιδιότητες
Για να καθορίσουν τους πρωταρχικούς συντελεστές που συμβάλλουν σε μια ‘ελκυστική’ φωτογραφία ενός ατόμου, οι ερευνητές έλεγξαν επίσης της επίδρασης διαφόρων αλλαγών στις εικόνες, σε σχέση με το πόσο αυτές οι αλλαγές αυξάνουν την αλγοριθμική αντίληψη της ‘ομορφιάς’. Βρήκαν ότι τουλάχιστον ένα από τα στοιχεία είναι πιο κεντρικό για την καλή φωτογραφία παρά για την καλή γενετική:

Εκτός από το φωτισμό, τα στοιχεία που είχαν τη μεγαλύτερη επίδραση στο βαθμό ομορφιάς ήταν οι αφέλειες (τα οποία, σε περίπτωση ανδρών, μπορεί συχνά να είναι ισοδύναμα με το να έχουν πλήρη κεφαλή μαλλιών), η στάση του σώματος και η κατεύθυνση του βλέμματος (όπου η οπτική επαφή με την κάμερα είναι ένα πλεονέκτημα για την ελκυστικότητα).
(Σχετικά με το ‘χρώμα του κραγιόν’, το νέο σύστημα, το οποίο μπορεί να λειτουργήσει αποτελεσματικά και για αρσενικά και θηλυκά παρουσιάσεις φύλου, δεν διακρίνει την εμφάνιση του φύλου, αλλά βασίζεται στο νέο σύστημα διακρίτη ως ένα ‘φίλτρο’ σε αυτό το σημείο)
Μέθοδος
Η συνάρτηση ανταμοιβής στο μηχανισμό ενισχυτικής μάθησης στο νέο σύστημα τροφοδοτείται από μια απλή παλινδρόμηση πάνω από τα δεδομένα SCUT, η οποία παράγει προβλέψεις ομορφιάς προσώπου.
Το σύστημα εκπαίδευσης επαναλαμβάνει τις εικόνες εισόδου (κάτω αριστερά στο σχήμα παρακάτω). Αρχικά, ένα προ-εκπαιδευμένο μοντέλο ResNet18 (εκπαιδευμένο στο ImageNet) εξάγει χαρακτηριστικά από τις πέντε πανομοιότυπες (‘y’) εικόνες. Στη συνέχεια, μια πιθανή μετασχηματιστική ενέργεια προέρχεται από την κρυφή κατάσταση ενός πλήρως συνδεδεμένου επιπέδου (GRUCell, στην εικόνα παρακάτω), και οι μετασχηματισμοί εφαρμόζονται, οδηγώντας σε πέντε τροποποιημένες εικόνες που τροφοδοτούνται στο δίκτυο αισθητικής βαθμολογίας, των οποίων οι βαθμολογίες, με τον τρόπο του Δαρβίνου, θα καθορίσουν ποιες παραλλαγές θα αναπτυχθούν και ποιες θα απορριφθούν.
Το δίκτυο αισθητικής βαθμολογίας χρησιμοποιεί μια μονάδα Efficient Channel Attention (ECA), ενώ μια προσαρμογή ενός προεκπαιδευμένου μοντέλου του EfficientNet-B4 έχει ανατεθεί να εξάγει 1.792 χαρακτηριστικά από κάθε εικόνα.
Μετά την κανονικοποίηση μέσω μιας συνάρτησης ενεργοποίησης ReLU, ένα τετραδιάστατο διάνυσμα λαμβάνεται πίσω από τη μονάδα ECA, το οποίο στη συνέχεια μετατρέπεται σε μονοδιάστατο διάνυσμα μετά την ενεργοποίηση και προσαρμοστική μέση ομαδοποίηση. Τέλος, τα αποτελέσματα τροφοδοτούνται στο δίκτυο παλινδρόμησης, το οποίο ανακτά ένα βαθμό αισθητικής.

Ποιοτική σύγκριση των αποτελεσμάτων. Στην κάτω σειρά παρουσιάζεται ο συνδυασμός όλων των ιδιοτήτων που αναγνωρίστηκαν από το EigenGAN και κατόπιν βελτιώθηκαν. Οι μέσες βαθμολογίες FID βρίσκονται αριστερά από τις σειρές εικόνων (υψηλότερη βαθμολογία είναι καλύτερη).
Δοκιμές και Μελέτη Χρήστη
Πέντε παραλλαγές της προτεινόμενης μεθόδου αξιολογήθηκαν αλγοριθμικά (βλέπε εικόνα παραπάνω), με βαθμολογίες Fréchet inception distance (FID, αμφισβητούμενες σε ορισμένα τμήματα) που ανατέθηκαν σε σύνολο 1000 εικόνων που περάστηκαν από το σύστημα.
Οι ερευνητές σημειώνουν ότι η βελτίωση του φωτισμού έπραξε μια καλύτερη βαθμολογία ελκυστικότητας για τα άτομα στις φωτογραφίες από άλλες πιθανές αλλαγές (π.χ. στην πραγματική εμφάνιση του ατόμου που απεικονίζεται).
Επίσης, η δοκιμή του συστήματος με αυτόν τον τρόπο είναι περιορισμένη από τις ιδιομορφίες των δεδομένων SCUT, τα οποία δεν έχουν πολλά ‘λαμπρά χαμόγελα’, και οι συγγραφείς υποστηρίζουν ότι αυτό θα μπορούσε να υπερβαθμολογήσει την πιο τυπική ‘αινιγματική’ εμφάνιση στα δεδομένα, σε σύγκριση με τις πιθανές προτιμήσεις των πιθανών τελικών χρηστών (π.χ. σε αυτήν την περίπτωση, μια δυτική αγορά).
Ωστόσο, επειδή όλο το σύστημα βασίζεται στις μέσες γνώμες μόνο 60 ατόμων (στο έγγραφο EigenGAN), και επειδή το υπό μελέτη χαρακτηριστικό απέχει πολύ από το να είναι εμπειρικό, θα μπορούσε να υποστηριχθεί ότι η διαδικασία είναι πιο σωστή από τα δεδομένα.
Αν και αναφέρεται πολύ σύντομα στο έγγραφο, εικόνες από το EigenGAN και τις πέντε παραλλαγές του συστήματος παρουσιάστηκαν επίσης σε μια περιορισμένη μελέτη χρήστη (οκτώ συμμετέχοντες), οι οποίοι ζητήθηκαν να επιλέξουν την ‘καλύτερη εικόνα’ (η λέξη ‘ελκυστική’ αποφεύχθηκε).

Πάνω, η διεπαφή που παρουσιάστηκε στη μικρή μελέτη: κάτω, τα αποτελέσματα.
Τα αποτελέσματα δείχνουν ότι η έξοδος του νέου συστήματος πέτυχε τον υψηλότερο βαθμό επιλογής μεταξύ των συμμετεχόντων (‘MAES’ στην εικόνα παραπάνω).
Η (άσκοπη;) επιδίωξη της ομορφιάς
Η χρησιμότητα ενός τέτοιου συστήματος είναι δύσκολο να καθοριστεί, παρά την εμφάνιση ενός σημαντικού τόπου των προσπαθειών σε Κίνα προς αυτούς τους στόχους. Η νέα δημοσίευση δεν περιγράφει καμία συγκεκριμένη χρήση.
Η προηγούμενη εργασία EigenGAN υποδηλώνει* ότι ένα σύστημα αναγνώρισης ομορφιάς θα μπορούσε να χρησιμοποιηθεί σε συστήματα συστάσεων για σύνθεση μακιγιάζ προσώπου, αισθητική χειρουργική, ομορφιά προσώπου, ή αναζήτηση εικόνων με βάση το περιεχόμενο.
Προφανώς, μια τέτοια προσέγγιση θα μπορούσε επίσης να χρησιμοποιηθεί σε ιστοσελίδες γνωριμιών, από τους τελικούς χρήστες, για να ‘βελτιώσουν’ τις δικές τους φωτογραφίες προφίλ σε μια εγγυημένη ‘τυχερή λήψη’, ως εναλλακτική λύση για τη χρήση παλαιών φωτογραφιών, ή φωτογραφιών άλλων ανθρώπων.
Επίσης, οι ιστοσελίδες γνωριμιών θα μπορούσαν να ‘βαθμολογούν’ τους πελάτες τους για να δημιουργήσουν βαθμολογίες και ακόμη και περιορισμένες τάξεις, αν και αυτό θα λειτουργούσε μόνο μέσω λήψης εικόνας με επιβεβαίωση παρουσίας ζωντανού προσώπου, και όχι μέσω υποβεβλημένων φωτογραφιών (οι οποίες θα μπορούσαν επίσης να ‘βελτιωθούν’ από τους πελάτες, εάν η προσέγγιση γίνει δημοφιλής).
Στην διαφήμιση, μια αλγοριθμική μέθοδος για την αξιολόγηση της ομορφιάς (μια τεχνολογία που προβλέφθηκε από τον αείμνηστο συγγραφέα επιστημονικής φαντασίας Michael Crichton στην ταινία του 1982 Looker) θα μπορούσε να χρησιμοποιηθεί για να επιλέξει την μη-βελτιωμένη δημιουργική έξοδο που είναι πιθανότερο να προσελκύσει το κοινό-στόχο, ενώ η ικανότητα να μεγιστοποιήσει την αισθητική επίδραση των εικόνων προσώπου, χωρίς να τις αντικαθιστά όπως συμβαίνει με τα deepfake, θα μπορούσε να αυξήσει τις ήδη αποτελεσματικές εικόνες που προορίζονται για να προσελκύσουν το κοινό.
Η νέα εργασία υποστηρίζεται από το Εθνικό Ίδρυμα Φυσικών Επιστημών της Κίνας, το Ανοικτό Πρόγραμμα του Κρατικού Εργαστηρίου Διαχείρισης και Ελέγχου Συμπλεγμάτων Συστημάτων, και το Πρόγραμμα Ερευνών Φιλοσοφίας και Κοινωνικών Επιστημών από το Υπουργείο Παιδείας της Κίνας, μεταξύ άλλων υποστηρικτών.
* Πολλές από τις συστάσεις του εγγράφου EigenGAN δείχνουν προς ένα εμπορικά διαθέσιμο βιβλίο του 2016 με τίτλο ‘Μοντέλα Υπολογιστή για την Ανάλυση Ομορφιάς Προσώπου’, αντί για ακαδημαϊκές πηγές.
Πρώτη δημοσίευση 11ης Αυγούστου 2022.













