Η γωνία του Anderson

Το AI μπορεί να μαντέψει το έτος μιας φωτογραφίας από τις ηλικίες των ανθρώπων

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
An image from the source paper 'Photo Dating by Facial Age Aggregation', overlaid against an image of a desk surface with a 1974 calendar on it. Source: eBay and Source paper + Firefly V3.

Νέα έρευνα δείχνει ότι το AI μπορεί να χρησιμοποιήσει τα πρόσωπα των ανθρώπων για να εκτιμήσει το έτος που μια φωτογραφία τραβήχτηκε, συνδυάζοντας τις εκτιμήσεις ηλικίας με τους γνωστούς έτους γέννησης για να ξεπεράσει τις τρέχουσες μεθόδους που βασίζονται στη σκηνή.

 

Η μαντέψια της ημερομηνίας μιας φωτογραφίας ήταν κάποτε πολύ πιο εύκολη από ότι είναι τώρα, επειδή οι μόδες των μαλλιών και του ενδύματος εξελισσόταν με ταχύτατο ρυθμό. Για πολλά αμφιλεγόμενα λόγους, αυτή η αναταραχή της οπτικής μόδας τέλειωσε περίπου πριν από τριάντα χρόνια, σημαίνοντας ότι δεν είναι πλέον τόσο εύκολο να κοιτάξεις ένα στυλ μαλλιών ή ενδυμάτων και να μαντέψεις το έτος από αυτό το είδος οπτικών ενδείξεων.

Για κάποιο διάστημα, ήταν δυνατό επίσης να χρονολογηθούν εικόνες και ταινίες με βάση την ανάλυση χρώματος και τα χαρακτηριστικά του γκρέιν του φιλμ. Δεν χρειαζόταν να είσαι ειδικός σε δακτυλικά αποτυπώματα· αν έβλεπες αρκετές παλιές ταινίες, οι πολιτιστικές ενδείξεις (όπως η μουσική, τα αυτοκίνητα, η μόδα, τα θέματα, κ.λπ.) θα συνδέονταν τελικά, από τον θεατή, με στυλ φιλμ:

Μια εικονογράφηση του τρόπου με τον οποίο οι βελτιώσεις στο φιλμ επέκτειναν σταδιακά το εύρος των τόνων δέρματος και των στυλ φωτισμού με την πάροδο του χρόνου, μεταβαίνοντας από πλάγιες, μπροστινές ρυθμίσεις σε πιο φυσικές και ποικίλες εμφανίσεις. [ Πηγή ] https://archive.is/3ZSjN (δικό μου άρθρο)

Μια εικονογράφηση του τρόπου με τον οποίο οι βελτιώσεις στο φιλμ επέκτειναν σταδιακά το εύρος των τόνων δέρματος και των στυλ φωτισμού με την πάροδο του χρόνου, μεταβαίνοντας από πλάγιες, μπροστινές ρυθμίσεις σε πιο φυσικές και ποικίλες εμφανίσεις. Πηγή (δικό μου άρθρο)

Ένα επιπλέον “άγκυρα” για τη χρονολόγηση μιας φωτογραφίας ήταν αν ήταν σε μαύρο και λευκό – μια οικονομία που έγινε άχρηστη μετά την δημοτικότητα της ψηφιακής φωτογραφίας στις αρχές του αιώνα.

Ορισμένα εμπορικά και πειραματικά συστήματα, όπως το PhotoDater της MyHeritage, που είναι δέσμιο με συνδρομή, προσπαθούν να χρονολογήσουν φωτογραφίες χρησιμοποιώντας αυτά και άλλα διαφορετικά κριτήρια.

Ένα παράδειγμα εκτίμησης ηλικίας φωτογραφίας από την υπηρεσία PhotoDater της MyHeritage. Πηγή [ https://www.youtube.com/watch?v=2oVyLI6tBcY ]

Ένα παράδειγμα εκτίμησης ηλικίας φωτογραφίας από την υπηρεσία PhotoDater της MyHeritage. Πηγή

Απόντες άλλες ενδείξεις, όπως smartphones ή άλλη τεχνολογία συγκεκριμένης εποχής, ο καλύτερος τρόπος για να μαντέψετε την ηλικία μιας φωτογραφίας που τραβήχτηκε τα τελευταία 15-25 χρόνια είναι αν γνωρίζετε τον άνθρωπο (π.χ. ένα знаменίτη, ή ίσως ένα γνωστό άτομο) και μπορείτε να εκτιμήσετε την ηλικία του, η οποία σας δίνει μια περίπου ισοδύναμη χρονολογία.

Η ηλικία του προσώπου ως αναφορά

Στο πεδίο της υπολογιστικής όρασης και σε διάφορα άλλα πεδία (π.χ. δακτυλικά αποτυπώματα, αρχειοθέτηση, δημοσιογραφία, αρχιτεκτονική συνόλου δεδομένων, κ.λπ.) η ικανότητα να καθορίσετε την ηλικία μιας φωτογραφίας είναι ένα πολύτιμο στόχο, επειδή πολλά από τα πιο ενδιαφέροντα ψηφιακά και αναλογικά συλλογικά έλλειπαν κατάλληλη αναnotaση και μεταδεδομένα, ή ακόμη και έχουν λανθασμένα μεταδεδομένα από προηγούμενες (λανθασμένες) εκτιμήσεις.

Επομένως, θα ήταν χρήσιμο αν ένα σύστημα AI μπορούσε να αναθεωρήσει φωτογραφίες με τον ίδιο τρόπο που κάνουμε εμείς όταν κοιτάζουμε τις ιστορικές μας συλλογές και σχολιάζουμε ‘Ναι, αυτή ήταν όταν…’. Το ερώτημα είναι, τι θα μπορούσε να είναι το κрюκ για να το πετύχουμε;

Μια νέα έρευνα από την Τσεχία προσφέρει μια αρχική βάση για αυτήν την προσέγγιση, εκμεταλλευόμενο τα συστήματα αναγνώρισης ηλικίας AI, σε συνδυασμό με συστήματα αναγνώρισης προσώπου που συνδέονται με μια κοινή βάση δεδομένων ταυτοτήτων (σε αυτήν την περίπτωση, μια βάση δεδομένων τύπου IMDB που περιλαμβάνει Τσέχους καλλιτέχνες και σκηνοθέτες):

Μια στιγμιότυπη εικόνα από την ταινία Joachim, Put It in the Machine (1974), που χρησιμοποιείται για να εικονογραφήσει τη διαδικασία χρονολόγησης. Το μοντέλο ανιχνεύει γνωστούς ανθρώπους στη φωτογραφία, εκτιμά την ηλικία τους χρησιμοποιώντας einen εκτιμητή ηλικίας προσώπου (δεξιά στήλη) και αφαιρεί αυτήν την τιμή από το έτος γέννησης κάθε ατόμου για να παράγει μια πιθανότητα κατανομής για τις πιθανές ημερομηνίες φωτογραφίας. Τα γραφήματα δείχνουν την πιθανότητα κάθε εκτίμησης ηλικίας, με διακεκομμένες γραμμές που σημειώνουν την πραγματική ηλικία του ατόμου την εποχή της φωτογραφίας.

Μια στιγμιότυπη εικόνα από την ταινία ‘Joachim, Put It in the Machine’ (1974), που χρησιμοποιείται για να εικονογραφήσει τη διαδικασία χρονολόγησης. Το μοντέλο ανιχνεύει γνωστούς ανθρώπους στη φωτογραφία, εκτιμά την ηλικία τους χρησιμοποιώντας einen εκτιμητή ηλικίας προσώπου (δεξιά στήλη) και αφαιρεί αυτήν την τιμή από το έτος γέννησης κάθε ατόμου για να παράγει μια πιθανότητα κατανομής για τις πιθανές ημερομηνίες φωτογραφίας. Τα γραφήματα δείχνουν την πιθανότητα κάθε εκτίμησης ηλικίας, με διακεκομμένες γραμμές που σημειώνουν την πραγματική ηλικία του ατόμου την εποχή της φωτογραφίας. Πηγή

Το σύστημα λειτουργεί ανιχνεύοντας γνωστούς ανθρώπους σε μια φωτογραφία, εκτιμώντας την ηλικία τους χρησιμοποιώντας ένα προεκπαιδευμένο μοντέλο και αφαιρώντας αυτήν την εκτίμηση από το έτος γέννησης για να παράγει μια πιθανότητα κατανομής για τις πιθανές ημερομηνίες φωτογραφίας. Όταν υπάρχουν πολλά πρόσωπα, οι εκτιμήσεις ημερομηνίας συγχωνεύονται για να παράγουν μια τελική πρόβλεψη.

Η μέθοδος δοκιμάστηκε σε εικόνες που έχουν ανακτηθεί από τη βάση δεδομένων ταινιών Τσεχοσλοβακίας (CSFD), με το αποτέλεσμα να είναι ότι η προσέγγιση των συγγραφέων προσφέρει συνεχώς μεγαλύτερη ακρίβεια από τα μοντέλα που βασίζονται στη σκηνή (στατικά μοντέλα που βασίζονται σε στοιχεία του φόντου ή οπτικού контекστού αντί για πρόσωπα) που εκπαιδεύονται στα ίδια δεδομένα.

Το σχήμα για αυτήν τη μέθοδο απαιτεί μια κεντρική βάση δεδομένων που περιέχει γνώσεις για μια ευρεία ομάδα ατόμων· σε αυτήν την περίπτωση, η βάση δεδομένων ταινιών Τσεχοσλοβακίας τύπου IMDB· αλλά οποιαδήποτε παρόμοια συλλογή που διαθέτει επιβεβαιωμένα έτη γέννησης και κεντρικές ημερομηνίες γεγονότων θα μπορούσε να παράγει παρόμοιο αποτέλεσμα.

Το έγγραφο αναφέρει:

‘Μοναδικά, το σύνολο δεδομένων μας παρέχει αναnotations για πολλά άτομα μέσα σε μια seule εικόνα, επιτρέποντας τη μελέτη της συσσώρευσης πληροφοριών από πολλά πρόσωπα. Προτείνουμε ένα πιθανολογικό πλαίσιο που συνδυάζει正式ά τις οπτικές ενδείξεις από σύγχρονα μοντέλα αναγνώρισης προσώπου και εκτίμησης ηλικίας, και χρονολογικές προτεραιότητες που βασίζονται στην καριέρα για να εκτιμήσουμε το έτος λήψης της φωτογραφίας.

‘Οι πειραματικές μας δοκιμές δείχνουν ότι η συσσώρευση ενδείξεων από πολλά πρόσωπα βελτιώνει συνεχώς την απόδοση και η προσέγγισή μας υπερβαίνει σημαντικά τις ισχυρές, βασισμένες στη σκηνή, βασικές γραμμές, ιδιαίτερα για εικόνες που περιέχουν πολλά αναγνωρίσιμα άτομα.’

Το νέο έγγραφο έχει τον τίτλο Χρονολόγηση φωτογραφιών με συσσώρευση ηλικίας προσώπου και προέρχεται από δύο ερευνητές στο Τεχνολογικό Πανεπιστήμιο της Πράγας, με την υπόσχεση μιας μελλοντικής κυκλοφορίας κώδικα/δεδομένων.

Μέθοδος

Για να εκτιμήσει πότε μια φωτογραφία τραβήχτηκε, το νέο σύστημα των συγγραφέων κοιτάζει κάθε ανιχνευμένο πρόσωπο και προσπαθεί να μαντέψει ποιος μπορεί να είναι, χρησιμοποιώντας την προαναφερθείσα βάση δεδομένων γνωστών ατόμων. 既然 ένας άνθρωπος μπορεί να εμφανιστεί μόνο μια φορά σε μια φωτογραφία, το σύστημα ελέγχει όλες τις πιθανές ταυτοτήτες και χρησιμοποιεί τα γνωστά έτη γέννησης για να μαντέψει πόσο μεγάλος φαίνεται ο κάθε άνθρωπος.

Μετά από αυτό, εργάζεται ανάποδα για να εκτιμήσει το πιο πιθανό έτος που θα ταίριαζε με αυτές τις ηλικίες:

Αριστερά: το σύστημα κατασκευάζει μια χρονολογική γραμμή που δείχνει πότε οι αναγνωρισμένοι άνθρωποι ήταν πιο ενεργοί, με βάση τις γνωστές καριέρες τους. Δεξιά: αυτό συνδυάζεται με εκτιμήσεις ηλικίας προσώπου για να παράγει μια τελική εκτίμηση για το πότε τραβήχτηκε η εικόνα.

Αριστερά: το σύστημα κατασκευάζει μια χρονολογική γραμμή που δείχνει πότε οι αναγνωρισμένοι άνθρωποι ήταν πιο ενεργοί, με βάση τις γνωστές καριέρες τους. Δεξιά: αυτό συνδυάζεται με εκτιμήσεις ηλικίας προσώπου για να παράγει μια τελική εκτίμηση για το πότε τραβήχτηκε η εικόνα.

Για να διαχειριστεί τις πολλές πιθανές συνδυαστικές ταυτοτήτων, το σύστημα υποθέτει ότι τα πρόσωπα είναι ανεξάρτητα και ότι η εμφάνισή τους κάθε προσώπου εξαρτάται μόνο από την ταυτότητά του και την ημερομηνία της φωτογραφίας.

Για να εκτιμήσει πότε μια φωτογραφία τραβήχτηκε, το σύστημα πρώτα εκτιμά την ηλικία κάθε ανιχνευμένου προσώπου χρησιμοποιώντας το μοντέλο cvut-002 του NIST, το οποίο βασίζεται σε μια αρχιτεκτονική ViT-B/16 και έχει εκπαιδευτεί σε ένα ιδιωτικό σύνολο δεδομένων (το οποίο, σύμφωνα με τους συγγραφείς, κατατάσσεται υψηλά στη βάση δεδομένων FATE του NIST).

Μόλις είναι γνωστό το έτος γέννησης του ατόμου, το μοντέλο μετατρέπει την εκτίμηση ηλικίας σε μια πιθανή ημερομηνία φωτογραφίας απλώς προσθέτοντας την ηλικία στο έτος γέννησης, παράγοντας μια πιθανότητα κατανομής για τις πιθανές ημερομηνίες λήψης. Για να αξιολογήσει πόσο καλά ένα ανιχνευμένο πρόσωπο ταιριάζει με μια γνωστή ταυτότητα, το σύστημα συγκρίνει τις εμφυτεύσεις τους στο χώρο ArcFace:

Το ArcFace, η κεντρική συνεισφορά αρχιτεκτονικής για το τώρα δημοφιλές μοντέλο InsightFace, εκκινήθηκε το 2015, προοριζόμενο να γίνει ένα επιδραστικό έργο στην αξιολόγηση και την εκτίμηση προσώπου. [ Πηγή ] https://arxiv.org/pdf/1801.07698

Το ArcFace, η κεντρική συνεισφορά αρχιτεκτονικής για το τώρα δημοφιλές μοντέλο InsightFace, εκκινήθηκε το 2015, προοριζόμενο να γίνει ένα επιδραστικό έργο στην αξιολόγηση και την εκτίμηση προσώπου. Πηγή

Κάθε ταυτότητα αντιπροσωπεύεται από μια μέση εμφύτευση που κατασκευάζεται από τις αναφορικές της πορτρέτα. Η ομοιότητα μεταξύ ενός δοκιμαστικού προσώπου και μιας ταυτότητας μετράται χρησιμοποιώντας eine κατανομή Von Mises Fisher, η οποία μοντελοποιεί πόσο στενά τα πορτρέτα της ταυτότητας κάνουν cluster γύρω από αυτήν την μέση. Ένας κοινός παράμετρος οξύτητας ελέγχει πόσο βέβαιο είναι το σύστημα σε αυτά τα cluster, και εκτιμάται χρησιμοποιώντας μια στρατηγική αφαίρεσης ενός στα πορτρέτα της ταυτότητας.

Το μοντέλο ορίζει πέντε τύπους προτεραιοτήτων για να εκτιμήσει πότε μπορεί να εμφανιστεί ένας αναγνωρισμένος άνθρωπος σε μια φωτογραφία: ομοιόμορφη; δεκαετίας; ταινίας; εικόνας; και μια συνδυαστική προτεραιότητα που συνδυάζει τις ισχυρότερες και τις πιο αδύναμες επιλογές, για να δοκιμάσει την ευαισθησία στην προτεραιότητα (π.χ. την αντοχή των προτεραιοτήτων υπό πίεση).

Για να χειριστεί τα πρόσωπα που δεν μπορούν να αναγνωριστούν με βεβαιότητα, το μοντέλο περιλαμβάνει μια προεπιλογή ‘άγνωστη’ ταυτότητα με μη ενημερωτικές κατανομές, που χαρακτηρίζεται από μια πιθανότητα προσώπου που είναι επίπεδη στο χώρο εμφυτεύσεων, και μια χρονολογική προτεραιότητα που είναι επίπεδη σε όλα τα έτη. Αυτό επιτρέπει στα αβέβαια πρόσωπα να αγνοηθούν χωρίς να προκαλούν προκατάληψη στην τελική εκτίμηση ημερομηνίας:

Επίδραση της απόδοσης του πλήρους μοντέλου υπό ανοιχτές συνθήκες, όπου και γνωστά και άγνωστα πρόσωπα εμφανίζονται στην ίδια εικόνα. Η Μέση Απόλυτη Σφάλμα (MAE) αυξάνεται με τον αριθμό των άγνωστων ταυτοτήτων, αλλά βελτιώνεται συνεχώς καθώς περισσότερες γνωστές ταυτότητες είναι διαθέσιμες για να αναкорηώσουν τη χρονολογική γραμμή. Το μέγεθος κάθε τετραγώνου δείχνει τον αριθμό των δειγμάτων, αποκαλύπτοντας ότι οι ρυθμίσεις με χαμηλά λάθη κυριαρχούν επίσης στην κατανομή του συνόλου δεδομένων.

Πώς επηρεάζεται η απόδοση όταν κάποια πρόσωπα σε μια εικόνα δεν μπορούν να αναγνωριστούν. Κάθε τετράγωνο δείχνει το μέσο σφάλμα χρονολόγησης για διαφορετικούς συνδυασμούς γνωστών και άγνωστων ταυτοτήτων, με το μέγεθος του τετραγώνου να αντικατοπτρίζει πόσο συχνά εμφανίζεται αυτή η συνδυαστική κατάσταση στο σύνολο δεδομένων. Το σφάλμα αυξάνεται με περισσότερα άγνωστα, αλλά μειώνεται σταθερά καθώς προστίθενται περισσότερες γνωστές ταυτότητες.

Δεδομένα και δοκιμές

Οι συγγραφείς χρησιμοποίησαν τη βάση δεδομένων CSFD για να δημιουργήσουν ένα νέο σύνολο δεδομένων που ονόμασαν CSFD-1.6M. Το σύνολο δεδομένων κατασκευάστηκε από σκηνές με πολλά άτομα, με κάθε πρόσωπο να επισημαίνεται με ταυτότητα και έτος. Αυτή η δομή ήταν απαραίτητη για να διδάξει το μοντέλο πώς τα πρόσωπα σχετίζονται μεταξύ τους σε контέκστ:

Τα έτη κυκλοφορίας ταινιών από τη βάση δεδομένων ταινιών Τσεχοσλοβακίας χρησιμοποιήθηκαν για να εκτιμήσουν πότε τραβήχτηκε κάθε φωτογραφία, με κάθε άτομο στην εικόνα να ταιριάζει με ένα δημόσιο προφίλ που περιλαμβάνει το έτος γέννησής του και ένα πορτρέτο.

Στη συνέχεια, κάθε πρόσωπο στην εικόνα αντιστοιχούσε σε μια από τις γνωστές ταυτότητες, αρχικά χρησιμοποιώντας το ArcFace για να δημιουργήσει εμφυτεύσεις προσώπου και υπολογίζοντας μια μέση εμφύτευση για κάθε ταυτότητα.

Μετά από αυτό, η αλγόριθμος του Ουγγρού χρησιμοποιήθηκε για να αντιστοιχίσει τα πρόσωπα σε ταυτότητες, συγκρίνοντας την ομοιότητα των εμφυτεύσεων, με διορθώσεις όταν ο αριθμός των ανιχνευμένων προσώπων μέσω του πλαισίου SCRFD-10GE δεν ταίριαζε με τον αριθμό των γνωστών ατόμων.

Στατιστικά από το σύνολο δεδομένων CSFD-1.6M, που περιλαμβάνουν εικόνες, ανιχνευμένα πρόσωπα, ταυτοποιήσεις, τελικά αναnotated δείγματα και τη διαθέσιμη πηγή ταυτοτήτων.

Στατιστικά από το σύνολο δεδομένων CSFD-1.6M, που περιλαμβάνουν εικόνες, ανιχνευμένα πρόσωπα, ταυτοποιήσεις, τελικά αναnotated δείγματα και τη διαθέσιμη πηγή ταυτοτήτων.

Οι ταυτοποιήσεις απορρίπτονταν αν η ομοιότητα ήταν πολύ χαμηλή ή αν η εκτιμώμενη ηλικία διέφερε πολύ από την γνωστή ηλικία, με μεγαλύτερη ανεκτικότητα για μεγαλύτερους υποκείμενους, και τα πρόσωπα δεν φιλτράρονταν με βάση την ποιότητα ή το μέγεθος.

Οι συγγραφείς σημειώνουν την υπεροχή του συνόλου δεδομένων τους σε σχέση με το πλησιέστερο συγκρίσιμο σύνολο δεδομένων, IMDB-WIKI:

‘Το σύνολο δεδομένων μας δεν είναι μόνο σημαντικά μεγαλύτερο, αλλά κριτικά, αποτελείται από σκηνές με πολλά άτομα που απαιτούνται από το μοντέλο μας. Ενώ κανένα σύνολο δεδομένων που έχει συλλεγεί από το διαδίκτυο δεν είναι ελεύθερο από θόρυβο σε ετικέτες, η διαδικασία αναnotation μας εκμεταλλεύεται τις ρητές συνδέσεις μεταξύ εικόνων και προφίλ ταυτότητας που παρέχονται από τη βάση δεδομένων, με στόχο υψηλότερης ποιότητας ταυτοποιήσεις.’

Η αξιολόγησή τους σύγκρινε διάφορες εκδοχές του συστήματος χρονολόγησης, για να κατανοήσουν από πού προέρχονταν οι κέρδη του. Ένα μοντέλο υποθέτησε απόλυτη γνώση για το ποιος ήταν στην εικόνα, παρέχοντας einen άνω όριο απόδοσης, αφαιρώντας οποιαδήποτε αβεβαιότητα στην αναγνώριση ταυτότητας, με την πλήρη εκδοχή του μοντέλου να εκτιμά ταυτότητες και ημερομηνίες από κοινού, ζυγίζοντας διαφορετικές πιθανές ταυτοποιήσεις πριν φτάσει σε μια τελική εκτίμηση ημερομηνίας.

Μια απλούστερη παραλλαγή επέλεξε την πιο πιθανή ταυτοποίηση χωρίς να ζυγίζει τις εναλλακτικές, αποδεικνύοντας σχεδόν εξίσου αποτελεσματική στην πράξη.

Αντίθετα, η πιο βασική γραμμή βάσης ανέθεσε κάθε πρόσωπο ανεξάρτητα και συνδύασε τις εκτιμήσεις ημερομηνίας που βασίζονταν στην ηλικία, χωρίς να λαμβάνει υπόψη αν οι ταυτότητες συλλογικά είχαν νόημα.

Για να δοκιμάσει πόσο πολύ ωφελείται η μέθοδος από τη χρήση προσώπων, ένα ξεχωριστό μοντέλο εκπαιδεύτηκε για να εκτιμήσει την ημερομηνία απευθείας από την整ική σκηνή. Αυτό το μοντέλο που βασίζεται στη σκηνή συνιστά την ισχυρότερη εναλλακτική προσέγγιση που χρησιμοποιείται目前 στην εκτίμηση ημερομηνίας εικόνας, επειδή μπορεί να μάθει εποχικές οπτικές μοτίβα σε ολόκληρη την εικόνα, αντί να βασίζεται στην ταυτότητα ή την ηλικία.

Μέτρα και Δεδομένα

Η Μέση Απόλυτη Σφάλμα (MAE) μεταξύ της προβλεπόμενης ημερομηνίας και της γνωστής αλήθειας ήταν το κεντρικό μέτρο για τις πειραματικές δοκιμές.

Τα δεδομένα διαιρέθηκαν σε πέντε μέρη, με φροντίδα να διατηρηθούν όλες οι εικόνες από την ίδια ταινία μέσα σε ένα μόνο τμήμα. Τρία από αυτά τα μέρη χρησιμοποιήθηκαν για εκπαίδευση, ένα για επικύρωση και ένα για δοκιμή. Αυτή η πενταπλή περιστροφή εφαρμόστηκε για να αποφευχθεί υπερπροσαρμογή.

Καθώς τα μοντέλα που βασίζονται στο πρόσωπο δεν εκπαιδεύτηκαν σε αυτό το σύνολο δεδομένων, δεν χρειαζόταν διαίρεση, και αντίθετα, αξιολογήθηκαν απευθείας στο πλήρες σύνολο δεδομένων CSFD-1.6M.

Το Σκηνή μοντέλο εκπαιδεύτηκε για 200 epochs υπό τον βελτιωτή Adam, με εικόνες που έχουν αναδιασταθεί σε 384×384 crop.

Αποτελέσματα

Το τμήμα αποτελεσμάτων του εγγράφου διαιρείται ασυνήθιστα σε μια σειρά από δείκτες απόδοσης, χωρίς κανένα εξέχον ή κεντρικό τεστ. Ωστόσο, θα παρουσιάσουμε μια επιλογή από τα πιο σχετικά αποτελέσματα εδώ.

Το πιο σημαντικό αποτέλεσμα δεν είναι ένα đơnικό αριθμός, αλλά ένα μοτίβο: τα μοντέλα συσσώρευσης προσώπου (ειδικά οι παραλλαγές Πλήρης και Top-1) υπερβαίνουν συνεχώς τη mạnh Σκηνή γραμμή βάσης όταν δύο ή περισσότερες γνωστές ταυτότητες είναι παρόντες – ακόμη και αν το Σκηνή μοντέλο εκπαιδεύτηκε απευθείας στο σύνολο δεδομένων, υποστηρίζοντας την κεντρική αξίωση ότι η χρονολόγηση προσώπου που συνδέεται με ταυτότητα παρέχει ένα πιο robust σήμα από την ολική ερμηνεία της σκηνής.

Για να αξιολογήσουν την επίδραση των χρονολογικών προτεραιοτήτων, οι συγγραφείς σύγκρινε διάφορες ρυθμίσεις του Πλήρους μοντέλου τους. Η ισχυρότερη απόδοση επιτεύχθηκε χρησιμοποιώντας την Δεκαετίας Προτεραιότητα, η οποία υπερέβη σημαντικά τόσο το Ναïβ μοντέλο (το οποίο δεν χρησιμοποιεί χρονολογική προτεραιότητα) όσο και την Ομοιόμορφη Προτεραιότητα (η οποία υποθέτει keine προτίμηση μεταξύ των ετών):

Η απόδοση πέφτει απότομα για όλες τις μεθόδους καθώς αυξάνεται ο αριθμός των προσώπων, αλλά τα μοντέλα που χρησιμοποιούν ρεαλιστικές χρονολογικές προτεραιότητες, όπως η Δεκαετίας Προτεραιότητα, επηρεάζονται πολύ λιγότερο. Οι γραμμές βάσης Naive και Scene παραμένουν επίπεδες ή χειροτερεύουν με μεγαλύτερες ομάδες, ενώ το Πλήρες μοντέλο με ενημερωμένες προτεραιότητες διατηρεί χαμηλά λάθη. Οι προτεραιότητες που βασίζονται σε οράκια, οι οποίες βασίζονται σε στατιστικά του συνόλου δοκιμής, ορίζουν το κατώτερο όριο της επιτεύξιμης απόδοσης.

Η απόδοση πέφτει απότομα για όλες τις μεθόδους καθώς αυξάνεται ο αριθμός των προσώπων, αλλά τα μοντέλα που χρησιμοποιούν ρεαλιστικές χρονολογικές προτεραιότητες, όπως η Δεκαετίας Προτεραιότητα, επηρεάζονται πολύ λιγότερο. Οι γραμμές βάσης Naive και Scene παραμένουν επίπεδες ή χειροτερεύουν με μεγαλύτερες ομάδες, ενώ το Πλήρες μοντέλο με ενημερωμένες προτεραιότητες διατηρεί χαμηλά λάθη. Οι προτεραιότητες που βασίζονται σε οράκια, οι οποίες βασίζονται σε στατιστικά του συνόλου δοκιμής, ορίζουν το κατώτερο όριο της επιτεύξιμης απόδοσης.

Για να δείξουν την αξία του συνόλου δεδομένων CSFD-1.6M πέρα από τη χρονολόγηση φωτογραφιών, το σύνολο δεδομένων δοκιμάστηκε επίσης ως πηγή προ-εκπαίδευσης για την ευρύτερη εργασία της εκτίμησης ηλικίας προσώπου. Ακολουθώντας ένα τυπικό πρωτόκολλο αξιολόγησης, μοντέλα ResNet101 προ-εκπαιδεύτηκαν στο CSFD-1.6M και συγκρίθηκαν με αντίστοιχα μοντέλα που προ-εκπαιδεύτηκαν στο IMDB-WIKI και στο ImageNet. Αυτά τα μοντέλα στη συνέχεια εξειδικεύτηκαν και αξιολογήθηκαν σε πέντε δημοφιλείς διαγωνισμούς: AgeDB; AFAD, MORPH; UTKFace; και CLAP2016:

Μέση απόλυτη σφάλμα (πラス/μείνους τυπική απόκλιση) σε πέντε διαγωνισμούς εκτίμησης ηλικίας, συγκρίνοντας μοντέλα που προ-εκπαιδεύτηκαν στο ImageNet, IMDB-WIKI και CSFD-1.6M. Χαμηλότερες τιμές δείχνουν καλύτερη απόδοση. Το CSFD-1.6M αποδίδει τα ισχυρότερα αποτελέσματα σε όλους τους διαγωνισμούς.

Μέση απόλυτη σφάλμα (πラス/μείνους τυπική απόκλιση) σε πέντε διαγωνισμούς εκτίμησης ηλικίας, συγκρίνοντας μοντέλα που προ-εκπαιδεύτηκαν στο ImageNet, IMDB-WIKI και CSFD-1.6M. Χαμηλότερες τιμές δείχνουν καλύτερη απόδοση. Το CSFD-1.6M αποδίδει τα ισχυρότερα αποτελέσματα σε όλους τους διαγωνισμούς.

Σε όλους τους πέντε διαγωνισμούς, η προ-εκπαίδευση στο CSFD-1.6M οδήγησε στις χαμηλότερες τιμές σφάλματος, υπερβαίνοντας τις άλλες δύο πηγές προ-εκπαίδευσης με μια σαφή διαφορά – μια απόσταση απόδοσης που αποδείχθηκε ισχυρότερη στο AFAD και CLAP2016, αλλά παρέμεινε συνεχής σε όλους.

Αναφερόμαστε στον αναγνώστη στο υπόλοιπο του κάπως κατακερματισμένου τμήματος αποτελεσμάτων στο αρχικό έγγραφο, το οποίο ασχολείται επίσης εκτενώς με μελέτες αφαίρεσης.

Συμπέρασμα

Αν και το νέο έγγραφο γίνεται σύντομα πυκνό και απρόσιτο για τον μη εξειδικευμένο αναγνώστη, το θέμα που αντιμετωπίζεται είναι ένα από τα πιο ενδιαφέροντα και σχετικά στην βιβλιογραφία της υπολογιστικής όρασης – όχι τουλάχιστον επειδή διασχίζει με ιδιαίτερη δεξιοτεχνία την ανθρωπολογία και τις πολιτιστικές σπουδές, όπου οι σταθερές είναι δύσκολο να καθοριστούν.

 

* Όπως και η μουσική εξέλιξη έβραδε το ρυθμό της αλλαγής.

Πρώτη δημοσίευση Δευτέρα, 10 Νοεμβρίου 2025

Συγγραφέας σε μηχανική μάθηση, ειδικός σε σύνθεση εικόνων ανθρώπων. Πρώην επικεφαλής ερευνητικού περιεχομένου στη Metaphysic.ai, μέχρι τη διάλυση της στην DNEG's Brahma.ai.
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai