Καθορίζοντας το Φύλο Μέσω Στυλ Περίπατου Με Μηχανική Μάθηση

Ερευνητές από τη Ρουμανία έχουν αναπτύξει ένα σύστημα μηχανικής μάθησης που μπορεί να αναγνωρίσει το φύλο ενός ατόμου από τον τρόπο που περπατά, χωρίς την ανάγκη να αναλύουν τα χαρακτηριστικά του προσώπου (τα οποία μπορεί να είναι κρυφά ή να σκεπάζονται), και χωρίς να βασίζονται στην ανάλυση σιλουέτας ή άλλων ενδύσεων που σχετίζονται με το φύλο (τα οποία μπορούν να “απατηθούν” από μέλη του αντίθετου φύλου).

Αντίθετα, το νέο σύστημα χρησιμοποιεί υπάρχοντα συστήματα ετικέτας που βασίζονται σε αυτά τα efήμερες (και αμετάβλητες) σήματα για να αναγνωρίσει τα βασικά χαρακτηριστικά που διακρίνουν το βήμα των ανδρών και των γυναικών, με αποτέλεσμα ένα σύστημα που αναγνωρίζει αποτελεσματικά το φύλο μόνο από τις “σκελετικές” κινήσεις ενός ατόμου που περπατά.

Εфективικά, αυτή η νέα προσέγγιση ποσοτικοποιεί τους διαφορετικούς τρόπους με τους οποίους οι άνδρες και οι γυναίκες περπατάνε χωρίς να αναζητούν άλλα σήματα· αλλά既然 ότι χρησιμοποιεί άλλα χαρακτηριστικά (όπως πληροφορίες προσώπου) για να ετικετάρει αρχικά το στυλ περπατού, η έρευνα αφήνει ανοιχτό το ερώτημα ποια συγκεκριμένα χαρακτηριστικά διακρίνουν τα φύλα καθώς περπατάνε.

Η νέα μέθοδος εξάγει την ταυτότητα φύλου από μοντέλα ανάλυσης προσώπου που λειτουργούν υπό περιορισμούς (όπως περιορισμένη χρησιμοποιήσιμη γωνία και την ανάγκη για επιμέλεια του συνόλου δεδομένων). Το σύστημα στη συνέχεια αναθέτει χαρακτηριστικά σκελετικών κινήσεων ως αρσενικά ή θηλυκά και αποστάζει χαρακτηριστικά στυλ περπατού για κάθε φύλο, αγνοώντας τα χαρακτηριστικά προσώπου, ενδυμάτων και άλλων αξιόπιστων πηγών δεδομένων. Πηγή: https://arxiv.org/pdf/2111.00538.pdf

Η νέα έρευνα έχει τον τίτλο Από Πρόσωπο σε Βήμα: Weakly-Επιβεβλημένη Μάθηση Πληροφοριών Φύλου από Στυλ Περίπατου, και προέρχεται από ερευνητές στο Πανεπιστήμιο Politehnica στη Βουκουρέστι.

Το σύστημα λειτουργεί σε παρόμοιο επίπεδο με τα μοντέλα ανάλυσης προσώπου, και συχνά υπερβαίνει αυτά τα πρότυπα, με ένα F1 score μέχρι 91%, και προσφέρει υψηλό επίπεδο γενίκευσης σε νέες καταστάσεις, συμπεριλαμβανομένων ποικίλων γωνιών και περιστάσεων που θα μπλοκάρουν τη λειτουργία των συστημάτων αναγνώρισης φύλου με βάση το πρόσωπο ή παρόμοιων συστημάτων. Αυτά περιλαμβάνουν γωνίες που σκεπάζουν το πρόσωπο, μη-μετωπικές γωνίες και την πολύ τυπική περίπτωση χαμηλής ανάλυσης εικόνας, ή την επιτήρηση ατόμων που είναι μακρυά μέσα στην εικόνα, όπου μόνο το στυλ κίνησης παραμένει ως πιθανός αξιόπιστος δείκτης φύλου.

Φύλο Χάσμα

Όπως καταλήγουν οι ερευνητές, ένα τέτοιο σύστημα έχει μεγάλο потенシャル για πλαισιακά συλλογής δημογραφικών δεδομένων που είναι目前 εμποδισμένα όχι μόνο από την υιοθέτηση μάσκων υπό COVID, αλλά και από τις εκκεντρικότητες της μόδας και της τύχης που κάνουν την ανάλυση σιλουέτας ή άλλη ενδυμασία αβέβαιη μέθοδο για την αναγνώριση φύλου από βίντεο επιτήρησης.

Όσον αφορά την επιτήρηση, η δυνατότητα να αποκλείσει όλα τα πιθανά στόχους που δεν ταιριάζουν με το φύλο του στόχου θα μπορούσε να μειώσει την προεπεξεργασία και την ανάγκη για ανθρώπινη και μηχανική προσοχή μέχρι και 50% – επειδή τα τρέχοντα συστήματα αναγνώρισης συχνά δυσκολεύονται να ανατεθούν σωστά το φύλο σε ένα επιτηρούμενο άτομο.

Από την νέα έρευνα: διάφορα παραδείγματα όπου τα συστήματα αναγνώρισης φύλου αποτυγχάνουν. Στην πάνω σειρά, βλέπουμε το νέο σύστημα ανάλυσης βήματος να ταιριάζει σωστά με την πραγματική ετικέτα για την εικόνα (Α ή Γ), ενώ η ανάλυση προσώπου έχει αποτύχει στην ίδια περίπτωση. Στην σειρά κάτω βλέπουμε περιπτώσεις όπου τα εργαλεία ετικέτας που χρησιμοποιούνται από τους ερευνητές έχουν παράγει “θορυβώδεις” (δηλαδή λανθασμένες) ετικέτες φύλου. Για να αντιμετωπίσουν αυτό, οι ερευνητές χρησιμοποίησαν PENCIL (‘Probabilistic End-to-end Noise Correction for Learning with Noisy Labels’), μεταξύ άλλων μεθόδων.

Φυσικά, η δυνατότητα για αξιόπιστη αναγνώριση φύλου μέσω ανάλυσης βήματος είναι πιθανό να αυξηθεί τρεχούμενο ενδιαφέρον για προσεγγίσεις απατών βήματος.

Καθορισμός Φύλου με Εναλλακτικό Τρόπο

Είναι θεωρητικά δυνατό να είχε φτάσει στο ίδιο λειτουργικότητα που έχει επιτευχθεί από το νέο έργο μέσω αυστηρής ανάλυσης χειροκίνητα ετικετεμένων δεδομένων σκελετικών κινήσεων. Αν είχε γίνει αυτό, είναι πιθανό ότι το νέο έργο θα είχε μεγαλύτερες εποχές σε γνώσεις για ποια χαρακτηριστικά κίνησης ορίζουν το φύλο. Ωστόσο, μια τέτοια προσέγγιση σημαίνει μια μεγάλη δέσμευση πόρων, και οι ερευνητές έχουν αντίθετα χρησιμοποιήσει υπάρχοντα (λιγότερο ανθεκτικά) συστήματα για να παράγουν τις ετικέτες που είναι απαραίτητες.

Αυτές οι “ψευδο-ετικέτες” δεν προσφέρουν καμία άμεση γνώση για χαρακτηριστικά περπατού που βασίζονται στο φύλο, αλλά κάνουν δυνατή την φιλτράρισή τους με γένος σε ένα πολύ γενικευμένο τρόπο που μπορεί να επιτευχθεί εντός περιορισμών πόρων.

Αρχικά οι ερευνητές χρησιμοποίησαν το 2019 Front View Gait (FVG) dataset, το οποίο αντιμετωπίζει την πρόκληση της αναγνώρισης βήματος από μια μετωπική γωνία, η οποία προσφέρει λιγότερες ενδείξεις από τις πλευρικές απόψεις. Το σύνολο δεδομένων περιέχει δείγματα περπατού με πολλά εμπόδια, όπως ποικίλη ταχύτητα περπατού, κατακλυζόμενο φόντο, διαφορετική ανάλυση και διαφορές στην ενδυμασία.

Από το 2019 FVG paper, GaitNet αυτόματα μαθαίνει τα απαραίτητα χαρακτηριστικά βήματος από ‘βίντεο περπατού’, με βάση μετωπική λήψη, μια συχνή λήψη σε δημόσιες κάμερες. Πηγή: https://arxiv.org/pdf/1904.04925.pdf

Επειδή το FVG δεν είναι προσανατολισμένο προς την αναγνώριση φύλου, οι συγγραφείς ετικέτεψαν χειροκίνητα 226 υποκειμένους στο σύνολο δεδομένων με πληροφορίες φύλου για να αναπτύξουν βασική αλήθεια για το πλαίσιο.

Η ανίχνευση προσώπου διευκολύνθηκε μέσω MTCNN, και οι δημογραφικές ιδιότητες καθορίστηκαν από το IMDB-WIKI σύνολο δεδομένων. Επειδή η ανάλυση βήματος είναι потенτικά πολύ πιο αποτελεσματική σε μεγάλες αποστάσεις από την ανάλυση προσώπου, οι τελικές ετικέτες λήφθηκαν από einen σταθμισμένο μέσο όρο της εμπιστοσύνης φύλου που προέρχεται από την περιοχή της ετικέτας προσώπου σχετικά με τις διαστάσεις του πλαισίου. Τα σκελετικά χαρακτηριστικά εξαγωγής με AlphaPose, η οποία αφαιρεί οποιαδήποτε πιθανή “δωροδοκία”, όπως το αντικειμενικό ύψος του υποκειμένου (το οποίο δεν μπορεί να αξιολογηθεί με βεβαιότητα σε ad hoc δημόσιες κάμερες).

Δοκιμή

Το σύστημα δοκιμάστηκε ενάντια στο CASIA-B σύνολο δεδομένων βήματος, υποδείγματος των υπερεκπροσωπούμενων ανδρών στο σύνολο δεδομένων για να διασφαλιστεί η ισότητα δοκιμής, με τα δεδομένα να χωρίζονται για 80% εκπαίδευση και 20% επαλήθευση.

Οι ερευνητές χρησιμοποίησαν το δικό τους προηγούμενο έργο, ένα WildGait δίκτυο (βλέπε εικόνα παρακάτω), για να υπολογίσουν τη συσχέτιση μεταξύ ακολουθιών περπατού. Τα αναγνωρισμένα φύλα, ήδη καθορισμένα, τώρα ουσιαστικά οδηγούνται στο στάδιο της διαδικασίας του πλαισίου.

WildGait είναι ένα Spatio-Temporal Graph Convolutional Network εκπαιδευμένο σε υψηλό όγκο, αυτόματα ετικετεμένα σκελετικά ακολουθίες που προέρχονται από πραγματικά, επιτήρησης ροών. Πηγή: https://arxiv.org/pdf/2105.05528.pdf

Συμπεραίνοντας, οι συγγραφείς δηλώνουν ότι το σύστημα ταιριάζει με τα σύγχρονα συστήματα αναγνώρισης φύλου με βάση το πρόσωπο όσον αφορά την ακρίβεια στην καθορισμό του φύλου. Επειδή υπάρχουν τόσο πολλές πιθανές γωνίες που θα μπορούσαν να εμφανιστούν σε βίντεο περπατού, τα αποτελέσματα είναι κατανεμημένα σε μια σειρά από αυτές τις πιθανές γωνίες: