Προσδιορισμός του φύλου μέσω των στυλ βάδισης με τη μηχανική μάθηση

Ερευνητές από τη Ρουμανία ανέπτυξαν ένα σύστημα μηχανικής μάθησης ικανό να προσδιορίζει το φύλο ενός ατόμου από τον τρόπο που περπατάει, χωρίς να χρειάζεται να αναλύουν τα στοιχεία του προσώπου (τα οποία μπορεί να είναι κρυμμένα ή κρυφά) και χωρίς να βασίζονται σε ανάλυση σιλουέτας ή άλλα φορεμένα στο σώμα. ενδείξεις για το φύλο (το οποίο μπορεί να «πλαστογραφηθεί» από μέλη άλλου φύλου).

Αντίθετα, το νέο σύστημα χρησιμοποιεί υπάρχοντα συστήματα σήμανσης που βασίζονται σε αυτά τα εφήμερα (και μεταβλητά) σήματα για να προσδιορίσει τα βασικά χαρακτηριστικά που διακρίνουν το βάδισμα ανδρών και γυναικών, με αποτέλεσμα ένα σύστημα που προσδιορίζει αποτελεσματικά το φύλο μόνο από τις «σκελετικές» κινήσεις ενός ατόμου. το περπάτημα.

Ουσιαστικά, αυτή η νέα προσέγγιση ποσοτικοποιεί τους διαφορετικούς τρόπους με τους οποίους περπατούν άνδρες και γυναίκες χωρίς να καταφεύγουν σε άλλα σήματα. αλλά δεδομένου ότι χρησιμοποιεί άλλα χαρακτηριστικά (όπως πληροφορίες για το πρόσωπο) για την αρχική επισήμανση των στυλ βάδισης, η έρευνα αφήνει ανοιχτό το ερώτημα ποια συγκεκριμένα χαρακτηριστικά διακρίνουν τα φύλα καθώς περπατούν.

Η νέα μέθοδος αντλεί ταυτότητα φύλου από μοντέλα ανάλυσης προσώπου που λειτουργούν υπό περιορισμούς (όπως η περιορισμένη γωνία χρήσης και η ανάγκη για επιμέλεια δεδομένων). Στη συνέχεια, το σύστημα εκχωρεί χαρακτηριστικά σκελετικής κίνησης ως αρσενικού ή θηλυκού και αποστάζει χαρακτηριστικές υπογραφές βάδισης για τον καθένα, αγνοώντας το πρόσωπο, τα ρούχα και άλλες αναξιόπιστες πηγές δεδομένων. Πηγή: https://arxiv.org/pdf/2111.00538.pdf

Το νέο χαρτί τιτλοφορείται Από Face to Gait: Weakly-Servised Learning of Gender Information from Walking Patterns, και προέρχεται από ερευνητές του Πανεπιστημίου Politehnica στο Βουκουρέστι.

Το σύστημα λειτουργεί στο ίδιο επίπεδο με τα μοντέλα ανάλυσης προσώπου και συχνά υπερβαίνει αυτά τα πρότυπα, με ένα Βαθμολογία F1 έως και 91% και προσφέρει υψηλό επίπεδο γενίκευσης σε νέα σενάρια, συμπεριλαμβανομένων ποικίλων απόψεων και περιστάσεων που συνήθως εμποδίζουν την αποτελεσματικότητα των συστημάτων αναγνώρισης φύλου που βασίζονται σε πρόσωπα ή παρόμοια. Σε αυτά περιλαμβάνονται οι όψεις με ασαφή πρόσωπο, οι μη μετωπικές γωνίες και το πολύ τυπικό σενάριο εικόνων χαμηλής ανάλυσης ή η επιτήρηση ατόμων που βρίσκονται σε απόσταση εντός της εικόνας, όπου μόνο το στυλ κίνησης παραμένει ως πιθανή αξιόπιστη ένδειξη φύλου.

Χάσμα μεταξύ των φύλων

Όπως συμπεραίνουν οι ερευνητές, ένα τέτοιο σύστημα έχει μεγάλες δυνατότητες για πλαίσια συγκέντρωσης δημογραφικών στοιχείων που επί του παρόντος εμποδίζονται όχι μόνο από την υιοθέτηση μάσκας υπό τον COVID, αλλά και από τις εκκεντρότητες της μόδας και των περιστατικών που κάνουν τα ρούχα και ανάλυση σιλουέτας μια αναξιόπιστη μέθοδος αναγνώρισης του φύλου από βίντεο παρακολούθησης.

Όσον αφορά την επιτήρηση, η δυνατότητα έκπτωσης όλων των πιθανών στόχων που δεν ταιριάζουν στο φύλο του υποκειμένου-στόχου θα μπορούσε να μειώσει την προεπεξεργασία και την ανάγκη για προσοχή από τον άνθρωπο και τη μηχανή κατά το ήμισυ - επειδή τα τρέχοντα συστήματα αναγνώρισης συχνά δυσκολεύονται να αντιστοιχίσουν σωστά φύλο σε ένα άτομο που παρακολουθείται.

Από τη νέα εργασία: διάφορα παραδείγματα όπου τα συστήματα αναγνώρισης φύλου αποτυγχάνουν. Στην παραπάνω σειρά, βλέπουμε το νέο σύστημα ανάλυσης βάδισης των ερευνητών να ταιριάζει σωστά με την πραγματική ετικέτα για την εικόνα (M ή F), ενώ η ανάλυση προσώπου απέτυχε στην ίδια περίπτωση. Στην παρακάτω σειρά βλέπουμε περιπτώσεις όπου τα εργαλεία επισήμανσης που χρησιμοποιήθηκαν από τους ερευνητές έχουν δημιουργήσει «θορυβώδεις» (δηλαδή εσφαλμένες) ετικέτες φύλου. Για να αντιμετωπίσουν αυτό, οι ερευνητές χρησιμοποίησαν ΜΟΛΥΒΙ («Πιθανολογική διόρθωση θορύβου από άκρο σε άκρο για μάθηση με θορυβώδεις ετικέτες»), μεταξύ άλλων μεθόδων.

Φυσικά, η πιθανότητα για αξιόπιστη αναγνώριση φύλου μέσω της ανάλυσης βάδισης είναι πιθανό να αυξηθεί τρέχον ενδιαφέρον για προσεγγίσεις πλαστογράφησης βάδισης.

Προσδιορισμός φύλου με πληρεξούσιο

Είναι θεωρητικά δυνατό να έχουμε φτάσει στην ίδια λειτουργικότητα που επιτεύχθηκε με το νέο έργο μέσω αυστηρής ανάλυσης δεδομένων σκελετικής κίνησης που επιμελούνται με το χέρι. Αν είχε γίνει αυτό, είναι πιθανό το νέο έργο να είχε βαθύτερες γνώσεις σχετικά με τα χαρακτηριστικά κίνησης που καθορίζουν καλύτερα το φύλο. Ωστόσο, μια τέτοια προσέγγιση σημαίνει μεγάλη δέσμευση πόρων και οι ερευνητές χρησιμοποίησαν αντ' αυτού υπάρχοντα (λιγότερο ανθεκτικά) συστήματα για να δημιουργήσουν τις απαραίτητες ετικέτες.

Αυτές οι «ψευτοετικέτες» δεν προσφέρουν ξεκάθαρη εικόνα για τα χαρακτηριστικά βάδισης με βάση το φύλο, αλλά καθιστούν δυνατό το φιλτράρισμα των προτύπων βάδισης ανά φύλο με έναν εξαιρετικά γενικευμένο τρόπο που μπορεί να επιτευχθεί εντός των περιορισμών πόρων.

Αρχικά οι ερευνητές χρησιμοποίησαν το 2019 Μπροστινή όψη βάδισης Σύνολο δεδομένων (FVG), το οποίο αντιμετωπίζει την πρόκληση της αναγνώρισης βάδισης από μια μετωπική γωνία, η οποία προσφέρει λιγότερες ενδείξεις από τις πλευρικές όψεις. Το σύνολο δεδομένων περιέχει δείγματα περπατήματος με πολλά εμπόδια, όπως ποικίλη ταχύτητα περπατήματος, ακατάστατο φόντο, διαφορετική ανάλυση και διαφορές στα ρούχα.

Από το χαρτί FVG του 2019, το GaitNet μαθαίνει αυτόματα τις βασικές λειτουργίες βάδισης από το «βίντεο πεζοπορίας», με βάση το πλάνα από την μπροστινή όψη, ένα σενάριο συχνής προβολής σε κάμερες που βλέπουν στο κοινό. Πηγή: https://arxiv.org/pdf/1904.04925.pdf

Δεδομένου ότι το FVG δεν προσανατολίζεται στην αναγνώριση φύλου, οι συγγραφείς σχολίασαν με μη αυτόματο τρόπο 226 θέματα στο σύνολο δεδομένων με πληροφορίες φύλου, προκειμένου να αναπτύξουν βασική αλήθεια για το πλαίσιο.

Η ανίχνευση προσώπου διευκολύνθηκε μέσω του MTCNN και τα δημογραφικά χαρακτηριστικά καθορίστηκαν από το IMDB-WIKI σύνολο δεδομένων. Δεδομένου ότι η ανάλυση βάδισης είναι δυνητικά πολύ πιο αποτελεσματική σε μεγάλες αποστάσεις από το συμπέρασμα με βάση το πρόσωπο, οι τελικές ετικέτες λήφθηκαν από έναν σταθμισμένο μέσο όρο εμπιστοσύνης φύλου που προέρχεται από την περιοχή του πλαισίου οριοθέτησης του προσώπου σε σχέση με τις διαστάσεις του πλαισίου. Εξήχθησαν σκελετοί με AlphaPose, το οποίο αφαιρεί τυχόν πιθανά «χαρίσματα», όπως το αντικειμενικό ύψος του θέματος (το οποίο δεν μπορεί να αξιολογηθεί με βεβαιότητα σε ad hoc σενάρια δημόσιας κάμερας).

Δοκιμές

Το σύστημα δοκιμάστηκε έναντι του CASIA-B βάση δεδομένων βάδισης, υποδειγματοληψία των ανδρών που υπερεκπροσωπούνται στο σύνολο δεδομένων για να διασφαλιστεί η ισοτιμία των δοκιμών, με διαχωρισμό των δεδομένων για 80% εκπαίδευση και 20% επικύρωση.

Οι ερευνητές χρησιμοποίησαν τη δική τους προηγούμενη εργασία, α Δίκτυο WildGait (δείτε την εικόνα παρακάτω), για να υπολογίσετε την ομοιότητα μεταξύ των ακολουθιών βαδίσματος. Οι αναγνωριστικές ταυτότητας φύλου, που έχουν ήδη καθιερωθεί, εισάγονται τώρα αποτελεσματικά σε αυτό το στάδιο της διαδικασίας πλαισίου.

Το WildGait είναι ένα Συνελικτικό Δίκτυο Χωρο-Χρονικού Γραφήματος που εκπαιδεύεται σε ακολουθίες σκελετών υψηλής έντασης, αυτόματα σχολιασμένες, που προέρχονται από ροές επιτήρησης πραγματικού κόσμου. Πηγή: https://arxiv.org/pdf/2105.05528.pdf

Συμπερασματικά, οι συγγραφείς αναφέρουν ότι το σύστημα ταιριάζει με υπερσύγχρονα συστήματα που βασίζονται σε πρόσωπα όσον αφορά την ακρίβεια στον προσδιορισμό του φύλου. Δεδομένου ότι υπάρχουν τόσες πολλές πιθανές γωνίες που θα μπορούσαν να προκύψουν στο βίντεο βάδισης στην πηγή, τα αποτελέσματα κατανέμονται σε μια σειρά από αυτές τις πιθανές απόψεις: