Μοντέλα και πλατφόρμες AI

DeepFace για Προηγμένη Αναγνώριση Προσώπου

Kunal Kejriwal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο DeepFace κλείνει το χάσμα ακρίβειας μεταξύ της μηχανικής όρασης και των ανθρώπινων…
Δείτε περισσότερα
  • Το DeepFace κλείνει το χάσμα ακρίβειας μεταξύ της μηχανικής όρασης και των ανθρώπινων συστημάτων αναγνώρισης προσώπων.
  • Η ρητή τρισδιάστατη μοντελοποίηση επιτρέπει στο DeepFace να ευθυγραμμίζει πρόσωπα παρά τις στάσεις, τις εκφράσεις και τις διακυμάνσεις φωτισμού.
  • Το DeepFace μαθαίνει συμπαγείς αναπαραστάσεις προσώπου από τεράστια επισημασμένα δεδομένα αντί για χειροποίητα χαρακτηριστικά.

Η αναγνώριση προσώπου υπήρξε ένα δημοφιλές πεδίο στην τεχνητή νοημοσύνη και τη μηχανική μάθηση για αρκετά χρόνια τώρα, και οι ευρείες πολιτιστικές και κοινωνικές επιπτώσεις της αναγνώρισης προσώπου είναι πολύ εκτεταμένες. Ωστόσο, υπάρχει ένα χάσμα απόδοσης μεταξύ των ανθρώπινων οπτικών συστημάτων και των μηχανών που αυτή τη στιγμή περιορίζει τις εφαρμογές της αναγνώρισης προσώπου.

Για να υπερβεί το εμπόδιο που δημιουργήθηκε από το χάσμα απόδοσης και να παρέχει ανθρώπινη ακρίβεια, η Meta εισήγαγε το DeepFace, ένα πλαίσιο αναγνώρισης προσώπου. Το μοντέλο DeepFace εκπαιδεύεται σε ένα μεγάλο σύνολο δεδομένων προσώπου που διαφέρει σημαντικά από τα σύνολα δεδομένων που χρησιμοποιούνται για την κατασκευή των δοκιμών αξιολόγησης, και έχει το δυναμικό να υπερβεί τα υπάρχοντα πλαίσια με ελάχιστες προσαρμογές. Επιπλέον, το πλαίσιο DeepFace παράγει συμπαγείς αναπαραστάσεις προσώπου όταν συγκρίνεται με άλλα συστήματα που παράγουν χιλιάδες χαρακτηριστικά εμφάνισης προσώπου.

Το προτεινόμενο πλαίσιο DeepFace χρησιμοποιεί βαθιά μάθηση για να εκπαιδεύσει σε ένα μεγάλο σύνολο δεδομένων που αποτελείται από διάφορες μορφές δεδομένων, συμπεριλαμβανομένων εικόνων, βίντεο και γραφικών. Η αρχιτεκτονική του δικτύου DeepFace υποθέτει ότι μια φορά που η ευθυγράμμιση ολοκληρωθεί, η θέση κάθε περιοχής προσώπου είναι σταθερή στο επίπεδο pixel. Επομένως, είναι δυνατό να χρησιμοποιηθούν οι ακατέργαστες τιμές RGB pixel χωρίς να χρησιμοποιηθούν πολλαπλά συνελικτικά επίπεδα όπως σε άλλα πλαίσια.

Η συμβατική διαδικασία των σύγχρονων πλαισίων αναγνώρισης προσώπου αποτελείται από τέσσερα στάδια: Ανίχνευση, Ευθυγράμμιση, Αναπαράσταση και Ταξινόμηση. Το πλαίσιο DeepFace χρησιμοποιεί ρητή μοντελοποίηση 3D προσώπου για να εφαρμόσει έναν τμηματικό μετασχηματισμό, και χρησιμοποιεί ένα δίκτυο νευρώνων εννέα στρώσεων για να εξαγάγει μια αναπαράσταση προσώπου. Το πλαίσιο DeepFace προσπαθεί να κάνει τις ακόλουθες συνεισφορές

  1. Να αναπτύξει μια αποτελεσματική αρχιτεκτονική DNN ή βαθέος νευρωνικού δικτύου που μπορεί να εκμεταλλευτεί ένα μεγάλο σύνολο δεδομένων για να δημιουργήσει μια αναπαράσταση προσώπου που μπορεί να γενικευθεί σε άλλα σύνολα δεδομένων.
  2. Να χρησιμοποιήσει ρητή μοντελοποίηση 3D για να αναπτύξει ένα αποτελεσματικό σύστημα ευθυγράμμισης προσώπου.

Κατανόηση της Λειτουργίας του Μοντέλου DeepFace

Ευθυγράμμιση Προσώπου

Η ευθυγράμμιση προσώπου είναι μια τεχνική που περιστρέφει την εικόνα ενός ατόμου σύμφωνα με τη γωνία των ματιών. Η ευθυγράμμιση προσώπου είναι μια δημοφιλής πρακτική που χρησιμοποιείται για την προεπεξεργασία δεδομένων για αναγνώριση προσώπου, και τα σύνολα δεδομένων που ευθυγραμμίζονται βοηθούν στην βελτίωση της ακρίβειας των αλγορίθμων αναγνώρισης παρέχοντας μια κανονικοποιημένη είσοδο. Ωστόσο, η ευθυγράμμιση προσώπου σε μη περιορισμένο τρόπο μπορεί να είναι μια δύσκολη εργασία λόγω των πολλών παραγόντων που εμπλέκονται όπως μη άκαμπτες εκφράσεις, στάσεις σώματος και άλλα. Πολλές εξελιγμένες τεχνικές ευθυγράμμισης όπως η χρήση αναλυτικού 3D μοντέλου προσώπου ή η αναζήτηση σημείων αναφοράς από εξωτερικό σύνολο δεδομένων μπορεί να επιτρέψουν στους προγραμματιστές να υπερβούν τις προκλήσεις.

Αν και η ευθυγράμμιση είναι η πιο δημοφιλής μέθοδος για την αντιμετώπιση της αναγνώρισης προσώπου σε μη περιορισμένο τρόπο, δεν υπάρχει τέλεια λύση στο παρόν. Τα 3D μοντέλα χρησιμοποιούνται επίσης, αλλά η δημοτικότητά τους έχει μειωθεί σημαντικά τα τελευταία χρόνια, ιδιαίτερα όταν εργάζονται σε μη περιορισμένο περιβάλλον. Ωστόσο, επειδή τα ανθρώπινα πρόσωπα είναι 3D αντικείμενα, μπορεί να είναι η σωστή προσέγγιση αν χρησιμοποιηθεί σωστά. Το μοντέλο DeepFace χρησιμοποιεί ένα σύστημα που χρησιμοποιεί σημεία αναφοράς για να δημιουργήσει μια αναλυτική 3D μοντελοποίηση του προσώπου. Αυτή η 3D μοντελοποίηση χρησιμοποιείται στη συνέχεια για να μεταμορφώσει μια εικόνα προσώπου σε 3D μετωπιαία κατάσταση.

Επιπλέον, όπως και οι περισσότερες πρακτικές ευθυγράμμισης, η ευθυγράμμιση DeepFace χρησιμοποιεί επίσης σημεία αναφοράς για να κατευθύνει τη διαδικασία ευθυγράμμισης. Αν και το μοντέλο DeepFace χρησιμοποιεί έναν απλό ανιχνευτή σημείων, εφαρμόζει σε πολλές επαναλήψεις για να βελτιώσει την έξοδο. Ένας Support Vector Regressor ή SVR εκπαιδευμένος για να εκτιμά τις διατάξεις των σημείων εξάγει τα σημεία αναφοράς από έναν περιγραφέα εικόνας σε κάθε επανάληψη. Ο περιγραφέας εικόνας DeepFace βασίζεται σε LBP Histograms αν και λαμβάνει υπόψη και άλλα χαρακτηριστικά.

2D Ευθυγράμμιση

Το μοντέλο DeepFace αρχίζει τη διαδικασία ευθυγράμμισης ανιχνεύοντας έξι σημεία αναφοράς μέσα στο περικομμένο τμήμα του ανιχνευμένου προσώπου, κεντραρισμένα στο μέσο των ματιών, στις θέσεις του στόματος και στην άκρη της μύτης. Αυτά χρησιμοποιούνται για να περιστρέψουν, να κλιμακώσουν και να μεταφέρουν την εικόνα σε έξι σημεία αγκύρωσης, και να επαναλάβουν τη διαδικασία μέχρι να μην υπάρχει ορατή αλλαγή. Ο συνδυασμένος μετασχηματισμός παράγει ένα δισδιάστατα ευθυγραμμισμένο τμήμα εικόνας προσώπου. Η μέθοδος ευθυγράμμισης είναι αρκετά παρόμοια με αυτή που χρησιμοποιείται στο LFW-a, και έχει χρησιμοποιηθεί τα τελευταία χρόνια σε μια προσπάθεια να αυξήσει την ακρίβεια του μοντέλου.

3D Ευθυγράμμιση

Για να ευθυγραμμίσει τα πρόσωπα με περιστροφές εκτός επιπέδου, το πλαίσιο DeepFace χρησιμοποιεί ένα γενικό τρισδιάστατο μοντέλο σχήματος, και καταχωρεί μια 3D κάμερα που μπορεί να χρησιμοποιηθεί για να τυλίξει το δισδιάστατα ευθυγραμμισμένο τμήμα της εικόνας στο 3D σχήμα στο επίπεδό του. Ως αποτέλεσμα, το μοντέλο παράγει την τρισδιάστατα ευθυγραμμισμένη εκδοχή του τμήματος της εικόνας, και αυτό επιτυγχάνεται με την τοποθέτηση 67 σημείων αναφοράς στο δισδιάστατα ευθυγραμμισμένο τμήμα της εικόνας χρησιμοποιώντας έναν δεύτερο SVR ή Support Vector Regressor.

Το μοντέλο τοποθετεί στη συνέχεια τα 67 σημεία αγκύρωσης στο 3D σχήμα και είναι σε θέση να επιτύχει πλήρη αντιστοιχία μεταξύ 3D αναφορών και των αντίστοιχων σημείων αναφοράς. Στο επόμενο βήμα, μια αφινική κάμερα από 3D σε 2D προστίθεται χρησιμοποιώντας λύση γενικευμένων ελαχίστων τετραγώνων για τα γραμμικά συστήματα με έναν γνωστό πίνακα συνδιακύμανσης που ελαχιστοποιεί ορισμένες απώλειες.

Μετατροπή σε μετωπική όψη

Επειδή οι μη άκαμπτες παραμορφώσεις και οι πλήρεις προοπτικές προβολές δεν μοντελοποιούνται, η προσαρμοσμένη 3D-2D κάμερα χρησιμεύει μόνο ως μια προσέγγιση. Σε μια προσπάθεια να μειώσει τη διατάραξη των σημαντικών παραγόντων ταυτότητας στο τελικό warp, το μοντέλο DeepFace προσθέτει τα αντίστοιχα υπόλοιπα στις x-y συνιστώσες κάθε αναφοράς σημείου αναφοράς. Τέτοια χαλάρωση για τον σκοπό της μεταμόρφωσης της 2D εικόνας με λιγότερες διαστρεβλώσεις στην ταυτότητα είναι εύλογη, και χωρίς αυτήν, τα πρόσωπα θα είχαν μεταμορφωθεί στο ίδιο σχήμα σε 3D, και θα χάνανε σημαντικούς διακριτικούς παράγοντες στη διαδικασία.

Τελικά, το μοντέλο επιτυγχάνει μετατροπή σε μετωπική όψη χρησιμοποιώντας έναν τμηματικό αφινικό μετασχηματισμό που καθοδηγείται από την τριγωνοποίηση Delaunay που προέρχεται από 67 σημεία αναφοράς.

  1. Ανιχνευμένο πρόσωπο με 6 σημεία αναφοράς.
  2. Δισδιάστατα ευθυγραμμισμένο τμήμα εικόνας προσώπου.
  3. 67 σημεία αναφοράς στο δισδιάστατα ευθυγραμμισμένο τμήμα της εικόνας.
  4. Αναφορά 3D σχήματος μετασχηματισμένη σε δισδιάστατα ευθυγραμμισμένο τμήμα εικόνας προσώπου.
  5. Ορατότητα τριγώνου σε σχέση με την 3D-2D κάμερα.
  6. 67 σημεία αναφοράς που προκύπτουν από το 3D μοντέλο.
  7. 3D-ευθυγραμμισμένη έκδοση του τελικού περικομμένου τμήματος εικόνας.
  8. Νέα όψη που παράγεται από το 3D μοντέλο.

Αναπαράσταση

Με την αύξηση του ποσού των δεδομένων εκπαίδευσης, οι μέθοδοι που βασίζονται στη μάθηση έχουν αποδειχθεί πιο αποτελεσματικές και ακριβείς σε σύγκριση με τα χειροκίνητα σχεδιασμένα χαρακτηριστικά κυρίως επειδή οι μέθοδοι που βασίζονται στη μάθηση μπορούν να ανακαλύψουν και να βελτιώσουν τα χαρακτηριστικά για μια συγκεκριμένη εργασία.

Αρχιτεκτονική DNN και Εκπαίδευση

Το DNN DeepFace εκπαιδεύεται σε μια πολυταξική εργασία αναγνώρισης προσώπου που ταξινομεί την ταυτότητα μιας εικόνας προσώπου.

Το παραπάνω σχήμα αντιπροσωπεύει την συνολική αρχιτεκτονική του μοντέλου DeepFace. Το μοντέλο έχει ένα συνελικτικό επίπεδο (C1) με 32 φίλτρα μεγέθους 11x11x3 που τροφοδοτείται με μια τρισδιάστατα ευθυγραμμισμένη εικόνα RGB τριών καναλιών μεγέθους 152×152 pixel, και παράγει 32 χάρτες χαρακτηριστικών. Αυτοί οι χαρακτηριστικοί χάρτες τροφοδοτούνται στη συνέχεια σε ένα στρώμα Max Pooling ή M2 που λαμβάνει το μέγιστο πάνω από 3×3 χωρικές γειτονιές, και έχει ένα βήμα 2, ξεχωριστά για κάθε κανάλι. Ακολουθεί ένα άλλο συνελικτικό επίπεδο (C3) που αποτελείται από 16 φίλτρα μεγέθους 9x9x16. Ο κύριος σκοπός αυτών των στρωμάτων είναι να εξάγουν χαμηλού επιπέδου χαρακτηριστικά όπως υφή και απλές ακμές. Το πλεονέκτημα της χρήσης στρωμάτων Max Pooling είναι ότι κάνει την έξοδο που παράγεται από τα συνελικτικά επίπεδα πιο ανθεκτική σε τοπικές μετατοπίσεις, και όταν εφαρμόζεται σε ευθυγραμμισμένες εικόνες προσώπου, κάνει το δίκτυο πολύ πιο ανθεκτικό σε σφάλματα ευθυγράμμισης σε μικρή κλίμακα.

Πολλαπλά επίπεδα pooling κάνουν το δίκτυο πιο ανθεκτικό σε ορισμένες καταστάσεις, αλλά επίσης προκαλούν το δίκτυο να χάσει πληροφορίες σχετικά με την ακριβή θέση των μικροϋφών και λεπτών δομών προσώπου. Για να αποφευχθεί η απώλεια πληροφοριών, το μοντέλο DeepFace χρησιμοποιεί ένα στρώμα max pooling μόνο με το πρώτο συνελικτικό επίπεδο. Αυτά τα στρώματα ερμηνεύονται από το μοντέλο ως ένα προσαρμόσιμο βήμα προεπεξεργασίας. Αν και κάνουν την περισσότερη υπολογιστική εργασία, έχουν περιορισμένο αριθμό παραμέτρων από μόνα τους, και απλώς επεκτείνουν την είσοδο σε ένα σύνολο τοπικών χαρακτηριστικών.

Τα επόμενα στρώματα L4, L5 και L6 είναι τοπικά συνδεμένα, και όπως ένα συνελικτικό επίπεδο, εφαρμόζουν ένα σύνολο φίλτρων όπου κάθε θέση στο χαρακτηριστικό χάρτη μαθαίνει ένα μοναδικό σύνολο φίλτρων. Όπως διαφορετικές περιοχές σε μια ευθυγραμμισμένη εικόνα έχουν διαφορετικές τοπικές στατιστικές, δεν μπορεί να ισχύει η υπόθεση χωρικής στασιμότητας. Για παράδειγμα, η περιοχή μεταξύ των φρυδιών και των ματιών έχει υψηλότερη διακριτική ικανότητα σε σύγκριση με την περιοχή μεταξύ του στόματος και της μύτης. Η χρήση τοπικά συνδεμένων στρωμάτων επηρεάζει τον αριθμό των παραμέτρων που υπόκεινται σε εκπαίδευση, αλλά δεν επηρεάζει το υπολογιστικό φορτίο κατά την εξαγωγή χαρακτηριστικών.

Το μοντέλο DeepFace χρησιμοποιεί τρία στρώματα στην πρώτη θέση μόνο επειδή έχει ένα μεγάλο ποσό καλά ετικετωμένων δεδομένων εκπαίδευσης. Η χρήση τοπικά συνδεμένων στρωμάτων μπορεί να δικαιολογηθεί περαιτέρω ως κάθε μονάδα εξόδου ενός τοπικά συνδεμένου στρώματος μπορεί να επηρεαστεί από ένα μεγάλο τμήμα δεδομένων εισόδου.

Τελικά, τα ανώτερα στρώματα είναι πλήρως συνδεμένα με κάθε μονάδα εξόδου που συνδέεται με όλες τις εισόδους. Τα δύο στρώματα μπορούν να καταγράψουν τις συσχετίσεις μεταξύ χαρακτηριστικών που καταγράφονται σε διαφορετικά μέρη των εικόνων προσώπου όπως θέση και σχήμα του στόματος, και θέση και σχήμα των ματιών. Η έξοδος του πρώτου πλήρως συνδεμένου στρώματος (F7) θα χρησιμοποιηθεί από το δίκτυο ως η ακατέργαστη αναπαράσταση χαρακτηριστικών προσώπου. Το μοντέλο θα τροφοδοτήσει την έξοδο του τελευταίου πλήρως συνδεμένου στρώματος (F8) σε μια συνάρτηση softmax K κατευθύνσεων που παράγει μια κατανομή πάνω από τις ετικέτες κατηγοριών.

Σύνολα Δεδομένων

Το μοντέλο DeepFace χρησιμοποιεί ένα συνδυασμό συνόλων δεδομένων με το σύνολο δεδομένων Social Face Classification ή SFC ως το πρωτεύον. Επιπλέον, το μοντέλο DeepFace χρησιμοποιεί επίσης το σύνολο δεδομένων LFW και το σύνολο δεδομένων YTF.

Σύνολο Δεδομένων SFC

Το σύνολο δεδομένων SFC μαθαίνεται από μια συλλογή εικόνων από το Facebook (META ), και αποτελείται από 4,4 εκατομμύρια επισημασμένες εικόνες 4.030 ατόμων με κάθε ένα από αυτά να έχει 800 έως 1200 πρόσωπα. Τα πιο πρόσφατα 5% του συνόλου δεδομένων SFC για κάθε ταυτότητα αφήνονται έξω για δοκιμαστικούς σκοπούς.

Σύνολο Δεδομένων LFW

Το σύνολο δεδομένων LFW αποτελείται από 13.323 φωτογραφίες περισσότερων από 5.000 διασημοτήτων που διαιρούνται σε 6.000 ζευγάρια προσώπων σε 10 διαχωρισμούς.

Σύνολο Δεδομένων YTF

Το σύνολο δεδομένων YTF αποτελείται από 3.425 βίντεο 1.595 ατόμων, και είναι ένα υποσύνολο των διασημοτήτων στο σύνολο δεδομένων LFW.

Αποτελέσματα

Χωρίς μετατροπή σε μετωπική όψη και όταν χρησιμοποιείται μόνο η 2D ευθυγράμμιση, το μοντέλο επιτυγχάνει ένα σκορ ακρίβειας μόνο περίπου 94,3%. Όταν το μοντέλο χρησιμοποιεί το κεντρικό τμήμα της ανιχνευμένης εικόνας προσώπου, δεν χρησιμοποιεί καμία ευθυγράμμιση, και σε αυτήν την περίπτωση, το μοντέλο επιστρέφει ένα σκορ ακρίβειας 87,9% επειδή κάποια μέρη της περιοχής προσώπου μπορεί να πέσουν έξω από το κεντρικό τμήμα της εικόνας. Για να αξιολογήσει την διακριτική ικανότητα της αναπαράστασης προσώπου σε απομόνωση, το μοντέλο ακολουθεί τη ρύθμιση μη επιτηρούμενης μάθησης για να συγκρίνει το εσωτερικό γινόμενο των κανονικοποιημένων χαρακτηριστικών. Αυτό αυξάνει το μέσο σκορ ακρίβειας του μοντέλου σε 95,92%

Το παραπάνω μοντέλο συγκρίνει την απόδοση του μοντέλου DeepFace σε σύγκριση με άλλα μοντέλα αναγνώρισης προσώπου.

Το παραπάνω σχήμα απεικονίζει τις καμπύλες ROC στο σύνολο δεδομένων.

Συμπέρασμα

Ιδανικά, ένας ταξινομητής προσώπου θα ήταν σε θέση να αναγνωρίσει πρόσωπα με την ακρίβεια ενός ανθρώπου, και θα ήταν σε θέση να επιστρέψει υψηλή ακρίβεια ανεξάρτητα από την ποιότητα της εικόνας, τη στάση, την έκφραση ή τον φωτισμό. Επιπλέον, ένα ιδανικό πλαίσιο αναγνώρισης προσώπου θα ήταν σε θέση να εφαρμοστεί σε μια ποικιλία εφαρμογών με λίγες ή καθόλου τροποποιήσεις. Αν και το DeepFace είναι ένα από τα πιο προηγμένα και αποτελεσματικά πλαίσια αναγνώρισης προσώπου που υπάρχουν σήμερα, δεν είναι τέλειο, και μπορεί να μην είναι σε θέση να παράσχει ακριβή αποτελέσματα σε ορισμένες καταστάσεις. Αλλά το πλαίσιο DeepFace είναι ένα σημαντικό ορόσημο στην βιομηχανία αναγνώρισης προσώπου, και κλείνει το χάσμα απόδοσης χρησιμοποιώντας μια ισχυρή τεχνική μάθησης μετρικής, και θα συνεχίσει να γίνεται πιο αποτελεσματικό με τον καιρό.

Ο Kunal Kejriwal είναι μηχανικός back‑end που ειδικεύεται στην Python, PostgreSQL, Redis και στην υποδομή cloud στο GCP και το AWS. Με τρία χρόνια εμπειρίας στην κατασκευή και κλιμάκωση συστημάτων παραγωγής, γράφει για την υποδομή AI, τα κατανεμημένα συστήματα και την αρχιτεκτονική πίσω από την ανάπτυξη φορτίων εργασίας μηχανικής μάθησης.