Η γωνία του Anderson

Η συμπίεση JPEG αυξάνει το ποσοστό σφάλματος αναγνώρισης προσώπου για μη-καυκασιακά πρόσωπα, σύμφωνα με μια μελέτη

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Main image: DALL-E 2.
Βασικά σημείαΗ συμπίεση JPEG αυξάνει τα ποσοστά ψευδούς αντιστοίχισης για πιο σκούρες αποχρώσεις…
Δείτε περισσότερα
  • Η συμπίεση JPEG αυξάνει τα ποσοστά ψευδούς αντιστοίχισης για πιο σκούρες αποχρώσεις δέρματος έως και 34,55%.
  • Η αφαίρεση της υποδειγματοληψίας χρωματικότητας μειώνει την αρνητική επίδραση στην προκατάληψη της αναγνώρισης προσώπου κατά 15,95%.
  • Η εκπαίδευση σε μη συμπιεσμένα δεδομένα δεν διορθώνει την προκατάληψη εάν οι εικόνες συμπερασμού παραμένουν συμπιεσμένες.

Μια νέα μελέτη από το Ηνωμένο Βασίλειο έχει καταλήξει στο συμπέρασμα ότι οι τεχνικές συμπίεσης με απώλεια σε εικόνες JPEG μπορούν να έχουν αρνητική επιρροή στην αποτελεσματικότητα των συστημάτων αναγνώρισης προσώπου, καθιστώντας αυτά τα συστήματα πιο πιθανό να αναγνωρίσουν λανθασμένα ένα μη-καυκασιακό άτομο.

Το έγγραφο αναφέρει:

‘Μέσω ενός εκτεταμένου πειραματικού σχεδιασμού, αποδεικνύουμε ότι οι συνήθεις προσεγγίσεις συμπίεσης εικόνας με απώλεια έχουν μια πιο έντονη αρνητική επιρροή στην απόδοση αναγνώρισης προσώπου για συγκεκριμένες φαινοτυπικές κατηγορίες φυλής, όπως οι σκουρόχρωμες επιδερμίδες (μέχρι και 34,55%).’

Τα αποτελέσματα δείχνουν επίσης ότι η χρωματική υποδειγματοληψία, η οποία μειώνει τις πληροφορίες χρώματος (και όχι τις πληροφορίες φωτεινότητας) σε τμήματα μιας εικόνας προσώπου, αυξάνει το ποσοστό ψευδούς αναγνώρισης (FMR) σε μια σειρά από datasets, πολλά από τα οποία είναι τυποποιημένα αποθετήρια για την υπολογιστική όραση.

Εφαρμογές χρωματικής υποδειγματοληψίας σε μια πηγή εικόνας, σε διαφορετικές ταχύτητες, έχουν μια σαφή επίδραση στο βαθμό στον οποίο διατηρείται το λεπτομέρεια και ο βαθμός στον οποίο οι υποτόνες απλώς 'συγχωνεύονται' η μια στην άλλη, θυσιάζοντας λεπτομέρεια και τα διακριτικά χαρακτηριστικά. Παρακαλώ σημειώστε ότι αυτή η εικόνα μπορεί να υποστεί συμπίεση και αναφέρεστε στο αρχικό έγγραφο για ακριβή ανάλυση. Πηγή: https://arxiv.org/pdf/2208.07613.pdf

Εφαρμογές χρωματικής υποδειγματοληψίας σε μια πηγή εικόνας, σε διαφορετικές ταχύτητες, έχουν μια σαφή επίδραση στο βαθμό στον οποίο διατηρείται το λεπτομέρεια και ο βαθμός στον οποίο οι υποτόνες απλώς ‘συγχωνεύονται’ η μια στην άλλη, θυσιάζοντας λεπτομέρεια και τα διακριτικά χαρακτηριστικά. Παρακαλώ σημειώστε ότι αυτή η εικόνα μπορεί να υποστεί συμπίεση και αναφέρεστε στο αρχικό έγγραφο για ακριβή ανάλυση. Πηγή: https://arxiv.org/pdf/2208.07613.pdf

Η χρωματική υποδειγματοληψία εφαρμόζεται ως ένα πρόσθετο μέτρο εξοικονόμησης στη συμπίεση JPEG επειδή οι άνθρωποι είναι λιγότερο ικανοί να ανιχνεύσουν μειώσεις στη σύνθετη και εύρος των ζωνών χρώματος από τα συστήματα υπολογιστικής όρασης, τα οποία λαμβάνουν αυτές τις ‘συσσωματώσεις’ πολύ πιο κυριολεκτικά από εμάς.

Οι ερευνητές της νέας μελέτης έχουν βρει ότι η αφαίρεση της χρωματικής υποδειγματοληψίας από τη διαδικασία συμπίεσης μειώνει αυτή την αρνητική επίδραση μέχρι και 15,95%, αν και δεν την εξαλείφει πλήρως.

Η μελέτη ισχυρίζεται επίσης ότι η εκπαίδευση σε ασυμπιεσμένα (ή λιγότερο συμπιεσμένα) δεδομένα δεν θα λύσει το πρόβλημα εάν οι εικόνες κατά την εξαγωγή συμπερασμάτων είναι συμπιεσμένες. Αυτό σημαίνει ότι η εκπαίδευση ενός μοντέλου αναγνώρισης προσώπου σε λιγότερο συμπιεσμένες εικόνες δεν θα λύσει την προκατάληψη εάν το τελικό μοντέλο παραγωγής τροφοδοτείται με εικόνες που έχουν τα αναφερόμενα προβλήματα συμπίεσης.

Οι συγγραφείς αναφέρουν*:

‘[Η] χρήση συμπίεσης εικόνας με απώλεια κατά τη διάρκεια της εξαγωγής συμπερασμάτων επηρεάζει αρνητικά την απόδοση των σύγχρονων προσεγγίσεων αναγνώρισης προσώπου σε μια υποκατηγορία φαινοτυπικών ομαδοποιήσεων φυλής (π.χ. σκουρόχρωμες επιδερμίδες, μονολιδικό σχήμα ματιού) και ότι η επίδρασή της είναι παρόντος ανεξάρτητα από το εάν χρησιμοποιούνται συμπιεσμένες εικόνες για την εκπαίδευση του μοντέλου.’

Το έγγραφο υπογραμμίζει τις συνέπειες της συμπίεσης εικόνας στον τομέα της υπολογιστικής όρασης, οι οποίες είχαν εκφραστεί σε κάποιο βαθμό σε μια μελέτη του 2021 από το Πανεπιστήμιο του Μέριλαντ και την Facebook AI.

Είναι ένα δύσκολο ζήτημα να επιλυθεί· ακόμη και αν τα προβλήματα αποθήκευσης και εύρους ζώνης που καθιστούν απαραίτητη τη συμπίεση εξαλειφθούν από την μια μέρα στην άλλη, και ακόμη και αν όλες οι εικόνες χαμηλής ποιότητας που πλημμυρίζουν είκοσι ή περισσότερα χρόνια από datasets στον τομέα ανασυμπιεστούν με καλύτερη ποιότητα συμπίεσης από πηγές υψηλής ποιότητας, θα αντιπροσωπεύουν μια ‘επανεκκίνηση’ της συνέχειας των εργαλείων αξιολόγησης του ακαδημαϊκού τομέα τις τελευταίες δεκαετίες. Η κοινότητα CV έχει, σε πραγματικότητα, συνηθίσει το πρόβλημα, μέχρι τον βαθμό που αντιπροσωπεύει ένα σημαντικό τεχνικό χρέος.

Η φυλετική προκατάληψη στην αναγνώριση προσώπου (FR) έχει γίνει ένα πολυσυζητημένο θέμα στα μέσα ενημέρωσης τα τελευταία χρόνια, προκαλώντας μια συντονισμένη προσπάθεια στην ερευνητική κοινότητα να την εξαλείψει από τα επηρεαζόμενα συστήματα. Ωστόσο, η εξάρτηση του παγκόσμιου ερευνητικού σώματος από ένα περιορισμένο αριθμό ‘χρυσοί προτύπων’ datasets, πολλά από τα οποία είναι είτε μη φυλετικά ισορροπημένα είτε κακώς ετικετωμένα σε αυτόν τον τομέα, διευρύνει την πρόκληση.

Οι ερευνητές της νέας μελέτης σημειώνουν επίσης μια διαφωνία μεταξύ προτύπων απόκτησης εικόνας και των προτύπων που ορίζονται από τη γενική τάση των συνόλων αξιολόγησης της αναγνώρισης προσώπων, αναφέροντας*:

‘[Οι] υφιστάμενες προδιαγραφές απόκτησης εικόνας για συστήματα αναγνώρισης προσώπου όπως ISO/IEC 19794-5 και ICAO 9303 προτείνουν και προδιαγραφές εικόνας (π.χ. φωτισμός, απόκρυψη) και προδιαγραφές υποκειμένου (π.χ. στάση, έκφραση, αξεσουάρ) για να διασφαλίσουν την ποιότητα εικόνας προσώπου.

‘Αντιστοίχως, οι εικόνες προσώπου πρέπει επίσης να αποθηκεύονται χρησιμοποιώντας προδιαγραφές συμπίεσης εικόνας με απώλεια όπως JPEG ή JPEG2000· και αναγνωρίσιμες για φύλο, χρώμα ματιού, χρώμα μαλλιών, έκφραση, ιδιότητες (π.χ. γυαλιά), γωνίες στάσης (yaw, pitch, και roll), και θέσεις ορόσημων.

‘Ωστόσο, οι συνήθεις βάσεις αξιολόγησης αναγνώρισης προσώπων δεν συμμορφώνονται με τα πρότυπα ISO/IEC 19794-5 και ICAO 9303. Επιπλέον, τα δείγματα in-the-wild λαμβάνονται συχνά υπό διαφορετικές συνθήκες κάμερας και περιβάλλοντος ώστε να δοκιμαστούν οι προτεινόμενες λύσεις σε δύσκολες συνθήκες.

‘Ωστόσο, τα περισσότερα δείγματα εικόνας προσώπου εντός τέτοιων datasets είναι συμπιεσμένα μέσω συμπίεσης JPEG με απώλεια.’

Οι συγγραφείς της νέας εργασίας αναφέρουν ότι οι μελλοντικές τους προσπάθειες θα εξετάσουν την επίδραση της κβάντισης εικόνων με απώλειες σε διαφορετικά πλαίσια αναγνώρισης προσώπου και θα προτείνουν πιθανές μεθόδους για τη βελτίωση της ισότητας αυτών των συστημάτων.

Το νέο έγγραφο έχει τον τίτλο Η συμπίεση εικόνας με απώλεια επηρεάζει την προκατάληψη φυλής στην αναγνώριση προσώπου;, και προέρχεται από τρεις ερευνητές στο Imperial College London, μαζί με έναν από τη βιβλιοθήκη βαθιάς ανάλυσης προσώπου InsightFace.

Δεδομένα και Μέθοδος

Για τους πειραματισμούς τους, οι ερευνητές χρησιμοποίησαν τις ανοιχτές βιβλιοθήκες ImageMagick και libjpeg για να δημιουργήσουν εκδόσεις των εικόνων δεδομένων σε διαφορετικά επίπεδα συμπίεσης.

Για μια αρχική επισκόπηση των επιπτώσεων της συμπίεσης, οι συγγραφείς μελέτησαν τις επιπτώσεις του λόγου σήματος προς θόρυβο (PSNR) σε τέσσερα διαφορετικά επίπεδα συμπίεσης JPEG στο dataset Racial Faces in-the-Wild (RFW).

Βαθμοί PSNR για το dataset Racial Faces-in-the-Wild, δείχνοντας το βαθμό στον οποίο η συμπίεση μπορεί να επηρεάσει τις ικανότητες αναγνώρισης για συμπιεσμένες εικόνες.

Βαθμοί PSNR για το dataset Racial Faces-in-the-Wild, δείχνοντας το βαθμό στον οποίο η συμπίεση μπορεί να επηρεάσει τις ικανότητες αναγνώρισης για συμπιεσμένες εικόνες.

Εκτός από άλλους πειραματισμούς, διεξήγαγαν έρευνα σε ένα dataset που δεν ήταν φυλετικά ισορροπημένο, και σε ένα άλλο που ήταν φυλετικά ισορροπημένο. Για το φυλετικά ισορροπημένο dataset, χρησιμοποίησαν τη συνάρτηση Additive Angular Margin Loss (ArcFace) με ResNet101v2, στο αρχικό VGGFace2 dataset, το οποίο περιέχει 3,3 εκατομμύρια εικόνες με 8631 άτομα με φυλετικά μη ισορροπημένη κατανομή.

Για τον πειραματισμό, οι ερευνητές χρησιμοποίησαν το dataset RFW. Το σύστημα εκπαιδεύτηκε τέσσερις φορές, σε τέσσερα διαφορετικά επίπεδα συμπίεσης, με αποτέλεσμα τέσσερα μοντέλα ArcFace.

Για το φυλετικά ισορροπημένο dataset, τα ίδια πλαίσια χρησιμοποιήθηκαν αρχικά στο αρχικό ευθυγραμμισμένο dataset BUPT-Balanced, το οποίο περιέχει 28.000 πρόσωπα ισορροπημένα σε τέσσερις ομάδες Αφρική, Ασία, Ινδία, και Καυκάσια, με κάθε φυλή να αντιπροσωπεύεται από 7000 εικόνες. Όπως και με το μη φυλετικά ισορροπημένο dataset, τέσσερα μοντέλα ArcFace αποκτήθηκαν με αυτόν τον τρόπο.

Επιπλέον, οι ερευνητές αναπαράγαγαν τις επιπτώσεις της συμπιεσμένης και μη συμπιεσμένης εκπαίδευσης, αφαιρώντας τη χρωματική υποδειγματολήψη, για να μετρήσουν την επίδρασή της στην απόδοση.

Αποτελέσματα

Το ποσοστό ψευδούς αναγνώρισης (FMR) σε αυτά τα datasets μετρήθηκε. Οι κριτήριοι που οι ερευνητές αναζητούσαν ήταν προκαθορισμένοι φαινότυποι που σχετίζονται με φυλετικές χαρακτηριστικές Τύπος δέρματος (1, 2, 3, 4, 5 ή 6), Τύπος βλεφάρου (Μονολιδικό/Άλλο), Σχήμα μύτης (Πλατύ/Στενό), Σχήμα χειλιών (Πλήρη/Μικρό), Τύπος μαλλιών (Ίσια/Κυματιστά/Σγουρά/Φαλάκρα), και Χρώμα μαλλιών – μετρήσεις που προέρχονται από το έγγραφο Μέτρηση κρυφής προκατάληψης στην αναγνώριση προσώπου μέσω φυλετικών φαινοτύπων.

Το έγγραφο αναφέρει:

‘Παρατηρούμε ότι για όλα τα επιλεγμένα επίπεδα συμπίεσης q = {5, 10, 15, 95}, το FMR αυξάνει όταν εφαρμόζεται συμπίεση με απώλεια, δείχνοντας ότι το επίπεδο συμπίεσης 5 (η υψηλότερη αναλογία συμπίεσης) οδηγεί στην πιο σημαντική μείωση της απόδοσης FMR, ενώ το επίπεδο συμπίεσης 95 (η χαμηλότερη αναλογία συμπίεσης) δεν οδηγεί σε καμία αξιοσημείωτη διαφορά στην απόδοση FMR.’

Ένα δείγμα από τα εκτεταμένα γραφήματα αποτελεσμάτων της μελέτης, τα οποία είναι πολύ μεγάλα και πολλά για να αναπαραχθούν εδώ – παρακαλώ δείτε το αρχικό έγγραφο για καλύτερη ανάλυση και πλήρη αποτελέσματα. Εδώ, βλέπουμε το φάσμα της απόδοσης FMR σε μια σειρά από εικόνες προσώπου VGGFace2, σε μια σειρά που περιλαμβάνει ασυμπιεσμένες ή ελάχιστα συμπιεσμένες εικόνες.

Ένα δείγμα από τα εκτεταμένα γραφήματα αποτελεσμάτων της μελέτης, τα οποία είναι πολύ μεγάλα και πολλά για να αναπαραχθούν εδώ – παρακαλώ δείτε το αρχικό έγγραφο για καλύτερη ανάλυση και πλήρη αποτελέσματα. Εδώ, βλέπουμε το φάσμα της απόδοσης FMR σε μια σειρά από εικόνες προσώπου VGGFace2, σε μια σειρά που περιλαμβάνει ασυμπιεσμένες ή ελάχιστα συμπιεσμένες εικόνες.

Το έγγραφο καταλήγει:

‘Συνολικά, η αξιολόγησή μας βρίσκει ότι η χρήση συμπιεσμένων δειγμάτων εικόνας με απώλεια κατά τη διάρκεια της εξαγωγής συμπερασμάτων μειώνει την απόδοση πιο σημαντικά σε συγκεκριμένες φαινοτυπικές κατηγορίες, συμπεριλαμβανομένων του σκουρόχρωμου δέρματος, του πλατύ μύτη, των σγουρών μαλλιών και του μονολιδικού ματιού σε όλες τις άλλες φαινοτυπικές ιδιότητες.

‘Ωστόσο, η χρήση συμπιεσμένων εικόνων κατά τη διάρκεια της εκπαίδευσης κάνει τα μοντέλα που προκύπτουν πιο ανθεκτικά και περιορίζει την υποβάθμιση της απόδοσης που παρατηρείται: η χαμηλότερη απόδοση μεταξύ συγκεκριμένων φυλετικά ευθυγραμμισμένων υποομάδων παραμένει. Επιπλέον, η αφαίρεση της χρωματικής υποδειγματολήψης βελτιώνει το FMR για συγκεκριμένες φαινοτυπικές κατηγορίες που επηρεάζονται περισσότερο από τη συμπίεση με απώλεια.’

 

* Η μετατροπή των ενσωματωμένων παραπομπών των συγγραφέων σε υπερσύνδεσμους.

Πρώτη δημοσίευση 22ης Αυγούστου 2022.

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai