Η Υπερερμηνεία μπορεί να είναι ένας μεγαλύτερος και πιο δυσχερής κίνδυνος από την Υπερπροσαρμογή

Αν ο καλός σας φίλος, η Άλικη, της αρέσουν τα κίτρινα πουλόβερ, θα δείτε πολλά περισσότερα κίτρινα πουλόβερ από τον μέσο άνθρωπο. Μετά από κάποιο διάστημα, είναι πιθανό ότι όταν δείτε μια διαφορετική γυναίκα να φοράει ένα κίτρινο πουλόβερ, η βασική концепция Άλικη θα σας έρθει στο μυαλό.

Αν δείτε μια γυναίκα να φοράει ένα κίτρινο πουλόβερ που μοιάζει λίγο με την Άλικη, μπορείτε ακόμη και να την confound για λίγο με την φίλη σας.

Αλλά δεν είναι η Άλικη. Τελικά, θα καταλάβετε ότι κίτρινο πουλόβερ δεν είναι ένα χρήσιμο κλειδί για την αναγνώριση της Άλικη,既然 δεν φοράει πάντα κίτρινα πουλόβερ το χειμώνα και δεν τα φοράει ποτέ το καλοκαίρι. Κάποια στιγμή στην φιλία, θα αρχίσετε να μειώνετε κίτρινο πουλόβερ ως πιθανό идентифικатор Άλικη, γιατί η εμπειρία σας με αυτό δεν ήταν ικανοποιητική και η γνωστική ενέργεια που χρησιμοποιείται για τη διατήρηση αυτού του συντομεύματος δεν ανταποκρίνεται συχνά.

Αν είστε ένα σύστημα αναγνώρισης εικόνων με βάση τον υπολογιστή, ωστόσο, είναι πιθανό ότι θα δείτε την Άλικη παντού που βλέπετε ένα κίτρινο πουλόβερ.

Δεν είναι η υπαιτιότητα σας· σας έχει ανατεθεί να αναγνωρίσετε την Άλικη με κάθε κόστος, από τις ελάχιστες διαθέσιμες πληροφορίες, και δεν υπάρχει έλλειψη γνωστικών πόρων για τη διατήρηση αυτού του Αλίκη crib.

Παράξενος Διακρίβωση

Σύμφωνα με một πρόσφατο έγγραφο από το MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) και Amazon Web Services, αυτό το σύνδρομο, που ονομάζεται υπερερμηνεία, είναι συχνό στο πεδίο της έρευνας της οπτικής αναγνώρισης (CV)· δεν μπορεί να μειωθεί με την αντιμετώπιση της υπερπροσαρμογής (καθώς δεν είναι ένα άμεσο παραπόλυμα της υπερπροσαρμογής)· είναι συνήθως εμφανές σε έρευνες που χρησιμοποιούν τα δύο πιο επιδραστικά σύνολα δεδομένων στην αναγνώριση και μετασχηματισμό εικόνων, CIFAR-10 και ImageNet· και δεν έχει εύκολες λύσεις – σίγουρα δεν έχει φθηνές λύσεις.

Οι ερευνητές βρήκαν ότι όταν μειώνουν τις εικόνες εισόδου εκπαίδευσης σε ένα απλό 5% του συνεκτικού περιεχομένου τους, một ευρύ φάσμα δημοφιλών πλαισίων συνέχισε να ταξινομεί σωστά τις εικόνες, οι οποίες εμφανίζονται, στις περισσότερες περιπτώσεις, ως οπτική ‘ανοησία’ σε οποιοδήποτε ανθρώπινο παρατηρητή:

Αρχικές εικόνες εκπαίδευσης από το CIFAR-10, μειωμένες σε μόλις 5% του αρχικού περιεχομένου pixel, και ταξινομημένες σωστά από μια σειρά από πολύ δημοφιλείς πλαισιά CV με ακρίβεια μεταξύ 90-99%. Πηγή: https://arxiv.org/pdf/2003.08907.pdf

Σε ορισμένες περιπτώσεις, τα πλαισιά ταξινόμησης βρήκαν αυτές τις εικόνες πιο εύκολες να ταξινομηθούν σωστά από τις πλήρεις εικόνες στις αρχικές δεδομένες εκπαίδευσης, με τους συγγραφείς να παρατηρούν ‘[CNNs] είναι πιο βέβαιες σε αυτά τα υποσύνολα pixel από ότι στις πλήρεις εικόνες’.

Αυτό υποδηλώνει ένα πιθανό υπονόμευση τύπου ‘απατεώνας’ που συμβαίνει ως κοινή πρακτική για συστήματα CV που χρησιμοποιούν σύνολα δεδομένων βENCHMARK όπως το CIFAR-10 και το ImageNet, και πλαισιά βENCHMARK όπως VGG16, ResNet20, και ResNet18.

Η υπερερμηνεία έχει αξιοσημείωτες επιπτώσεις για συστήματα αυτόνομων οχημάτων με βάση την οπτική αναγνώριση, τα οποία έχουν έρθει στο επίκεντρο πρόσφατα με την απόφαση της Tesla να προτιμήσει την ερμηνεία εικόνων έναντι του LiDAR και άλλων συστημάτων αισθητήρων για αλγόριθμους αυτόνομης οδήγησης.

Αν και η ‘μάθηση συντομεύματος’ είναι ένα γνωστό πρόβλημα, και ένα πεδίο ενεργής έρευνας στην οπτική αναγνώριση, οι συγγραφείς του εγγράφου σχολιάζουν ότι η Γερμανική/Καναδική έρευνα που οριοθέτησε το πρόβλημα το 2019 δεν αναγνωρίζει ότι τα ‘ψευδή’ υποσύνολα pixel που χαρακτηρίζουν την υπερερμηνεία είναι ‘στατιστικά έγκυρα δεδομένα’, τα οποία μπορεί να χρειαστεί να αντιμετωπιστούν σε σχέση με την αρχιτεκτονική και τις υψηλότερες προσεγγίσεις, 而不是 μέσω μιας πιο προσεκτικής επιμέλειας των συνόλων δεδομένων.

Το έγγραφο έχει τον τίτλο Η υπερερμηνεία αποκαλύπτει παθολογίες μοντέλων ταξινόμησης εικόνων, και προέρχεται από τους Brandon Carter, Siddhartha Jain, και David Gifford στο CSAIL, σε συνεργασία με τον Jonas Mueller από την Amazon Web Services. Ο κώδικας για το έγγραφο είναι διαθέσιμος στο https://github.com/gifford-lab/overinterpretation.

Μειώνοντας τα Δεδομένα

Οι εικόνες που έχουν μειωθεί στα δεδομένα που έχουν οι ερευνητές ονομάζονται από αυτούς Εύκολες Υποσύνολα Εισόδου (SIS) – στην πραγματικότητα, μια εικόνα SIS περιέχει το ελάχιστο ‘εξωτερικό σκελετό’ που μπορεί να περιγράψει μια εικόνα αρκετά καλά για να επιτρέψει σε ένα σύστημα οπτικής αναγνώρισης να αναγνωρίσει το αρχικό αντικείμενο της εικόνας (π.χ. σκύλος, πλοίο, κ.λπ.).

Στην παραπάνω σειρά, βλέπουμε πλήρεις εικόνες επαλήθευσης ImageNet· κάτω, τα υποσύνολα SIS, ταξινομημένα σωστά από ένα μοντέλο Inception V3 με 90% πιστότητα, με βάση, φαινομενικά, όλα όσα παραμένουν από την εικόνα – контекστ 배ckground. Φυσικά, η τελευταία στήλη έχει αξιοσημείωτες επιπτώσεις για την αναγνώριση σημάτων σε αλγόριθμους αυτόνομης οδήγησης.

Σχολιάζοντας τα αποτελέσματα που λήφθηκαν στην παραπάνω εικόνα, οι ερευνητές παρατηρούν:

‘Βρίσκουμε ότι τα υποσύνολα SIS είναι συγκεντρωμένα έξω από το πραγματικό αντικείμενο που καθορίζει την ετικέτα κατηγορίας. Για παράδειγμα, στην εικόνα “pizza”, το SIS είναι συγκεντρωμένο στη μορφή του πιάτου και του παρασκηνίου τραπεζιού, και όχι στην πίτσα herself, υποδεικνύοντας ότι το μοντέλο θα μπορούσε να γενικεύσει κακώς σε εικόνες που περιέχουν διαφορετικά κυκλικά αντικείμενα σε ένα τραπέζι. Στην εικόνα “γίγαντας πάντα”, το SIS περιέχει bamboo, το οποίο πιθανότατα εμφανίστηκε στη συλλογή φωτογραφιών ImageNet για αυτήν την κατηγορία.

‘Στις εικόνες “traffic light” και “street sign”, το SIS αποτελείται από pixels στο ουρανό, υποδεικνύοντας ότι τα συστήματα αυτόνομης οδήγησης που μπορεί να εξαρτώνται από αυτά τα μοντέλα θα πρέπει να αξιολογηθούν προσεκτικά για παθολογίες υπερερμηνείας.’

Οι εικόνες SIS δεν έχουν κοπεί τυχαία, αλλά δημιουργήθηκαν για το έργο από μια διαδικασία Batched Gradient Backselect, στο Inception V3 και ResNet50 μέσω PyTorch. Οι εικόνες προέρχονται από μια διαδικασία αφαίρεσης που λαμβάνει υπόψη τη σχέση μεταξύ της ικανότητας του μοντέλου να ταξινομήσει σωστά μια εικόνα και των περιοχών στις οποίες το αρχικό δεδομένο αφαιρείται.

Για να επιβεβαιώσουν την εγκυρότητα των SIS, οι συγγραφείς δοκιμάζουν μια διαδικασία τυχαίας αφαίρεσης pixel, και βρήκαν τα αποτελέσματα ‘σημαντικά λιγότερο πληροφοριακά’ σε δοκιμές, υποδεικνύοντας ότι οι εικόνες SIS αντιπροσωπεύουν πραγματικά το ελάχιστο δεδομένο που χρειάζονται τα δημοφιλή μοντέλα και τα σύνολα δεδομένων για να κάνουν αποδεκτές προβλέψεις.

Μια ματιά σε οποιαδήποτε από τις μειωμένες εικόνες υποδηλώνει ότι αυτά τα μοντέλα θα πρέπει να αποτύχουν σύμφωνα με τα ανθρώπινα επίπεδα οπτικής διάκρισης, τα οποία θα οδηγούσαν σε μια μέση ακρίβεια λιγότερη από 20%.

Με εικόνες SIS μειωμένες σε μόλις 5% των αρχικών pixel, οι άνθρωποι σχεδόν δεν επιτύγχαναν μια ‘μεγαλύτερη από τυχαία’ ταξινόμηση, σε σύγκριση με το 90-99% της ταξινόμησης των δημοφιλών συνόλων δεδομένων και πλαισίων που μελετήθηκαν στο έγγραφο.

Πέρα από την Υπερπροσαρμογή

Η υπερπροσαρμογή συμβαίνει όταν ένα μοντέλο μηχανικής μάθησης εκπαιδεύεται τόσο εκτενώς σε ένα σύνολο δεδομένων που γίνεται ικανό να κάνει προβλέψεις για αυτό το συγκεκριμένο δεδομένο, αλλά είναι πολύ λιγότερο αποτελεσματικό (ή ακόμη και τελείως αναποτελεσματικό) σε νέα δεδομένα που εισάγονται σε αυτό μετά την εκπαίδευση (εξω-κατανομή δεδομένα).

Οι ερευνητές σημειώνουν ότι το τρέχον ακαδημαϊκό και βιομηχανικό ενδιαφέρον για την καταπολέμηση της υπερπροσαρμογής δεν θα λύσει ταυτόχρονα την υπερερμηνεία, γιατί τα υποσύνολα pixel που αντιπροσωπεύουν αναγνωρίσιμες εικόνες για τους υπολογιστές και ανοησίες για τους ανθρώπους είναι στην πραγματικότητα πραγματικά εφαρμόσιμα δεδομένα, και όχι μια ‘εμμονή’ σε κακοδιατηρημένα ή αναιμικά δεδομένα:

‘Η υπερερμηνεία σχετίζεται με την υπερπροσαρμογή, αλλά η υπερπροσαρμογή μπορεί να διαγνωστεί μέσω μειωμένης ακρίβειας δοκιμής. Η υπερερμηνεία μπορεί να προέρχεται από αληθινά στατιστικά σήματα στην υποκείμενη κατανομή δεδομένων που συμβαίνουν να προέρχονται από συγκεκριμένες ιδιότητες της πηγής δεδομένων (π.χ. κανόνια δερματολόγων).

‘Έτσι, η υπερερμηνεία μπορεί να είναι πιο δύσκολο να διαγνωστεί, καθώς επιτρέπει αποφάσεις που λαμβάνονται με στατιστικά έγκυρα κριτήρια, και τα μοντέλα που χρησιμοποιούν τέτοια κριτήρια μπορούν να ξεχωρίσουν σε βENCHMARK.’

Πιθανές Λύσεις

Οι συγγραφείς προτείνουν ότι η συσσωμάτωση μοντέλων, όπου πολλαπλά αρχιτεκτονικά συνεισφέρουν στην αξιολόγηση και την εκπαίδευση, θα μπορούσε να μετριάσει την υπερερμηνεία. Επίσης, βρήκαν ότι η εφαρμογή απώλειας εισόδου, αρχικά σχεδιασμένη για να εμποδίσει την υπερπροσαρμογή, οδήγησε σε ‘μια μικρή μείωση’ στην ακρίβεια του CIFAR-10 (η οποία είναι πιθανότατα επιθυμητή), αλλά μια ‘σημαντική’ (∼ 6%) αύξηση στην ακρίβεια των μοντέλων σε μη είδικες δεδομένα. Ωστόσο, τα χαμηλά νούμερα υποδηλώνουν ότι οποιαδήποτε επόμενη θεραπεία για την υπερπροσαρμογή είναι απίθανο να αντιμετωπίσει πλήρως την υπερερμηνεία.

Οι συγγραφείς παραδέχονται την πιθανότητα χρήσης χαρτών σαλημίας για να υποδείξουν ποιες περιοχές μιας εικόνας είναι σχετικές για την εξαγωγή χαρακτηριστικών, αλλά σημειώνουν ότι αυτό αντιβαίνει στο στόχο της αυτόματης ανάλυσης εικόνων, και απαιτεί ανθρώπινη αναγραφή που είναι ακατόρθωτη σε κλίμακα. Επίσης, παρατηρούν ότι οι χάρτες σαλημίας έχουν βρεθεί να είναι μόνο χονδρές εκτιμήτριες σε σχέση με την είσοδο στο μοντέλο.

Το έγγραφο ολοκληρώνεται:

‘Δεδομένης της ύπαρξης μη-σαλημικών υποσυνόλων pixel που μόνα τους αρκούν για σωστή ταξινόμηση, ένα μοντέλο μπορεί να βασιστεί αποκλειστικά σε αυτά τα μοτίβα. Σε αυτήν την περίπτωση, μια μέθοδος ερμηνείας που περιγράφει πιστά το μοντέλο θα πρέπει να εξόδου αυτά τα ανοησικά επιχειρήματα, ενώ οι μέθοδοι ερμηνείας που προκαλούν επιχειρήματα προς ανθρώπινες προϋποθέσεις μπορεί να παράγουν αποτελέσματα που εξαπατούν τους χρήστες να πιστεύουν ότι τα μοντέλα τους συμπεριφέρονται όπως προορίζονται.’

Πρώτη δημοσίευση 13ης Ιανουαρίου 2022.