Αξιολόγηση της Ιστορικής Ακρίβειας του ImageNet

Μια νέα μελέτη από το Google Research και το UC Berkeley προστίθεται στην κритicism σχετικά με την εξάρτηση του τομέα της έρευνας της υπολογιστικής όρασης (CV) από το σεβαστό ImageNet dataset και τις πολλές παραγωγές του. Μετά από μια μεγάλη ποσότητα χειρονακτικής αξιολόγησης, οι συγγραφείς καταλήγουν στο συμπέρασμα ότι σχεδόν το 50% των λανθασμένων προβλέψεων που κάνουν τα καλύτερα μοντέλα στο υποσύνολο της ImageNet (όπου τα τρέχοντα μοντέλα επιτυχίας επιτύγχανον περισσότερο από 97% ακρίβεια) δεν είναι στην πραγματικότητα λάθη.

Από το έγγραφο:

‘Η ανάλυση μας αποκαλύπτει ότι σχεδόν η μισή από τις υποτιθέμενες λάθη δεν είναι λάθη καθ’ όλα, και ανακαλύψαμε νέες έγκυρες πολλαπλές ετικέτες, αποδεικνύοντας ότι, χωρίς προσεκτική ανασκόπηση, υποτιμούμε σημαντικά την απόδοση αυτών των μοντέλων.

‘Από την άλλη πλευρά, βρήκαμε επίσης ότι τα καλύτερα μοντέλα σήμερα vẫn κάνουν ένα σημαντικό αριθμό λανθασμένων προβλέψεων (40%) που είναι προφανώς λάθος για τους ανθρώπινους κριτές.’

Το βαθμό στον οποίο η λανθασμένη ετικέτα των συνόλων δεδομένων – ιδιαίτερα από μη ειδικευμένους εργαζόμενους – μπορεί να στρέφει τον τομέα, αποκαλύφθηκε από την μελέτη της μεθοδικής αξιολόγησης των ζευγών εικόνας/κειμένου σε ένα μεγάλο τμήμα της ιστορίας της ImageNet.

Στην πρώτη σειρά, παραδείγματα Σεβασμού Λάθους: στα δύο πρώτα παραδείγματα εδώ, το νέο μοντέλο απλά λανθάνει την προβλεπόμενη ετικέτα λάθος; στο τρίτο παράδειγμα, το νέο μοντέλο αναγνωρίζει μια προηγουμένως λείπουσα πολλαπλή ετικέτα (μια ετικέτα που διευθύνει μια νέα κατηγοριοποίηση της εικόνας); στην τελευταία εικόνα της πρώτης σειράς, η πρόβλεψη του μοντέλου είναι αμφίβολη, επειδή η εικόνα είναι μια μέλισσα-μύγα και όχι μια μύγα. Ωστόσο, η μέση μέλισσα ανήκει στην τάξη εντόμων Diptera, και έτσι αυτή η εξαίρεση θα ήταν σχεδόν αδύνατο να ανιχνευθεί, ακόμη και για έναν ειδικό annotator. Στην σειρά κάτω υπάρχουν τέσσερις κατηγορίες λανθασμένων, με παραδείγματα.  Πηγή: https://arxiv.org/pdf/2205.04596.pdf

Οι ερευνητές χρησιμοποίησαν ένα μικρό αριθμό αφοσιωμένων αξιολογητών για να αναλύσουν προσεκτικά τα ιστορικά αρχεία λανθασμένων στην αξιολόγηση του συνόλου δεδομένων ImageNet, βρίσκοντας ότι πολλά από τα λανθασμένα κρίματα είναι στην πραγματικότητα λάθη – μια ανακάλυψη που потенτικά αναθεωρεί κάποια από τα κακά σκορ που πολλά έργα έχουν λάβει στην αξιολόγηση της ImageNet τα τελευταία χρόνια.

Καθώς η ImageNet εδραιώνεται στην κουλτούρα της υπολογιστικής όρασης, οι ερευνητές υποστηρίζουν ότι οι βελτιώσεις στην ακρίβεια θεωρούνται ότι προσφέρουν μειωμένα οφέλη, και ότι τα νέα μοντέλα που υπερβαίνουν την καθιερωμένη ακρίβεια ετικέτας και που προτείνουν νέες (δηλ. πρόσθετες) ετικέτες μπορεί να τιμωρούνται, ουσιαστικά, για μη συμμόρφωση.

‘Για παράδειγμα,’ οι συγγραφείς παρατηρούν. ‘πρέπει να τιμωρήσουμε τα μοντέλα για το ότι είναι τα πρώτα που προβλέπουν ότι ένα προ-ψημένο μπαγκέλ μπορεί να είναι ένα μπαγκέλ, όπως ένα από τα μοντέλα που αναλύουμε σε αυτή τη δουλειά;’

Από το έγγραφο, ένα νεότερο μοντέλο αμφισβητεί την προηγούμενη πρόβλεψη ότι το αντικείμενο στη φωτογραφία είναι ζύμη, και προτείνει ότι το αντικείμενο είναι στην πραγματικότητα ήδη ένα μπαγκέλ).

Από την οπτική γωνία ενός εργαζόμενου που έχει ανατεθεί να αναγνωρίσει τέτοιο αντικείμενο, αυτό είναι ένα σεμαντικό και ακόμη φιλοσοφικό δίλημμα που μπορεί να λυθεί μόνο με πολλαπλή ετικέτα (όπως συχνά συμβαίνει σε μεταγενέστερα υποσύνολα και επόμενες επαναλήψεις της ImageNet); στην περίπτωση αυτή, το αντικείμενο είναι στην πραγματικότητα και ζύμη και τουλάχιστον ένα incipient μπαγκέλ.

Κύρια (πάνω) και δευτερεύοντα (κάτω) λάθη που προέκυψαν κατά τη δοκιμή των εξατομικευμένων μοντέλων στην έρευνα. Οι αρχικές ετικέτες ImageNet είναι οι πρώτες εικόνες αριστερά.

Οι δύο προφανείς λύσεις είναι να ανατεθούν περισσότεροι πόροι στην ετικέτα (που είναι μια πρόκληση, μέσα στα οριακά περιθώρια του προϋπολογισμού της większości των έργων έρευνας υπολογιστικής όρασης); και, όπως τονίζουν οι συγγραφείς, να ενημερωθούν τακτικά τα σύνολα δεδομένων και τα υποσύνολα αξιολόγησης ετικέτας (τα οποία, μεταξύ άλλων εμποδίων, κινδυνεύουν να σπάσουν την ‘όπως για όπως’ ιστορική συνέχεια των βενδορών, και να σπείρουν новые έρευνες με προειδοποιήσεις και δικαιολογίες σχετικά με την ισοδυναμία).

Ως ένα βήμα για την αποκατάσταση της κατάστασης, οι ερευνητές έχουν αναπτύξει ένα νέο υποσύνολο της ImageNet που ονομάζεται ImageNet-Major (ImageNet-M), το οποίο περιγράφουν ως ‘ένα 68-παράδειγμα “μεγάλου λάθους” τομέα των προφανών λανθασμένων που κάνουν τα σημερινά κορυφαία μοντέλα—ένα τομέα όπου τα μοντέλα θα πρέπει να επιτύχουν σχεδόν την απόλυτη ακρίβεια, αλλά σήμερα είναι μακριά από το να το κάνουν così.’

Το έγγραφο έχει τον τίτλο Πότε γίνεται η ζύμη μπαγκέλ; Αναλύοντας τα υπόλοιπα λάθη στο ImageNet, και γράφτηκε από τέσσερις συγγραφείς από το Google Research, μαζί με την Sara Fridovich-Keil του UC Berkeley.

Τεχνολογικό Χρέος

Τα ευρήματα είναι σημαντικά επειδή τα υπόλοιπα λάθη που αναγνωρίζονται (ή λανθασμένα αναγνωρίζονται) στην ImageNet, στα 16 χρόνια από την ίδρυσή της, η κεντρική μελέτη της έρευνας, μπορεί να αντιπροσωπεύουν τη διαφορά μεταξύ ενός μοντέλου που μπορεί να αναπτυχθεί και ενός που είναι λανθασμένο enough που δεν μπορεί να απελευθερωθεί σε ζωντανούς δεδομένους. Όπως πάντα, η τελευταία μίλη είναι κρίσιμη.

Ο τομέας της έρευνας υπολογιστικής όρασης και σύνθεσης εικόνας έχει ουσιαστικά ‘αυτο-επιλέξει’ την ImageNet ως μετρική βενδώρα, για μια σειρά από λόγους — όχι τουλάχιστον επειδή μια έξαρση πρώτων υιοθετών, σε μια εποχή όπου τα σύνολα δεδομένων υψηλής ποιότητας και καλά ετικετών ήταν σπανιότερα από ότι είναι τώρα, παρήγαγε इतनές πρωτοβουλίες έρευνας που η δοκιμή κατά της ImageNet γρήγορα έγινε η μόνη ευρέως εφαρμόσιμη ιστορική ‘πρότυπο’ για την αξιολόγηση νέων πλαισίων.

Μέθοδος

Αναζητώντας τα ‘υπόλοιπα λάθη’ στην ImageNet, οι ερευνητές χρησιμοποίησαν ένα τυπικό ViT μοντέλο (ικανό να επιτύχει ακρίβεια 89.5%) με 3 δισεκατομμύρια παραμέτρους, Vit-3B, προ-εκπαιδευμένο στο JFT-3B και τελειοποιημένο στο ImageNet-1K.

Χρησιμοποιώντας το ImageNet2012_multilabel σύνολο δεδομένων, οι ερευνητές κατέγραψαν την αρχική πολλαπλή ακρίβεια (MLA) του ViT-3B ως 96.3%, κατά τη διάρκεια της οποίας το μοντέλο έκανε 676 φαινομενικά λάθη. Ήταν αυτά τα λάθη (και επίσης λάθη που παράγονται από ένα Greedy Soups μοντέλο) που οι συγγραφείς ζήτησαν να ερευνήσουν.

Για να αξιολογήσουν τα υπόλοιπα 676 λάθη, οι συγγραφείς απέφυγαν τους crowdworkers, παρατηρώντας ότι λάθη αυτού του τύπου μπορούν να είναι δυσκόλες για τους μέσους annotators να ανιχνεύσουν, αλλά συνέλεξαν einen πίνακα από πέντε εμπειρογνώμονες reviewers, και δημιούργησαν ένα αφοσιωμένο εργαλείο για να επιτρέψουν σε κάθε reviewer να δει με μια ματιά την προβλεπόμενη κατηγορία; την προβλεπόμενη βαθμολογία; τις ground truth ετικέτες; και την εικόνα herself.

Το UI που κατασκευάστηκε για το έργο.

Σε ορισμένες περιπτώσεις, ήταν απαραίτητη περαιτέρω έρευνα για να λυθούν διαμάχες μεταξύ του πίνακα, και η Google Image αναζήτηση χρησιμοποιήθηκε ως βοηθητικό εργαλείο.

‘[Σε] μια ενδιαφέρουσα αλλά όχι απομονωμένη περίπτωση, μια πρόβλεψη ενός ταξί (με κανένα προφανή ταξί ενδείξεις πέρα από το κίτρινο χρώμα) ήταν παρόν στην εικόνα; καθόρισα την πρόβλεψη να είναι σωστά ένα ταξί και όχι απλά ένα τυπικό όχημα από το να αναγνωρίσω μια γέφυρα ορόσημο στο φόντο για να τοποθετήσω την πόλη, και μια επόμενη εικόνα αναζήτηση για ταξί σε αυτή την πόλη έδωσε τις εικόνες του ίδιου ταξί μοντέλου και σχεδίου πινακίδας, επικυρώνοντας την πρόβλεψη του μοντέλου.’

Μετά την αρχική ανασκόπηση των λανθασμένων που βρέθηκαν σε διάφορες φάσεις της έρευνας, οι συγγραφείς διατύπωσαν τέσσερις νέες τύποι λανθασμένων: λεπτομερές λάθος, όπου η προβλεπόμενη κατηγορία είναι παρόμοια με μια ground truth ετικέτα; λεπτομερές με out-of-vocabulary (OOV), όπου το μοντέλο αναγνωρίζει ένα αντικείμενο της οποίας η κατηγορία είναι σωστή αλλά δεν είναι παρόν στην ImageNet; spurious correlation, όπου η προβλεπόμενη ετικέτα είναι διαβασμένη εκτός του контекστού της εικόνας; και non-prototypical, όπου η ground truth αντικείμενο είναι ένα specious παράδειγμα της κατηγορίας που μοιάζει με την προβλεπόμενη ετικέτα.

Σε ορισμένες περιπτώσεις, η ground truth δεν ήταν η ίδια ‘αληθινή’:

‘Μετά την ανασκόπηση των αρχικών 676 λανθασμένων [βρήθηκαν στην ImageNet], βρήκαμε ότι 298 ήταν είτε σωστά είτε ασαφή, ή καθόρισε την αρχική groundtruth λανθασμένη ή προβληματική.’

Μετά από μια εξαντλητική και σύνθετη σειρά πειραμάτων σε διάφορα σύνολα δεδομένων, υποσύνολα και σύνολα επαλήθευσης, οι συγγραφείς βρήκαν ότι τα δύο μοντέλα που μελετήθηκαν ήταν στην πραγματικότητα σωστά (από τους ανθρώπινους reviewers) για το μισό των ‘λανθασμένων’ που έκαναν με συμβατικές τεχνικές.

Το έγγραφο καταλήγει:

‘Σε αυτό το έγγραφο, αναλύσαμε κάθε υπόλοιπο λάθος που κάνουν τα ViT-3B και Greedy Soups μοντέλα στο ImageNet multi-label validation set.

‘Συνολικά, βρήκαμε ότι: 1) όταν ένα μεγάλο, υψηλής ακρίβειας μοντέλο κάνει μια νέα πρόβλεψη που δεν έχει γίνει από άλλα μοντέλα, τελικά είναι μια σωστή νέα πολλαπλή ετικέτα σχεδόν το μισό της φοράς; 2) μοντέλα υψηλότερης ακρίβειας δεν δείχνουν ένα προφανές μοτίβο στις κατηγορίες και στις σοβαρότητες των λανθασμένων που λύνουν; 3) SOTA μοντέλα σήμερα είναι σε μεγάλο βαθμό ισάξια ή υπερβαίνουν την απόδοση του καλύτερου ανθρώπινου εμπειρογνώμονα στο ανθρώπινα-αξιολογημένο multi-label υποσύνολο; 4) θορυβώδεις εκπαιδευτικοί δεδομένα και under-καθορίζονται κατηγορίες μπορεί να είναι ένας παράγοντας που περιορίζει την αποτελεσματική μέτρηση των βελτιώσεων στην ταξινόμηση εικόνας.’

Πρώτη δημοσίευση 15ης Μαΐου 2022.