Αξιολόγηση της Ιστορικής Ακρίβειας του ImageNet

Μια νέα μελέτη από το Google Research και το UC Berkeley προστίθεται στην κριτική που διατυπώνεται εδώ και χρόνια σχετικά με την εξάρτηση του τομέα της έρευνας της υπολογιστικής όρασης (CV) από το σεβαστό ImageNet σύνολο δεδομένων και τις πολλά παράγωγά του. Μετά από μια μεγάλη ποσότητα χειρονακτικής αξιολόγησης, οι συγγραφείς καταλήγουν στο συμπέρασμα ότι σχεδόν το 50% των λανθασμένων προβλέψεων που κάνουν τα καλύτερα μοντέλα στην αξιολόγηση του υποσυνόλου πολλαπλών ετικετών του ImageNet (όπου τα σημερινά κορυφαία μοντέλα επιτυγχάνουν ακρίβεια top-1 άνω του 97%) δεν είναι στην πραγματικότητα λάθη.

Από το έγγραφο:

‘Η ανάλυση μας αποκαλύπτει ότι σχεδόν τα μισά υποτιθέμενα σφάλματα δεν είναι λάθη καθ’ όλα, και ανακαλύψαμε νέες έγκυρες πολλαπλές ετικέτες, αποδεικνύοντας ότι, χωρίς προσεκτική ανασκόπηση, υποτιμούμε σημαντικά την απόδοση αυτών των μοντέλων.

‘Από την άλλη πλευρά, βρήκαμε επίσης ότι τα καλύτερα μοντέλα σήμερα εξακολουθούν να κάνουν ένα σημαντικό αριθμό λανθασμένων προβλέψεων (40%) που είναι προφανώς λάθος για τους ανθρώπινους κριτές.’

Ο βαθμός στον οποίο η λανθασμένη επισήμανση των συνόλων δεδομένων – ιδιαίτερα από μη ειδικευμένους εργαζόμενους – μπορεί να στρεβλώνει τον τομέα, αποκαλύφθηκε από την μελέτη της μεθοδικής αξιολόγησης των ζευγών εικόνας/κειμένου σε ένα μεγάλο τμήμα της ιστορίας της ImageNet.

Στην πρώτη σειρά, παραδείγματα σοβαρότητας σφαλμάτων: στα δύο πρώτα παραδείγματα εδώ, το νέο μοντέλο απλά προβλέπει λανθασμένη ετικέτα; στο τρίτο παράδειγμα, το νέο μοντέλο αναγνωρίζει μια προηγουμένως λείπουσα πολλαπλή ετικέτα (μια ετικέτα που διευθύνει μια νέα κατηγοριοποίηση της εικόνας); στην τελευταία εικόνα της πρώτης σειράς, η πρόβλεψη του μοντέλου είναι αμφίβολη, επειδή η εικόνα είναι μια μέλισσα-μύγα και όχι μια μύγα. Ωστόσο, η μέση μέλισσα ανήκει στην τάξη εντόμων Diptera, και έτσι αυτή η εξαίρεση θα ήταν σχεδόν αδύνατο να ανιχνευθεί, ακόμη και για έναν ειδικό επισημειωτή. Στην σειρά κάτω υπάρχουν τέσσερις κατηγορίες λανθασμένων, με παραδείγματα.  Πηγή: https://arxiv.org/pdf/2205.04596.pdf

Οι ερευνητές χρησιμοποίησαν ένα μικρό αριθμό αφοσιωμένων αξιολογητών για να αναλύσουν προσεκτικά τα ιστορικά αρχεία σφαλμάτων στην αξιολόγηση του συνόλου δεδομένων ImageNet, βρίσκοντας ότι πολλές από τις κρίσεις που χαρακτηρίζουν προβλέψεις ως σφάλματα είναι οι ίδιες λανθασμένες – μια ανακάλυψη που δυνητικά αναθεωρεί κάποια από τα κακά σκορ που πολλά έργα έχουν λάβει στην αξιολόγηση της ImageNet τα τελευταία χρόνια.

Καθώς η ImageNet εδραιώνεται στην κουλτούρα της υπολογιστικής όρασης, οι ερευνητές υποστηρίζουν ότι οι βελτιώσεις στην ακρίβεια θεωρούνται ότι προσφέρουν μειωμένα οφέλη, και ότι τα νέα μοντέλα που υπερβαίνουν την καθιερωμένη ακρίβεια ετικέτας και που προτείνουν νέες (δηλ. πρόσθετες) ετικέτες μπορεί να τιμωρούνται, ουσιαστικά, για μη συμμόρφωση.

‘Για παράδειγμα,’ οι συγγραφείς παρατηρούν. ‘πρέπει να τιμωρήσουμε τα μοντέλα για το ότι είναι τα πρώτα που προβλέπουν ότι ένα προ-ψημένο μπαγκέλ μπορεί να είναι ένα μπαγκέλ, όπως ένα από τα μοντέλα που αναλύουμε σε αυτή τη δουλειά;’

Από το έγγραφο, ένα νεότερο μοντέλο αμφισβητεί την προηγούμενη πρόβλεψη ότι το αντικείμενο στη φωτογραφία είναι ζύμη, και προτείνει ότι το αντικείμενο είναι στην πραγματικότητα ήδη ένα μπαγκέλ).

Από την οπτική γωνία ενός εργαζόμενου που έχει ανατεθεί να αναγνωρίσει τέτοιο αντικείμενο, αυτό είναι ένα σεμαντικό και ακόμη φιλοσοφικό δίλημμα που μπορεί να λυθεί μόνο με πολλαπλή ετικέτα (όπως συχνά συμβαίνει σε μεταγενέστερα υποσύνολα και επόμενες επαναλήψεις της ImageNet); στην περίπτωση αυτή, το αντικείμενο είναι στην πραγματικότητα και ζύμη και τουλάχιστον ένα μπαγκέλ σε αρχικό στάδιο σχηματισμού.

Κύρια (πάνω) και δευτερεύοντα (κάτω) λάθη που προέκυψαν κατά τη δοκιμή των εξατομικευμένων μοντέλων στην έρευνα. Οι αρχικές ετικέτες ImageNet είναι οι πρώτες εικόνες αριστερά.

Οι δύο προφανείς λύσεις είναι να ανατεθούν περισσότεροι πόροι στην επισήμανση (που είναι μια πρόκληση, μέσα στα οριακά περιθώρια του προϋπολογισμού των περισσότερων των έργων έρευνας υπολογιστικής όρασης); και, όπως τονίζουν οι συγγραφείς, να ενημερωθούν τακτικά τα σύνολα δεδομένων και τα υποσύνολα αξιολόγησης ετικέτας (τα οποία, μεταξύ άλλων εμποδίων, κινδυνεύουν να σπάσουν την ‘όπως για όπως’ ιστορική συνέχεια των συγκριτικών δοκιμών, και να σπείρουν νέες μελέτες με διευκρινίσεις και επιφυλάξεις σχετικά με την ισοδυναμία).

Ως ένα βήμα για την αποκατάσταση της κατάστασης, οι ερευνητές έχουν αναπτύξει ένα νέο υποσύνολο της ImageNet που ονομάζεται ImageNet-Major (ImageNet-M), το οποίο περιγράφουν ως ‘ένα υποσύνολο 68 παραδειγμάτων “μεγάλων σφαλμάτων” από τα προφανή λάθη που κάνουν τα σημερινά κορυφαία μοντέλα—ένα υποσύνολο όπου τα μοντέλα θα πρέπει να επιτύχουν σχεδόν την απόλυτη ακρίβεια, αλλά σήμερα είναι μακριά από το να το το πετύχουν.’

Το έγγραφο έχει τον τίτλο Πότε γίνεται η ζύμη μπαγκέλ; Αναλύοντας τα υπόλοιπα λάθη στο ImageNet, και γράφτηκε από τέσσερις συγγραφείς από το Google Research, μαζί με την Sara Fridovich-Keil του UC Berkeley.

Τεχνολογικό Χρέος

Τα ευρήματα είναι σημαντικά επειδή τα υπόλοιπα λάθη που αναγνωρίζονται (ή λανθασμένα αναγνωρίζονται) στην ImageNet, στα 16 χρόνια από την ίδρυσή της, η κεντρική μελέτη της έρευνας, μπορεί να αντιπροσωπεύουν τη διαφορά μεταξύ ενός μοντέλου που μπορεί να τεθεί σε λειτουργία και ενός που είναι τόσο επιρρεπές σε σφάλματα ώστε να μην μπορεί να χρησιμοποιηθεί με πραγματικά δεδομένα. Όπως πάντα, η τελευταία φάση είναι κρίσιμη.

Ο τομέας της έρευνας υπολογιστικής όρασης και σύνθεσης εικόνας έχει ουσιαστικά ‘αυτο-επιλέξει’ την ImageNet ως μέτρο συγκριτικής αξιολόγησης, για μια σειρά από λόγους — όχι τουλάχιστον επειδή μια έξαρση πρώτων υιοθετών, σε μια εποχή όπου τα σύνολα δεδομένων μεγάλου όγκου και με καλές επισημάνσεις ήταν σπανιότερα από ότι είναι τώρα, παρήγαγε τόσες πολλές πρωτοβουλίες έρευνας που η δοκιμή κατά της ImageNet γρήγορα έγινε η μόνη ευρέως εφαρμόσιμη ιστορικό ‘πρότυπο’ για την αξιολόγηση νέων πλαισίων.

Μέθοδος

Αναζητώντας τα ‘υπόλοιπα λάθη’ στην ImageNet, οι ερευνητές χρησιμοποίησαν ένα τυπικό ViT μοντέλο (ικανό να επιτύχει ακρίβεια 89.5%) με 3 δισεκατομμύρια παραμέτρους, Vit-3B, προ-εκπαιδευμένο στο JFT-3B και τελειοποιημένο στο ImageNet-1K.

Χρησιμοποιώντας το ImageNet2012_multilabel σύνολο δεδομένων, οι ερευνητές κατέγραψαν την αρχική ακρίβεια πολλαπλών ετικετών (MLA) του ViT-3B ως 96.3%, κατά τη διάρκεια της οποίας το μοντέλο έκανε 676 φαινομενικά λάθη. Ήταν αυτά τα λάθη (και επίσης λάθη που παράγονται από ένα Greedy Soups μοντέλο) που οι συγγραφείς ζήτησαν να ερευνήσουν.

Για να αξιολογήσουν τα υπόλοιπα 676 λάθη, οι συγγραφείς απέφυγαν τους εργαζομένους μέσω πληθοπορισμού, παρατηρώντας ότι λάθη αυτού του τύπου μπορούν να είναι δύσκολο για τους μη ειδικούς επισημειωτές να ανιχνεύσουν, αλλά συγκρότησαν ομάδα πέντε ειδικών αξιολογητών, και δημιούργησαν ένα αφοσιωμένο εργαλείο για να επιτρέψουν σε κάθε αξιολογητή να δει με μια ματιά την προβλεπόμενη κατηγορία; την προβλεπόμενη βαθμολογία; τις ετικέτες αναφοράς; και την ίδια την εικόνα.

Το UI που κατασκευάστηκε για το έργο.

Σε ορισμένες περιπτώσεις, ήταν απαραίτητη περαιτέρω έρευνα για να λυθούν διαμάχες μεταξύ των μελών της ομάδας, και η αναζήτηση εικόνων Google χρησιμοποιήθηκε ως βοηθητικό εργαλείο.

‘[Σε] μια ενδιαφέρουσα αλλά όχι απομονωμένη περίπτωση, μια πρόβλεψη ενός ταξί (με κανένα προφανή ταξί ενδείξεις πέρα από το κίτρινο χρώμα) ήταν παρόν στην εικόνα; καθόρισα την πρόβλεψη να είναι σωστά ένα ταξί και όχι απλά ένα τυπικό όχημα από το να αναγνωρίσω μια γέφυρα ορόσημο στο φόντο για να τοποθετήσω την πόλη, και μια επόμενη εικόνα αναζήτηση για ταξί σε αυτή την πόλη έδωσε τις εικόνες του ίδιου ταξί μοντέλου και σχεδίου πινακίδας, επικυρώνοντας την πρόβλεψη του μοντέλου.’

Μετά την αρχική ανασκόπηση των λανθασμένων που βρέθηκαν σε διάφορες φάσεις της έρευνας, οι συγγραφείς διατύπωσαν τέσσερις νέους τύπους σφαλμάτων: λεπτομερές λάθος, όπου η προβλεπόμενη κατηγορία είναι παρόμοια με μια ετικέτα αναφοράς; λεπτομερές σφάλμα με κατηγορία εκτός λεξιλογίου (OOV), όπου το μοντέλο αναγνωρίζει ένα αντικείμενο της οποίας η κατηγορία είναι σωστή αλλά δεν είναι παρόν στην ImageNet; φαινομενική συσχέτιση, όπου η προβλεπόμενη ετικέτα είναι διαβασμένη εκτός του πλαισίου της εικόνας; και μη τυπικό παράδειγμα, όπου το αντικείμενο αναφοράς είναι ένα παραπλανητικό παράδειγμα της κατηγορίας που μοιάζει με την προβλεπόμενη ετικέτα.

Σε ορισμένες περιπτώσεις, η αλήθεια αναφοράς δεν ήταν η ίδια ‘αληθινή’:

‘Μετά την ανασκόπηση των αρχικών 676 λανθασμένων [βρήθηκαν στην ImageNet], βρήκαμε ότι 298 ήταν είτε σωστά είτε ασαφή, ή καθόρισε την αρχική αλήθεια αναφοράς λανθασμένη ή προβληματική.’

Μετά από μια εξαντλητική και σύνθετη σειρά πειραμάτων σε διάφορα σύνολα δεδομένων, υποσύνολα και σύνολα επαλήθευσης, οι συγγραφείς βρήκαν ότι τα δύο μοντέλα που μελετήθηκαν ήταν στην πραγματικότητα σωστά (από τους ανθρώπινους αξιολογητές) για το μισό των ‘λανθασμένων’ που έκαναν με συμβατικές τεχνικές.

Το έγγραφο καταλήγει:

‘Σε αυτό το έγγραφο, αναλύσαμε κάθε υπόλοιπο λάθος που κάνουν τα ViT-3B και Greedy Soups μοντέλα στο σύνολο επικύρωσης πολλαπλών ετικετών του ImageNet.

‘Συνολικά, βρήκαμε ότι: 1) όταν ένα μεγάλο, υψηλής ακρίβειας μοντέλο κάνει μια νέα πρόβλεψη που δεν έχει γίνει από άλλα μοντέλα, τελικά είναι μια σωστή νέα πολλαπλή ετικέτα σχεδόν στις μισές περιπτώσεις; 2) μοντέλα υψηλότερης ακρίβειας δεν δείχνουν ένα προφανές μοτίβο στις κατηγορίες και στις σοβαρότητες των λανθασμένων που λύνουν; 3) SOTA μοντέλα σήμερα είναι σε μεγάλο βαθμό ισάξια ή υπερβαίνουν την απόδοση του καλύτερου ανθρώπινου εμπειρογνώμονα στο υποσύνολο πολλαπλών ετικετών που αξιολογήθηκε από ανθρώπους; 4) δεδομένα εκπαίδευσης με θόρυβο και ανεπαρκώς καθορισμένες κατηγορίες μπορεί να είναι ένας παράγοντας που περιορίζει την αποτελεσματική μέτρηση των βελτιώσεων στην ταξινόμηση εικόνας.’

Πρώτη δημοσίευση 15ης Μαΐου 2022.