Évaluation de l’exactitude historique d’ImageNet

Une nouvelle étude de Google Research et UC Berkeley s’ajoute à la critique de longue date concernant la dépendance du secteur de la recherche en vision par ordinateur (CV) à l’égard du vénérable dataset ImageNet et de ses nombreux dérivés. Après une évaluation manuelle laborieuse, les auteurs concluent que près de 50% des erreurs supposées commises par les meilleurs modèles sur le sous-ensemble multi-étiquette d’ImageNet (où les modèles les plus performants actuels atteignent plus de 97% de précision) ne sont pas réellement des erreurs.

À partir de l’article:

‘Notre analyse révèle que près de la moitié des erreurs supposées ne sont pas des erreurs du tout, et nous découvrons de nouvelles étiquettes multi-étiquettes valides, démontrant que, sans examen attentif, nous sous-estimons considérablement les performances de ces modèles.

‘D’un autre côté, nous constatons également que les meilleurs modèles actuels commettent encore un nombre important d’erreurs (40%) qui sont clairement fausses aux yeux des évaluateurs humains.’

L’étendue à laquelle l’étiquetage incorrect des datasets – en particulier par des travailleurs de crowdsourcing non qualifiés – peut fausser le secteur, a été révélée par l’approche minutieuse de l’évaluation des paires image/texte sur une grande partie de l’histoire d’ImageNet.

Dans la rangée du haut, des exemples de gravité des erreurs: dans les deux premiers exemples, le nouveau modèle se trompe simplement sur l’étiquette prédite; dans le troisième exemple, le nouveau modèle identifie une étiquette multi-étiquette précédemment manquante (une étiquette qui répond à une nouvelle catégorisation de l’image); dans la dernière image de la rangée du haut, la prédiction du modèle est ambiguë, car l’image est un moucheron et non une mouche. Cependant, la moyenne des abeilles appartient à l’ordre des insectes Diptera, et cette exception serait presque impossible à repérer, même pour un annotateur expert. Dans la rangée ci-dessous, quatre catégories d’erreurs, avec des exemples. Source: https://arxiv.org/pdf/2205.04596.pdf

Les chercheurs ont employé un petit nombre d’évaluateurs dédiés pour examiner de manière minutieuse les enregistrements d’erreurs historiques dans l’évaluation du dataset ImageNet, constatant que de nombreuses erreurs sont elles-mêmes des erreurs – une découverte qui pourrait réviser certaines des mauvaises évaluations que de nombreux projets ont obtenues sur les benchmarks d’ImageNet au fil des ans.

Alors que ImageNet s’installe dans la culture CV, les chercheurs soutiennent que les améliorations de la précision sont censées produire des rendements décroissants, et que les nouveaux modèles qui dépassent la précision des étiquettes établies, et qui suggèrent de nouvelles étiquettes, pourraient être pénalisés, essentiellement, pour non-conformité.

‘Par exemple,’ les auteurs observent. ‘devrions-nous pénaliser les modèles pour être les premiers à prédire qu’un bagel pré-cuit peut être un bagel, comme l’un des modèles que nous examinons dans ce travail le fait?’

À partir de l’article, un nouveau modèle défie la prédiction antérieure que l’objet de la photo est de la pâte, et suggère que l’objet est en fait déjà un bagel).

Du point de vue d’un travailleur de crowdsourcing chargé d’identifier un tel objet, c’est un dilemme sémantique et même philosophique qui ne peut être résolu que par une étiquette multi-étiquette (comme cela se produit souvent dans les sous-ensembles ultérieurs et les itérations ultérieures d’ImageNet); dans le cas présent, l’objet est en fait à la fois de la pâte et au moins un bagel naissant.

Erreurs majeures (au-dessus) et mineures (en dessous) qui sont apparues lors du test de modèles personnalisés dans la recherche. Les étiquettes originales d’ImageNet sont les premières images à gauche.

Les deux solutions évidentes sont de consacrer plus de ressources à l’étiquetage (ce qui est un défi, dans les contraintes budgétaires de la plupart des projets de recherche en vision par ordinateur); et, comme les auteurs le soulignent, de mettre régulièrement à jour les datasets et les sous-ensembles d’évaluation des étiquettes (ce qui, entre autres obstacles, risque de rompre la continuité historique des benchmarks et de parsemer les nouvelles publications de recherche de qualifications et de déclarations de non-équivalence).

En guise de mesure pour remédier à la situation, les chercheurs ont développé un nouveau sous-dataset d’ImageNet appelé ImageNet-Major (ImageNet-M), qu’ils décrivent comme ‘un exemple de 68 erreurs majeures évidentes commises par les meilleurs modèles d’aujourd’hui – un exemple où les modèles devraient atteindre la perfection, mais sont loin de le faire.’

L’article est intitulé Quand la pâte devient-elle un bagel? Analyse des erreurs restantes sur ImageNet, et est écrit par quatre auteurs de Google Research, ainsi que Sara Fridovich-Keil de UC Berkeley.

Dettes techniques

Les résultats sont importants car les erreurs restantes identifiées (ou mal identifiées) dans ImageNet, dans les 16 ans depuis sa création, peuvent représenter la différence entre un modèle déployable et un modèle sujet aux erreurs qui ne peut pas être utilisé sur des données en direct. Comme toujours, le dernier kilomètre est critique.

Le secteur de la recherche en vision par ordinateur et en synthèse d’images a effectivement ‘auto-sélectionné’ ImageNet comme mesure de référence, pour plusieurs raisons – notamment parce que de nombreux premiers adeptes, à une époque où les datasets de haute qualité et bien étiquetés étaient plus rares qu’aujourd’hui, ont produit de nombreuses initiatives de recherche qui ont rapidement rendu les tests sur ImageNet la seule mesure de référence historique applicable pour évaluer les nouveaux cadres.

Méthode

À la recherche des ‘erreurs restantes’ dans ImageNet, les chercheurs ont utilisé un modèle ViT standard (capable d’atteindre une précision de 89,5%) avec 3 milliards de paramètres, Vit-3B, pré-entraîné sur JFT-3B et affiné sur ImageNet-1K.

En utilisant le dataset ImageNet2012_multilabel, les chercheurs ont enregistré la précision multi-étiquette initiale (MLA) de ViT-3B à 96,3%, au cours de laquelle le modèle a commis 676 erreurs apparentes. Ce sont ces erreurs (et également les erreurs produites par un modèle Greedy Soups) que les auteurs ont cherché à étudier.

Pour évaluer les 676 erreurs restantes, les auteurs ont évité les travailleurs de crowdsourcing, observant que les erreurs de ce type peuvent être difficiles pour les annotateurs moyens à détecter, mais ont assemblé un panel de cinq évaluateurs experts et créé un outil dédié pour permettre à chaque évaluateur de voir d’un coup d’œil la classe prédite; le score prédit; les étiquettes de vérité terrain; et l’image elle-même.

L’interface utilisateur construite pour le projet.

Dans certains cas, des recherches supplémentaires ont été nécessaires pour résoudre les désaccords entre le panel, et la recherche d’images Google a été utilisée comme outil auxiliaire.

‘[Dans] un cas intéressant mais non isolé, une prédiction d’un taxi (sans indicateur de taxi évident au-delà de la couleur jaune) était présente dans l’image; nous avons déterminé que la prédiction était correcte et non seulement un véhicule standard en identifiant un pont emblématique à l’arrière-plan pour localiser la ville, et une recherche d’images ultérieure pour les taxis de cette ville a donné des images du même modèle de taxi et de la même conception de plaque d’immatriculation, validant la prédiction réellement correcte du modèle.’

Après l’examen initial des erreurs trouvées au cours de plusieurs phases de la recherche, les auteurs ont formulé quatre nouveaux types d’erreurs: erreur fine, où la classe prédite est similaire à une étiquette de vérité terrain; erreur fine avec des mots hors vocabulaire (OOV), où le modèle identifie un objet dont la classe est correcte mais n’est pas présente dans ImageNet; corrélation spurie, où l’étiquette prédite est lue hors contexte de l’image; et non-prototypique, où l’objet de vérité terrain est un exemple spéieux de la classe qui ressemble à l’étiquette prédite.

Dans certains cas, la vérité terrain n’était pas elle-même ‘vraie’:

‘Après examen des 676 erreurs originales [trouvées dans ImageNet], nous avons constaté que 298 étaient soit correctes, soit peu claires, ou que la vérité terrain originale était incorrecte ou problématique.’

Après un tour d’expériences exhaustif et complexe sur une gamme de datasets, de sous-ensembles et de jeux de validation, les auteurs ont constaté que les deux modèles étudiés étaient en fait considérés comme corrects (par les évaluateurs humains) pour la moitié des ‘erreurs’ qu’ils commettaient selon les techniques conventionnelles.

L’article conclut:

‘Dans cet article, nous avons analysé chaque erreur restante que les modèles ViT-3B et Greedy Soups commettent sur le sous-ensemble multi-étiquette de validation d’ImageNet.

‘Dans l’ensemble, nous avons constaté que: 1) lorsque un grand modèle à haute précision fait une prédiction nouvelle non faite par d’autres modèles, il s’avère être une nouvelle étiquette multi-étiquette correcte presque la moitié du temps; 2) les modèles à précision plus élevée ne démontrent pas de modèle évident dans nos catégories et nos niveaux de gravité des erreurs; 3) les modèles SOTA d’aujourd’hui correspondent en grande partie ou dépassent les performances du meilleur expert humain sur le sous-ensemble multi-étiquette évalué par l’homme; 4) les données de formation bruyantes et les classes sous-spécifiées peuvent être un facteur limitant la mesure efficace des améliorations de la classification d’images.’

Publié pour la première fois le 15 mai 2022.