L’interprétation excessive peut être une menace plus grande et plus intractable que la surajustement

Si votre bonne amie Alice aime porter des pulls jaunes, vous allez voir beaucoup plus de pulls jaunes que la personne moyenne. Au bout d’un moment, il est possible que lorsque vous voyez une femme différente portant un pull jaune, le concept de base Alice vous vienne à l’esprit.

Si vous voyez une femme portant un pull jaune qui ressemble un peu à Alice, vous pouvez même la confondre avec votre amie pendant un moment.

Mais ce n’est pas Alice. Finalement, vous allez réaliser que pull jaune n’est pas une clé utile pour identifier Alice, puisqu’elle ne les porte pas en été et ne les porte pas toujours en hiver non plus. À un certain moment de l’amitié, vous allez commencer à déclasser pull jaune comme identifiant possible d’Alice, parce que votre expérience de cela a été insatisfaisante, et l’énergie cognitive utilisée pour maintenir cette raccourci n’est pas souvent récompensée.

Si vous êtes un système de reconnaissance basé sur la vision par ordinateur, cependant, il est tout à fait possible que vous voyiez Alice partout où vous voyez un pull jaune.

Ce n’est pas votre faute; vous avez été chargé d’identifier Alice à tout prix, à partir des informations minimales disponibles, et il n’y a pas pénurie de ressources cognitives pour maintenir cette réduction d’Alice.

Discernement inquiétant

Selon un article récent du laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) et d’Amazon Web Services, ce syndrome, appelé interprétation excessive, est répandu dans le domaine de la recherche en vision par ordinateur (CV); ne peut pas être atténué en traitant la surajustement (puisqu’il ne s’agit pas d’un adjunct direct de la surajustement); est couramment évident dans la recherche qui utilise les deux ensembles de données les plus influents dans la reconnaissance et la transformation d’images, CIFAR-10 et ImageNet; et n’a pas de remèdes faciles – certainement pas de remèdes bon marché.

Les chercheurs ont constaté que lorsque les images de formation sont réduites à seulement 5 % de leur contenu cohérent, une large gamme de cadres populaires continuaient à classer correctement les images, qui apparaissent, dans la plupart des cas, comme du « gibberish » visuel pour tout observateur humain:

Images de formation originales de CIFAR-10, réduites à seulement 5 % du contenu de pixels original, mais classées correctement par une gamme de cadres de vision par ordinateur très populaires avec une précision de 90-99 %. Source: https://arxiv.org/pdf/2003.08907.pdf

Dans certains cas, les cadres de classification trouvent ces images réduites plus faciles à classer correctement que les cadres complets dans les données de formation originales, les auteurs observant ‘[CNNs] sont plus confiants sur ces sous-ensembles de pixels que sur les images complètes’.

Cela indique un type potentiellement sous-minant de « triche » qui se produit comme pratique courante pour les systèmes de vision par ordinateur qui utilisent des ensembles de données de référence tels que CIFAR-10 et ImageNet, et des cadres de référence tels que VGG16, ResNet20 et ResNet18.

L’interprétation excessive a des conséquences notables pour les systèmes de véhicules autonomes basés sur la vision par ordinateur, qui sont récemment devenus le point de mire avec la décision de Tesla de favoriser l’interprétation d’images par rapport à LiDAR et à d’autres systèmes de détection à base de rayons pour les algorithmes de conduite autonome.

Bien que l’apprentissage de raccourcis soit un défi connu, et un domaine de recherche active dans la vision par ordinateur, les auteurs de l’article commentent que la recherche allemande-canadienne qui a notamment encadré le problème en 2019 ne reconnaît pas que les sous-ensembles de pixels « spurieux » qui caractérisent l’interprétation excessive sont des « données statistiquement valides », qui pourraient nécessiter d’être abordées en termes d’architecture et d’approches de niveau supérieur, plutôt que par une curation plus soigneuse des ensembles de données.

L’article intitulé Overinterpretation reveals image classification model pathologies est issu de Brandon Carter, Siddhartha Jain et David Gifford de CSAIL, en collaboration avec Jonas Mueller d’Amazon Web Services. Le code de l’article est disponible à https://github.com/gifford-lab/overinterpretation.

Réduction des données

Les images de données réduites que les chercheurs ont utilisées sont appelées par eux Sous-ensembles d’entrée suffisants (SIS) – en effet, une image SIS contient le « chassis extérieur » minimum possible qui peut délimiter une image suffisamment pour permettre à un système de vision par ordinateur d’identifier le sujet d’origine de l’image (c’est-à-dire chien, bateau, etc.).

Dans la rangée ci-dessus, nous voyons des images de validation complètes d’ImageNet; ci-dessous, les sous-ensembles SIS, classés correctement par un modèle Inception V3 avec une confiance de 90 %, basé, apparemment, sur tout ce qui reste de l’image – le contexte de l’arrière-plan. Naturellement, la dernière colonne a des implications notables pour la reconnaissance de panneaux de signalisation dans les algorithmes de véhicules autonomes.

En commentant les résultats obtenus dans l’image ci-dessus, les chercheurs observent:

‘Nous constatons que les pixels SIS sont concentrés en dehors de l’objet réel qui détermine l’étiquette de classe. Par exemple, dans l’image « pizza », le SIS est concentré sur la forme de l’assiette et la table d’arrière-plan, plutôt que sur la pizza elle-même, suggérant que le modèle pourrait généraliser mal sur des images contenant différents objets circulaires sur une table. Dans l’image « panda géant », le SIS contient du bambou, qui a probablement apparu dans la collection de photos ImageNet pour cette classe.

‘Dans les images « feu de circulation » et « panneau de signalisation », le SIS est composé de pixels dans le ciel, suggérant que les systèmes de véhicules autonomes qui pourraient dépendre de ces modèles devraient être soigneusement évalués pour les pathologies d’interprétation excessive.’

Les images SIS ne sont pas réduites au hasard, mais ont été créées pour le projet par un processus de sélection de gradient par lots, sur Inception V3 et ResNet50 via PyTorch. Les images sont dérivées par une routine d’ablation qui prend en compte la relation entre la capacité d’un modèle à classer correctement une image et les zones dans lesquelles les données d’origine sont supprimées.

Pour confirmer la validité des SIS, les auteurs ont testé un processus de suppression aléatoire de pixels, et ont constaté que les résultats étaient « nettement moins informatifs » dans les tests, indiquant que les images SIS représentent réellement les données minimales dont les modèles et les ensembles de données populaires ont besoin pour faire des prédictions acceptables.

Un coup d’œil sur l’une des images réduites suggère que ces modèles devraient échouer en ligne avec les niveaux humains de discernement visuel, ce qui conduirait à une précision médiane inférieure à 20 %.

Avec des images SIS réduites à seulement 5 % de leurs pixels d’origine, les humains atteignent à peine un taux de classification supérieur au hasard, par rapport au taux de réussite de 90-99 % des ensembles de données et des cadres populaires étudiés dans l’article.

Au-delà de la surajustement

La surajustement se produit lorsque un modèle d’apprentissage automatique s’entraîne tellement sur un ensemble de données qu’il devient compétent pour faire des prévisions pour cette donnée spécifique, mais est beaucoup moins efficace (ou même complètement inefficace) sur de nouvelles données qui lui sont présentées après l’entraînement (hors de la distribution).

Les chercheurs notent que l’intérêt actuel de l’industrie et de l’université pour combattre la surajustement ne va pas simultanément résoudre l’interprétation excessive, car les sous-ensembles de pixels réduits qui représentent des images identifiables pour les ordinateurs et des éclaboussures sans sens pour les humains sont en fait des données réellement applicables, plutôt qu’une concentration « obsédée » sur des données mal curées ou anémiques:

‘L’interprétation excessive est liée à la surajustement, mais la surajustement peut être diagnostiquée via une précision de test réduite. L’interprétation excessive peut provenir de signaux statistiques réels dans la distribution sous-jacente des données qui se produisent à cause de propriétés particulières de la source de données (par exemple, les règles des dermatologues).

‘Ainsi, l’interprétation excessive peut être plus difficile à diagnostiquer car elle admet des décisions prises selon des critères statistiquement valides, et les modèles qui utilisent de tels critères peuvent exceller dans les références.’

Solutions possibles

Les auteurs suggèrent que l’ensemble de modèles, où plusieurs architectures contribuent au processus d’évaluation et d’entraînement, pourrait aller quelque peu dans le sens de l’atténuation de l’interprétation excessive. Ils ont également constaté que l’application de la suppression d’entrée, à l’origine conçue pour entraver la surajustement, a conduit à « une petite diminution » de la précision des tests CIFAR-10 (ce qui est probablement souhaitable), mais à « une augmentation significative » (∼ 6 %) de la précision des modèles sur des données non vues. Cependant, les chiffres bas suggèrent que tout remède ultérieur pour la surajustement est peu susceptible de résoudre complètement l’interprétation excessive.

Les auteurs admettent la possibilité d’utiliser des cartes de saillance pour indiquer les zones d’une image qui sont pertinentes pour l’extraction de fonctionnalités, mais notent que cela contrecarre l’objectif de l’analyse d’image automatisée, et nécessite une annotation humaine qui est peu réalisable à grande échelle. Ils observent en outre que les cartes de saillance ont été trouvées pour être des estimateurs grossiers en termes de compréhension des opérations du modèle.

L’article conclut:

‘Étant donné l’existence de sous-ensembles de pixels non saillants qui suffisent seuls pour une classification correcte, un modèle peut s’appuyer uniquement sur ces modèles. Dans ce cas, une méthode d’interprétation qui décrit fidèlement le modèle devrait produire ces raisons insensées, tandis que les méthodes d’interprétation qui biaisent les raisons vers les a priori humains peuvent produire des résultats qui trompent les utilisateurs en leur faisant penser que leurs modèles se comportent comme prévu.’

Publié pour la première fois le 13 janvier 2022.