Les systèmes de vision par IA ne regardent souvent pas vraiment

Les systèmes de vision par IA peuvent expliquer des images à l’aide de stéréotypes plutôt que de ce qu’ils voient réellement. En supprimant l’étiquette, leurs explications visuelles supposées s’effondrent.

Depuis que les plateformes d’IA de pointe perdent constamment de l’argent dans l’espoir d’un horizon d’événements IA, les petites économies dans leur provision et leurs services équivalent à d’énormes économies : par exemple, chaque fois qu’un LLM peut fournir une réponse à partir de sa propre matrice formée au lieu de faire un voyage RAG basé sur le Web pour obtenir des informations actuelles qui devront être distillées et raffinées, il répond plus rapidement et économise de l’argent pour le fournisseur.

Il est plus probable qu’il hallucine, sans dépenser d’énergie supplémentaire pour contextualiser et vérifier ses hypothèses.

De même, même lorsque le LLM se tourne vers le Web, il cite très souvent des URL vagues, inappropriées ou sans rapport, car il a économisé de l’énergie en évaluant uniquement les métadonnées de ces pages, au lieu de les lire réellement.

De même, si vous téléchargez un PDF vers un LLM et souhaitez en discuter, le LLM peut éventuellement effacer le contenu du PDF de sa mémoire et n’utiliser que des métadonnées éparses à son sujet pour répondre à vos requêtes, sans même indiquer que vous devriez le télécharger à nouveau – ce qui conduit à des erreurs, des hypothèses incorrectes et encore plus d’hallucinations.

Essais industriels

Ces économies sont pragmatiques, même si elles ne sont pas entièrement honnêtes, imposées à l’utilisateur pour des motifs opérationnels. Dans le monde en amont de la collecte de données et de la formation de modèles, où des millions – voire des centaines de millions – d’images doivent être traitées en masse, et ne peuvent pas être annotées à la main par des humains, la pression pour minimiser les dépenses d’énergie et de temps est tout aussi intense.

Une telle « raccourci » consiste à utiliser un modèle de langage de vision intermédiaire tel que Contrastive Language Image Pretraining (CLIP), qui mappe à la fois les images et le texte dans un espace sémantique partagé, de sorte que les concepts visuels puissent être comparés en utilisant le langage, plutôt que des étiquettes explicites.

Que signifie cela ? Eh bien, imaginez un enfant qui apprend à partir de millions de photos légendées jusqu’à ce qu’il développe un sens approximatif de quelles images et quels mots vont naturellement ensemble.

Le problème est que les légendes ont souvent été écrites par des propriétaires de sites Web et d’autres entités qui étaient plus intéressés par un bon référencement que par une bonne étiquetage, ce qui conduit à beaucoup de « bruit » ou d’étiquetage incorrect.

Cependant, l’échelle à laquelle un concept et un mot associé se reproduisent dans de vastes ensembles de données signifie généralement que les mots clés seront associés à l’image correcte, puisque le petit nombre d’étiquettes « sans sens » sera normalement forcé dans un ghetto d’outliers, et ne gagnera généralement pas d’association avec l’image. Donc, cela fonctionne plus ou moins, la plupart du temps.

L’étiquetage des données est effectué de cette manière parce que c’est bon marché et fonctionnel de manière minimale, et non parce que c’est bon.

Hors étiquette

Dans ce scénario problématique, un nouveau document de Carnegie Mellon illustre de manière frappante que de nombreuses légendes attribuées à des images – par exemple par CLIP – sont simplement des stéréotypes basés sur la référence à l’étiquette de l’image (basée sur le texte), plutôt que par un examen actif de l’image elle-même.

Dans un exemple frappant du document, CLIP est associé à des descripteurs générés à partir du nom de classe ImageNet strawberry, puis testé sur ImageNet-Sketch, où chaque fraise est un dessin au trait noir et blanc – pourtant, les descripteurs insistent toujours sur le fait que le fruit est ‘rouge’ et ‘mûr’:

Les descripteurs de nom de classe échouent sur ImageNet-Sketch: les priorités linguistiques disent ‘rouge’ et ‘mûr’, tandis que les attributs ancrés dans l’image correspondent au dessin au trait noir et blanc. Source

Ici, CLIP est associé à des descripteurs générés uniquement à partir du nom de classe strawberry, via GPT-3 ou des connaissances externes. Ceux-ci ne voient jamais l’image, ils font donc défaut aux traits canoniques tels que rouge et feuillu. Lorsqu’ils sont appliqués aux illustrations monochromes en ligne dans ImageNet-Sketch, le processus échoue.

En revanche, les attributs dérivés des images elles-mêmes sélectionnent des fonctionnalités qui restent vraies sous le décalage, telles que pointillé ou en forme de cœur.

Ainsi, nous pouvons voir que l’objet identifié est annoncé non pour ce qu’il est, mais, pour ainsi dire, ‘par réputation’ ; les adjectifs ‘rouge’ et ‘feuillu’ sont exacts pour le sous-domaine strawberry, mais dépassent les limites de l’image (instance) en question.

Les auteurs du nouveau travail – intitulé Les attributs devraient provenir des images, et non des noms de classe: sélection d’attributs conditionnés par la distribution pour les modèles de vision et de langage – soutiennent que c’est un problème persistant et répandu, et suggèrent de sélectionner des attributs directement à partir des images elles-mêmes, de sorte qu’ils reflètent ce qui est réellement visible sous décalage de distribution, plutôt que de s’appuyer sur des priorités de nom de classe.

Les auteurs déclarent:

‘Une voie populaire pour la classification à zéro tir demande à un grand modèle de langage (LLM) de décrire chaque nom de classe, puis incite CLIP avec les descripteurs résultants. Nous montrons que ces descripteurs ne contiennent peu de preuves visuelles: supprimer le nom de classe de l’invite fait chuter la précision d’ImageNet de 59,5% à 15,5%.

‘Le diagnostic est que les descripteurs sont conditionnés par l’étiquette plutôt que par les images, ils décrivent donc le concept en général et trompent exactement lorsque les données changent ; un LLM insiste sur le fait que les fraises sont rouges, mais chaque fraise dans ImageNet-Sketch est un dessin au trait noir et blanc.

‘Nous sélectionnons donc des attributs à partir de la collection d’images cible au lieu de cela: nous notons un grand bassin d’attributs contre les images dans l’espace d’incrustation conjointe de CLIP et conservons les attributs les mieux notés par classe.’

Leur remède proposé est que le modèle reste le même, mais au lieu de s’appuyer sur des descriptions de nom de classe, il vérifie un pool de candidats-attributs contre les images, et conserve uniquement ceux qui correspondent réellement à ce qui est visible.

Le coût de ceci est arguablement acceptable, puisqu’il ne suggère pas de réactiver l’énergie économisée des méthodes « trichantes » qui ont conduit au problème en premier lieu. Plutôt, il ajoute un passage de notation sur les candidats-attributs par classe, de sorte que la latence augmente légèrement – mais beaucoup moins que la rééducation ou les pipelines complets de type RAG. En théorie, le coût énergétique serait acceptable, pesé par rapport à l’amélioration de l’alignement.

Méthode

Puisque la méthodologie des tests des auteurs est particulièrement obscure, et puisque peu d’informations utiles supplémentaires seraient acquises en les examinant en profondeur, nous allons, inhabituellement, considérer uniquement une vue d’ensemble raccourcie de leur approche.

Le travail caractérise le problème principal en tant que confusion de nom de classe: une situation où la performance semble provenir de descripteurs significatifs, mais en réalité dépend du nom de classe lui-même, avec les descripteurs ajoutant peu – et échouant dès que ce soutien est supprimé

Le document soutient ensuite que cet échec est inévitable, car les descripteurs générés à partir d’un nom de classe ne peuvent décrire que ce à quoi une chose ressemble généralement, plutôt que ce qui est réellement présent dans une image particulière. Dès que les données s’écartent de ces attentes, les descripteurs deviennent non seulement inutiles mais également trompeurs, votant effectivement contre la bonne réponse.

Les chercheurs ont également examiné si CLIP pourrait simplement être mauvais pour détecter les attributs sans l’aide d’étiquettes de classe, ou si les descripteurs générés par GPT étaient trop génériques pour être utiles. Cependant, leurs expériences ultérieures réfuteraient les deux explications.

Pour résoudre ce problème, un modèle CLIP gelé a été utilisé pour comparer des images à un grand bassin de candidats-attributs tirés de VAW, LSA et les sorties GPT-3, en conservant uniquement les attributs qui correspondaient le mieux aux images, sans nécessiter de rééducation ou de supervision d’image-texte supplémentaire:

Une vue d’ensemble du système proposé: un modèle CLIP gelé encode à la fois les images et un grand bassin de texte d’attributs candidats, en utilisant la similarité cosinuse pour mesurer à quel point chaque descripteur correspond au contenu visuel. Les attributs les mieux notés sont ensuite conservés au niveau de chaque classe, produisant un ensemble interprétable de invites tout en gardant les encodeurs d’image et de texte fixes tout au long du processus.

Données et tests

Les expériences des auteurs ont utilisé CLIP avec un ResNet-50 et ont évalué les performances sur ImageNet ainsi que sur quatre variantes décalées de distribution: ImageNetV2; ImageNet-Sketch; ImageNet-A; et ImageNet-R.

Les attributs ont été sélectionnés en utilisant uniquement les images d’entraînement ImageNet originales – permettant aux ensembles de données décalés de servir de test hors distribution pour savoir si les attributs dérivés des images restaient utiles lorsque les apparences visuelles changeaient:

Précision de classification Top-1 sur ImageNet et quatre benchmarks décalés de distribution. Les résultats montrent que les performances restent globalement similaires lorsque les noms de classe sont inclus dans les invites, mais s’effondrent lorsque les descripteurs sont forcés de se tenir debout seuls, suggérant que beaucoup de leur efficacité apparente provient de l’étiquette de classe elle-même. En revanche, les attributs sélectionnés directement à partir des images restent nettement plus informatifs dans l’ensemble des ensembles de données testés.

La re-sélection d’attributs à partir du même bassin généré par GPT, mais conditionnés sur les images ImageNet, a augmenté la précision sans nom de classe de 15,5% à 19,4%. Puisque le modèle, le bassin d’attributs et le protocole d’évaluation sont restés inchangés, le gain pouvait être attribué entièrement à la sélection conditionnée par l’image.

Le résultat a également indiqué que CLIP peut identifier des attributs sans étiquettes de classe, et que le bassin généré par GPT contenait déjà des descripteurs utiles. L’échec principal est apparu pour être la génération conditionnée par l’étiquette, qui a souvent échoué à révéler les attributs les plus pertinents pour les images elles-mêmes.

Bien que les auteurs poursuivent une série d’expériences supplémentaires, nous devons renvoyer le lecteur au matériel source pour plus de détails sur ceux-ci, puisqu’ils ne développent pas l’étendue des résultats, mais confirment plutôt les hypothèses centrales exposées jusqu’à présent – que la confiance dans les étiquettes peut potentiellement miner le potentiel de données d’image réelles dans les applications modernes de vision par ordinateur, avec une confiance bon marché dans la « réputation » comme un danger pour la précision des résultats.

Conclusion

Il est intéressant de considérer la dette que l’IA générative moderne a envers les millions d’images décrites à la main qui ont été ingérées dans de vastes ensembles de données tels que Common Crawl, au début de l’ère de l’hyperscale.

Chaque fois qu’un système de reconnaissance d’images ou d’étiquetage automatique tente de classer ou de réétiqueter une image ancienne ou nouvelle, la provenance de ces connaissances remonte à un vendeur qui a écrit ‘Magazine chaud des années 70 !’ dans l’étiquette alt d’une liste eBay en 2004, ou un événement similaire.

Bien que de nombreuses personnes pensent que l’âge d’or du remplissage de mots clés a été balayé par l’algorithme PageRank plus sophistiqué de Google il y a près de trois décennies, l’approche « mur de texte, espérons que quelque chose colle » est toujours très vivante: hier, en tête du code HTML de la page de publication du modèle Qwen-Image-3.0, il y avait un éclat atavique (il peut encore y être !) de folie de remplissage de mots clés:

Le code HTML de la publication de Qwen Image 3 est un mur de texte de mots clés pas entièrement SFW, au moins, au moment de l’écriture. Source

Que ce soit systématiquement tiré de listes cibles ou écrit à la main par des spécialistes du référencement, ceci est un exemple premier des origines brutes du système d’IA générative moderne, avec un sens qui porte souvent une charge énorme d’intérêt personnel qui devra être supprimé ou au moins pris en compte d’une manière ou d’une autre, lorsque de tels termes interfèrent avec ou entravent des systèmes et des applications rationnels.

Publié pour la première fois le mercredi 22 juillet 2026