Utilisation des hallucinations de l’IA pour évaluer le réalisme des images

De nouvelles recherches menées en Russie proposent une méthode non conventionnelle pour détecter les images générées par l’IA qui ne sont pas réalistes – non pas en améliorant la précision des grands modèles de vision et de langage (LVLM), mais en exploitant intentionnellement leur tendance à halluciner.

L’approche novatrice extrait plusieurs « faits atomiques » sur une image à l’aide de LVLM, puis applique l’inférence de langage naturel (NLI) pour mesurer systématiquement les contradictions entre ces énoncés – faisant effectivement de la faille du modèle un outil de diagnostic pour détecter les images qui défient le bon sens.

Deux images de l’ensemble de données WHOOPS! avec des énoncés générés automatiquement par le modèle LVLM. L’image de gauche est réaliste, conduisant à des descriptions cohérentes, tandis que l’image inhabituelle de droite fait que le modèle hallucine, produisant des énoncés contradictoires ou faux. Source: https://arxiv.org/pdf/2503.15948

Lorsqu’on lui demande d’évaluer le réalisme de la deuxième image, le LVLM peut voir que quelque chose ne va pas, puisque le chameau représenté a trois bosses, ce qui est inconnu dans la nature.

Cependant, le LVLM confond initialement >2 bosses avec >2 animaux, puisqu’il s’agit de la seule façon de voir trois bosses dans une « image de chameau ». Il procède ensuite à halluciner quelque chose de encore plus invraisemblable que trois bosses (c’est-à-dire « deux têtes ») et ne détaille pas la chose qui semble avoir déclenché ses soupçons – la bosse supplémentaire improbable.

Les chercheurs de la nouvelle étude ont constaté que les modèles LVLM peuvent effectuer cette évaluation de manière native, et sur un pied d’égalité avec (ou mieux que) les modèles qui ont été affinés pour une tâche de ce type. Puisque l’affinement est compliqué, coûteux et plutôt fragile en termes d’applicabilité descendante, la découverte d’une utilisation native pour l’un des plus grands obstacles de la révolution actuelle de l’IA est une touche rafraîchissante sur les tendances générales de la littérature.

Évaluation ouverte

L’importance de l’approche, selon les auteurs, est qu’elle peut être déployée avec des frameworks open source. Alors qu’un modèle avancé et à forte investissement tel que ChatGPT peut (l’article concède) potentiellement offrir de meilleurs résultats dans cette tâche, la valeur réelle de la littérature pour la majorité d’entre nous (et en particulier pour les communautés de loisirs et de VFX) est la possibilité d’incorporer et de développer de nouvelles avancées dans des implémentations locales; inversement, tout ce qui est destiné à un système d’API commercial propriétaire est soumis à des retraits, à des hausses de prix arbitraires et à des politiques de censure qui sont plus susceptibles de refléter les préoccupations corporatives d’une entreprise que les besoins et les responsabilités de l’utilisateur.

Le nouvel article s’intitule N’essayez pas de lutter contre les hallucinations, utilisez-les: estimation du réalisme des images à l’aide de l’inférence de langage naturel sur des faits atomiques, et provient de cinq chercheurs issus de l’Institut de science et de technologie Skolkovo (Skoltech), de l’Institut de physique et de technologie de Moscou, et des entreprises russes MTS AI et AIRI. Le travail a une page GitHub accompagnatrice.

Méthode

Les auteurs utilisent l’ensemble de données WHOOPS! israélo-américain pour le projet:

Exemples d’images impossibles de l’ensemble de données WHOOPS! Il est notable de voir à quel point ces images assemblent des éléments plausibles, et que leur improbabilité doit être calculée sur la base de la concaténation de ces facettes incompatibles. Source: https://whoops-benchmark.github.io/

L’ensemble de données comprend 500 images synthétiques et plus de 10 874 annotations, spécifiquement conçues pour tester la capacité de raisonnement et de compréhension compositionnelle des modèles d’IA. Il a été créé en collaboration avec des designers chargés de générer des images difficiles via des systèmes de texte-à-image tels que Midjourney et la série DALL-E – produisant des scénarios difficiles ou impossibles à capturer naturellement:

Autres exemples de l’ensemble de données WHOOPS! Source: https://huggingface.co/datasets/nlphuji/whoops

La nouvelle approche fonctionne en trois étapes; premièrement, le LVLM (spécifiquement LLaVA-v1.6-mistral-7b) est invité à générer plusieurs énoncés simples – appelés « faits atomiques » – pour décrire une image. Ces énoncés sont générés à l’aide de Diverse Beam Search, garantissant la variabilité des sorties.

Diverse Beam Search produit une meilleure variété d’options de légende en optimisant pour un objectif augmenté de diversité. Source: https://arxiv.org/pdf/1610.02424

Ensuite, chaque énoncé généré est systématiquement comparé à chaque autre énoncé à l’aide d’un modèle d’inférence de langage naturel, qui attribue des scores reflétant si les paires d’énoncés impliquent, se contredisent ou sont neutres les unes par rapport aux autres.

Les contradictions indiquent des hallucinations ou des éléments irréalistes dans l’image:

Schéma pour le pipeline de détection.

Enfin, la méthode agrège ces scores d’inférence de langage naturel par paires dans un seul « score de réalisme » qui quantifie la cohérence globale des énoncés générés.

Les chercheurs ont exploré différentes méthodes d’agrégation, avec une approche basée sur le regroupement qui a fonctionné le mieux. Les auteurs ont appliqué l’algorithme de regroupement k-means pour séparer les scores d’inférence de langage naturel individuels en deux groupes, et le centroid du groupe à valeur inférieure a été choisi comme métrique finale.

L’utilisation de deux groupes s’aligne directement sur la nature binaire de la tâche de classification, c’est-à-dire la distinction entre les images réalistes et irréalistes. La logique est similaire à celle qui consiste simplement à choisir le score le plus bas dans l’ensemble; cependant, le regroupement permet à la métrique de représenter la contradiction moyenne sur plusieurs faits, plutôt que de s’appuyer sur une seule valeur aberrante.

Données et tests

Les chercheurs ont testé leur système sur la référence de l’ensemble de données WHOOPS!, en utilisant des séparations de test (c’est-à-dire validation croisée). Les modèles testés étaient BLIP2 FlanT5-XL et BLIP2 FlanT5-XXL dans les séparations, et BLIP2 FlanT5-XXL dans le format zéro-shot (c’est-à-dire sans formation supplémentaire).

Pour une référence de suivi des instructions, les auteurs ont invité les modèles LVLM avec la phrase ‘Est-ce inhabituel? Expliquez brièvement avec une phrase courte’, que des recherches antérieures ont trouvée efficace pour repérer les images irréalistes.

Les modèles évalués étaient LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B, et deux tailles (7/13 milliards de paramètres) de InstructBLIP.

La procédure de test était centrée sur 102 paires d’images réalistes et irréalistes (« bizarres »). Chaque paire était composée d’une image normale et d’une image qui défie le bon sens.

Trois annotateurs humains ont étiqueté les images, atteignant un consensus de 92 %, indiquant un fort accord humain sur ce qui constituait de la « bizarrerie ». La précision des méthodes d’évaluation a été mesurée par leur capacité à distinguer correctement les images réalistes des images irréalistes.

Le système a été évalué en utilisant une validation croisée triple, en mélangeant aléatoirement les données avec une graine fixe. Les auteurs ont ajusté les poids pour les scores d’implication (énoncés qui s’accordent logiquement) et les scores de contradiction (énoncés qui se contredisent logiquement) pendant la formation, tandis que les scores « neutres » étaient fixés à zéro. La précision finale a été calculée comme la moyenne sur toutes les séparations de test.

Comparaison de différents modèles d’inférence de langage naturel et de méthodes d’agrégation sur un sous-ensemble de cinq faits générés, mesurée par la précision.

En ce qui concerne les résultats initiaux présentés ci-dessus, l’article indique:

‘La méthode [‘clust’] se distingue comme l’une des meilleures performances. Cela implique que l’agrégation de tous les scores de contradiction est cruciale, plutôt que de se concentrer uniquement sur les valeurs extrêmes. De plus, le plus grand modèle d’inférence de langage naturel (nli-deberta-v3-large) surperforme tous les autres pour toutes les méthodes d’agrégation, suggérant qu’il capture l’essence du problème de manière plus efficace.’

Les auteurs ont constaté que les poids optimaux favorisaient systématiquement la contradiction par rapport à l’implication, indiquant que les contradictions étaient plus informatives pour distinguer les images irréalistes. Leur méthode a surpassé toutes les autres méthodes zéro-shot testées, s’approchant étroitement de la performance du modèle BLIP2 affiné:

Performance de différentes approches sur la référence de l’ensemble de données WHOOPS! Les méthodes affinées (ft) apparaissent en haut, tandis que les méthodes zéro-shot (zs) sont répertoriées en dessous. La taille du modèle indique le nombre de paramètres, et la précision est utilisée comme métrique d’évaluation.

Ils ont également noté, de manière inattendue, qu’InstructBLIP a performé mieux que les modèles LLaVA comparables étant donné la même invite. Alors qu’ils reconnaissent la supériorité de l’exactitude de GPT-4o, l’article met l’accent sur la préférence des auteurs pour démontrer des solutions pratiques et open source, et, il semble, peut raisonnablement prétendre à la nouveauté en exploitant explicitement les hallucinations comme outil de diagnostic.

Conclusion

Cependant, les auteurs reconnaissent la dette de leur projet envers la publication de 2024 FaithScore, une collaboration entre l’Université du Texas à Dallas et l’Université Johns-Hopkins.

Illustration de la façon dont FaithScore évalue les choses. Tout d’abord, les énoncés descriptifs dans une réponse générée par le LVLM sont identifiés. Ensuite, ces énoncés sont décomposés en faits atomiques individuels. Enfin, les faits atomiques sont comparés à l’image d’entrée pour vérifier leur exactitude. Source: https://arxiv.org/pdf/2311.01477

FaithScore mesure la fidélité des descriptions générées par le LVLM en vérifiant la cohérence par rapport au contenu de l’image, tandis que les méthodes du nouvel article exploitent explicitement les hallucinations du LVLM pour détecter les images irréalistes à travers les contradictions dans les faits générés en utilisant l’inférence de langage naturel.

Le nouveau travail est, naturellement, dépendant des particularités des modèles de langage actuels, et de leur tendance à halluciner. Si le développement de modèles devait un jour produire un modèle entièrement non halluciné, même les principes généraux du nouveau travail ne seraient plus applicables. Cependant, cela reste un prospect difficile.

Publié pour la première fois mardi 25 mars 2025