Réduction des hallucinations d’images par intelligence artificielle en les exagérant

Les modèles de vision de type ChatGPT ont souvent tendance à « halluciner » des éléments qui ne sont pas présents dans une image. Une nouvelle méthode réduit ces erreurs en montrant au modèle des versions exagérées de ses propres hallucinations, basées sur les légendes – puis en le faisant réessayer. Cette approche ne nécessite pas de réentraînement ni de données supplémentaires et peut être appliquée à une large gamme de modèles et de types de modèles.

Une nouvelle publication en Chine propose une approche intéressante pour résoudre le problème persistant des hallucinations dans les images et les vidéos générées par l’intelligence artificielle – des éléments qui ne devraient pas être présents dans l’image, en fonction de la demande et des entrées de l’utilisateur.

En substance, le système prend une image et laisse le modèle la décrire, comme d’habitude; il transforme ensuite cette légende en une nouvelle image à l’aide d’un modèle texte-à-image – et tout objet ou détail supplémentaire dans cette deuxième image sera une représentation directe des hallucinations initiales du modèle. Ensuite, en comparant les images originales et générées, le système détourne doucement le modèle de ces erreurs la prochaine fois qu’il essaie:

Une illustration de la façon dont la nouvelle méthode identifie et réduit les hallucinations dans les légendes d’images. Le modèle régulier décrit des oiseaux qui n’existent pas dans l’image originale, conduisant à une image reconstruite qui les ajoute. Ces erreurs sont marquées en rouge. En revanche, la méthode proposée évite ces détails inventés tout en conservant la légende spécifique et fluente. Source: https://arxiv.org/pdf/2509.21997

La méthode commence par montrer au modèle des images réelles et en le faisant les décrire, y compris certaines descriptions présentant des objets ou des détails qui ne sont pas réellement présents. Ces légendes hallucinées sont ensuite utilisées pour générer des images synthétiques qui rendent les erreurs plus faciles à détecter. En comparant les images réelles et générées, le système apprend quels modèles internes du modèle tendent à produire du contenu inventé.

Une fois ces modèles d’erreur identifiés, ils peuvent être stockés et utilisés plus tard. Lorsque le modèle reçoit une nouvelle image, le système ajuste ses signaux internes pendant la légende, l’éloignant des modèles connus qui provoquent des hallucinations. Cela fonctionne en une seule passe et ne nécessite pas de données supplémentaires, de réentraînement ou de nouvelle génération d’images au moment du test.

La toile embrouillée

Dans l’exemple ci-dessus, tiré du document, on peut voir que l’entrelacement est probablement responsable de l’embellissement des « oiseaux » dans l’image d’entrée, même si la première image ne semble contenir aucun oiseau.

L’entrelacement se produit lorsque le modèle insiste sur l’association de certains concepts avec d’autres concepts, simplement parce que les deux (ou plusieurs) concepts tendent à apparaître fréquemment ensemble dans la distribution de données d’origine sur laquelle le modèle a été formé. Dans ce cas, le modèle peut avoir vu de nombreuses images de avions+oiseaux, provoquant une association qui ne s’applique pas à l’image particulière en question, mais qui pénètre néanmoins dans la légende dérivée.

Bien que l’entrelacement puisse être atténué en arrêtant l’entraînement plus tôt (ce qui, en général, rend le modèle maximally flexible et adaptable), cela réduit également le détail et la résolution de tous les concepts formés, laissant le formateur de modèle avec le dilemme perpétuel: créer un modèle très flexible et désentrelacé; ou créer un modèle plus puissamment génératif, mais également plus susceptible de produire des « hallucinations associées »?

Si la qualité de la légende et l’attention aux détails dans la curation des données d’origine pour un modèle génératif avaient été meilleures que la logistique ne le permet généralement, les légendes pour toutes les images sources auraient détaillé tous les objets de chaque image, de sorte que le modèle formé aurait pu leur attribuer des entrées discrètes et désentrelacées dans son espace latent.

Comme il en est, la pratique auto-servante de légendage SEO, combinée avec le fait que l’extraction de données à grande échelle reste la meilleure source pour former de véritables modèles génératifs puissants, signifie que les légendes d’images tendent à tomber considérablement en dessous de ce standard:

Une illustration de la façon dont les légendes faibles limitent l’utilité des images LAION pour former des modèles comme Stable Diffusion. De nombreux libellés de texte sont superficiels, vagues ou optimisés pour le SEO plutôt que pour la description précise, rendant plus difficile pour le modèle d’apprendre des concepts visuels fins tels que les caractéristiques du visage. (La source d’origine était https://rom1504.github.io/, maintenant obsolète).

Par conséquent, puisqu’une solution fondamentale est peu probable pour être jamais praticable, la réduction des hallucinations de LLM/VLM par des solutions de contournement et des compromis est devenue un sous-domaine fort dans la littérature.

La nouvelle technique chinoise dévoilée cette semaine, les auteurs déclarent, a été testée sur une variété d’architectures dans diverses conditions, et pourrait indiquer une façon utile de réduire la « pollution par hallucinations ».

Ils disent:

‘Des expériences approfondies sur plusieurs références montrent que notre méthode réduit considérablement les hallucinations au niveau des objets, des attributs et des relations, tout en préservant largement le rappel et la richesse de la légende.’

Le nouveau document est intitulé Exposer les hallucinations pour les supprimer: édition de la représentation VLM avec des ancrages génératifs, et provient de trois chercheurs de l’Université des sciences et de la technologie de Chine et de l’Université de Nanjing.

Méthode

Les auteurs ont conçu un pipeline de bout en bout, montré ci-dessous, conçu pour exposer et supprimer les hallucinations dans les légendes d’images:

Une illustration du pipeline complet. Un modèle vision-langage génère d’abord une légende à partir de l’image d’entrée, qui peut inclure du contenu halluciné. Cette légende est ensuite utilisée pour produire une image reconstruite via un modèle texte-à-image, rendant les hallucinations plus faciles à détecter. Les embeddings des images originales et reconstruites sont extraits et utilisés pour guider les ajustements à l’intérieur du décodeur, aidant le modèle à supprimer les détails hallucinés tout en préservant la qualité de la légende.

En partant d’une image d’entrée réelle, un modèle vision-langage génère une légende descriptive qui peut contenir des objets ou des relations inventés. Cette légende est ensuite alimentée dans un générateur texte-à-image pour créer une image reconstruite qui montre exactement ce que la légende décrit. La comparaison de cette image reconstruite avec l’originale rend le contenu fabriqué évident et mesurable, transformant des erreurs subtiles en texte en différences visibles que le système peut cibler et réduire.

Pour guider le modèle à l’éloigner de « l’invention » de détails, le système compare deux versions de la même image: l’originale et une reconstruite basée sur la légende. Chaque image est convertie en un embedding compact qui capture son contenu.

L’image originale agit comme une référence fiable, tandis que la reconstruite met en évidence où les hallucinations peuvent avoir pénétré. En ajustant ses représentations internes pour se rapprocher de l’originale et s’éloigner de la reconstruite, le modèle apprend à se corriger automatiquement. Puisque ce processus ne repose pas sur des règles réglées à la main ou sur des données externes, il reste entièrement auto-supervisé.

Le document déclare:

‘Les hallucinations dans les MLLM sont intrinsèquement difficiles à détecter car elles sont linguistiquement bien formées et souvent indiscernables des descriptions fidèles au niveau du texte. La discordance réside non dans la plausibilité linguistique mais dans le désalignement avec les preuves visuelles, auquel le modèle lui-même est généralement insensible.

‘Pour remédier à cela, nous introduisons un mécanisme d’exposition aux hallucinations qui utilise la reconstruction générative pour convertir les incohérences implicites en signaux explicites et observables.’

Étant donné une image d’entrée et sa légende, le système utilise le modèle texte-à-image FLUX.1-dev pour recréer une image à partir de la légende seule. Cette image recréée a tendance à exagérer le sens de la légende, rendant les détails faux plus évidents. Ces erreurs amplifiées servent ensuite de signaux utiles qui aident le modèle à reconnaître et à corriger ses propres erreurs.

Pour tester leur approche, les auteurs ont injecté des hallucinations dans les légendes et utilisé le modèle texte-à-image pour générer des images reconstruites. Ces images ont ensuite été légendées par LLaVA, et la similarité sémantique entre les légendes originales et hallucinées a été évaluée:

Une illustration de la façon dont le mécanisme d’amplification des hallucinations rend les erreurs subtiles visibles. Chaque point montre la similarité entre les légendes des images originales et reconstruites pour une paire d’image-légende. La ligne orange représente la similarité mesurée directement entre les légendes originales et hallucinées, qui reste élevée et masque les petites erreurs; la ligne bleue représente la similarité après reconstruction, qui chute brusquement, montrant que le processus transforme les hallucinations cachées en marqueurs sémantiques clairs qui peuvent être détectés et corrigés.

La similarité chute brusquement après reconstruction, montrant que le processus rend les erreurs subtiles plus détectables.

Données et tests

La validation de l’efficacité de la nouvelle méthode a impliqué l’utilisation de trois références appropriées: Évaluation des hallucinations de légende avec pertinence d’image (CHAIR); Évaluation de MLLM (MME); et Évaluation de sondage d’objets basée sur le regroupement (POPE).

À partir du document CHAIR: des exemples d’objets hallucinés générés par deux systèmes de légendage de pointe, TopDown et NBT, où chaque modèle invente des éléments visuels qui ne sont pas réellement présents dans l’image, tels que des ordinateurs portables, des éviers ou des planches de surf. Source: https://arxiv.org/pdf/1809.02156

Des métriques standard comme taux d’hallucination ou rappel peuvent être trompeuses, car un modèle peut éviter les hallucinations simplement en produisant des légendes courtes ou vagues. Pour tenir compte du compromis entre rappel et hallucination, une métrique combinée appelée Hallucination et rappel (HAR@β) a été utilisée, qui évalue les légendes en fonction de leur exactitude et de leur exhaustivité, et qui permet d’ajuster l’équilibre en fonction de l’importance de l’évitement des erreurs ou de l’inclusion de plus de détails.

POPE a été utilisé pour évaluer les hallucinations d’objets sensibles au contexte, et MME pour évaluer les hallucinations au niveau des attributs, avec les deux présentés sous forme de tâches de jugement oui/non.

Des expériences ont été menées sur divers ensembles de données représentatifs, en utilisant le modèle Flux mentionné ci-dessus et la variante LLaVA-v1.5-7B. Les ensembles de données utilisés étaient Microsoft COCO; A-OKVQA; et GQA.

La modification latente a été effectuée pour la deuxième couche des modèles, conformément à des travaux antérieurs liés, tandis que les hyperparamètres et la température étaient cohérents pour tous les modèles.

Les résultats initiaux sur CHAIR sont présentés ci-dessous*:

Performances sur le référentiel CHAIR pour la mitigation des hallucinations, évaluées à l’aide de plusieurs métriques.

Sur ces résultats, les auteurs commentent:

‘Notre méthode surpasse régulièrement les autres références sur CHAIR_S et CHAIR_I[*], démontrant son efficacité supérieure pour supprimer les hallucinations. Pendant ce temps, même si presque toutes les méthodes réduisent inévitablement le rappel tout en supprimant les hallucinations, reflétant un compromis entre la fidélité et l’informativité, notre approche réalise la plus petite baisse.

‘Cela démontre que notre méthode capture une large gamme d’objets de référence. Avec la métrique HAR@β, notre méthode réalise le score le plus élevé, mettant en évidence sa capacité à réduire les hallucinations tout en maintenant la couverture.’

Les chercheurs attribuent ces résultats solides à la configuration de double supervision, où la sémantique propre de l’image originale a été renforcée, tout en même temps que les signaux trompeurs de l’image reconstruite ont été supprimés. Puisque l’ajustement ciblait uniquement la direction associée aux hallucinations, le reste de la représentation a été laissé intact, permettant au système de corriger les erreurs sans sacrifier les détails ou l’informativité.

Comparaison des performances sur le référentiel POPE sous diverses configurations et ensembles de données.

En ce qui concerne les résultats sur POPE, présentés dans le tableau de résultats ci-dessus, le document affirme:

‘Il peut être observé que notre méthode réalise régulièrement les meilleures performances dans toutes les configurations. Notamment, notre méthode peut atteindre jusqu’à +5,95 % de précision et +6,85 % de score F1 en moyenne, surpassant les autres approches sans formation par une large marge.

‘Par conséquent, ces résultats démontrent que notre méthode fournit une solution fiable et généralisable à différents niveaux de difficulté.’

À partir du troisième tour de tests, comparaisons de performances sur MME.

Le dernier test principal a été effectué sur MME, avec les résultats présentés ci-dessus. Cependant, parmi d’autres omissions, il mentionne la méthode ‘OPERA’, qui n’est définie nulle part dans le document principal ou dans l’annexe. Bien que les auteurs revendiquent de fortes performances sur MME, sans définitions adéquates des méthodes, nous devrions peut-être laisser la section des résultats à ce stade.

Une illustration à partir du référentiel MME en utilisant LLaVA-v1.5-7B, montrant comment le modèle de base produit une réponse hallucinée tandis que la méthode proposée donne la réponse correcte, avec l’image reconstruite rendant l’hallucination plus apparente.

Conclusion

Bien que ce document soit clairement bâclé et souffre d’un manque de structure, de focalisation et de clarté qui est de plus en plus évident dans la littérature au cours des 12 derniers mois (peut-être sans rapport avec l’utilisation croissante de l’IA dans la recherche universitaire), le mécanisme central présenté reste ingénieux.

Alors que cette approche de bout en bout ne nécessite pas de réentraînement et semble applicable à une large gamme d’architectures, il aurait été éclairant de voir plus de candidats tests; et il doit également être considéré qu’un système intermédiaire de ce type introduira au moins une latence et une certaine exigence de puissance supplémentaire – ce qui n’est pas un problème mineur à grande échelle.

* De manière non conventionnelle, le corps principal de ce document présente des résultats avec des en-têtes qui ne sont expliqués que dans le matériel d’annexe, et non dans le document principal – une mauvaise habitude de plus en plus répandue dans la littérature, à mesure que les chercheurs cherchent à limiter la thèse centrale à 8-9 pages, même lorsque le matériel ne le permet pas. Dans tous les cas, le référentiel CHAIR, utilisé pour évaluer les hallucinations d’objets dans les légendes, était basé sur un sous-ensemble de 500 images de MSCOCO à partir d’un travail antérieur. Deux formes ont été utilisées: CHAIR_S, mesurant à quelle fréquence les hallucinations apparaissaient dans une légende donnée; et CHAIR_I, mesurant combien d’objets mentionnés étaient hallucinés. HAR@β, introduit dans le document principal, a été défini comme une combinaison de type F_β de suppression des hallucinations et de rappel d’objets.

Publié pour la première fois mardi 30 septembre 2025