Lutter contre les hallucinations dans les grands modèles de langage : une étude des techniques de pointe

Les grands modèles de langage (LLM) comme GPT-4, PaLM et Llama ont débloqué des avancées remarquables dans les capacités de génération de langage naturel. Cependant, un défi persistant qui limite leur fiabilité et leur déploiement sécurisé est leur tendance à halluciner – générer du contenu qui semble cohérent mais est factuellement incorrect ou non fondé sur le contexte d’entrée.

À mesure que les LLM continuent de grandir en puissance et en ubiquité à travers les applications du monde réel, il est impératif de faire face aux hallucinations. Cet article fournit une vue d’ensemble complète des dernières techniques que les chercheurs ont introduites pour détecter, quantifier et atténuer les hallucinations dans les LLM.

Comprendre les hallucinations dans les LLM

Les hallucinations font référence aux inexactitudes factuelles ou aux fabrications générées par les LLM qui ne sont pas fondées sur la réalité ou le contexte fourni. Voici quelques exemples :

• Inventer des détails biographiques ou des événements non établis dans la documentation source lors de la génération de texte sur une personne.
• Fournir de mauvais conseils médicaux en fabriquant des effets secondaires de médicaments ou des procédures de traitement.
• Créer des données, des études ou des sources inexistantes pour étayer une affirmation.

Ce phénomène surgit parce que les LLM sont formés sur d’énormes quantités de données textuelles en ligne. Même si cela leur permet d’acquérir de solides capacités de modélisation de langage, cela signifie également qu’ils apprennent à extrapoler des informations, à faire des sauts logiques et à combler les lacunes d’une manière qui semble convaincante mais peut être trompeuse ou erronée.

Certains facteurs clés responsables des hallucinations incluent :

• Généralisation de modèles – Les LLM identifient et étendent des modèles dans les données de formation qui peuvent ne pas généraliser bien.
• Connaissances obsolètes – La formation préalable statique empêche l’intégration de nouvelles informations.
• Ambiguïté – Les invites vagues laissent de la place pour des hypothèses incorrectes.
• Biais – Les modèles perpétuent et amplifient les perspectives biaisées.
• Manque de fondement – Le manque de compréhension et de raisonnement signifie que les modèles génèrent du contenu qu’ils ne comprennent pas entièrement.

Il est essentiel de faire face aux hallucinations pour un déploiement fiable dans des domaines sensibles comme la médecine, le droit, la finance et l’éducation, où la génération de fausses informations pourrait entraîner des préjudices.

Taxinomie des techniques d’atténuation des hallucinations

Les chercheurs ont introduit diverses techniques pour lutter contre les hallucinations dans les LLM, qui peuvent être catégorisées en :

1. Ingénierie de l’invite

Cela implique de créer soigneusement des invites pour fournir un contexte et guider le LLM vers des réponses factuelles et fondées.

• Augmentation de la récupération – Récupérer des preuves externes pour fonder le contenu.
• Boucles de rétroaction – Fournir de la rétroaction itérative pour affiner les réponses.
• Ajustement de l’invite – Ajuster les invites pendant la fine-tuning pour des comportements souhaités.

2. Développement de modèles

Créer des modèles qui sont moins enclins à halluciner via des changements architecturaux.

• Stratégies de décodage – Générer du texte de manière à augmenter la fidélité.
• Fondement des connaissances – Intégrer des bases de connaissances externes.
• Fonctions de perte nouvelles – Optimiser pour la fidélité pendant la formation.
• Ajustement fin supervisé – Utiliser des données étiquetées humaines pour améliorer la factualité.

Ensuite, nous examinons les techniques éminentes sous chaque approche.

Techniques éminentes d’atténuation des hallucinations

Génération augmentée de récupération

La génération augmentée de récupération améliore les LLM en récupérant et en conditionnant la génération de texte sur des documents de preuve externes, plutôt que de s’appuyer uniquement sur les connaissances implicites du modèle. Cela fonde le contenu dans des informations à jour et vérifiables, réduisant les hallucinations.

Les techniques éminentes incluent :

• RAG – Utilise un module de récupération qui fournit des passages pertinents pour un modèle seq2seq pour générer à partir. Les deux composants sont formés de bout en bout.
• RARR – Emploie des LLM pour rechercher des allégations non attribuées dans le texte généré et les réviser pour les aligner sur les preuves récupérées.
• Récupération de connaissances – Valide les générations incertaines en utilisant les connaissances récupérées avant de produire du texte.
• LLM-Augmenter – Recherche itérativement des connaissances pour construire des chaînes de preuves pour les invites LLM.

Rétroaction et raisonnement

L’utilisation de la rétroaction naturelle du langage ou de l’auto-raisonnement permet aux LLM de raffiner et d’améliorer leurs sorties initiales, réduisant les hallucinations.

CoVe emploie une technique de chaîne de vérification. Le LLM élabore d’abord une réponse à la requête de l’utilisateur. Il génère ensuite des questions de vérification potentielles pour vérifier sa propre réponse, en fonction de sa confiance dans les différentes affirmations faites. Par exemple, pour une réponse décrivant un nouveau traitement médical, CoVe peut générer des questions comme « Quel est le taux d’efficacité du traitement ? », « A-t-il reçu l’approbation réglementaire ? », « Quels sont les effets secondaires potentiels ? ». De manière cruciale, le LLM tente ensuite de répondre de manière indépendante à ces questions de vérification sans être influencé par sa réponse initiale. Si les réponses aux questions de vérification contredisent ou ne peuvent pas soutenir les affirmations faites dans la réponse originale, le système identifie celles-ci comme des hallucinations probables et affine la réponse avant de la présenter à l’utilisateur.

DRESS se concentre sur l’ajustement des LLM pour les aligner mieux sur les préférences humaines via la rétroaction du langage naturel. L’approche permet aux utilisateurs non experts de fournir des critiques en libre forme sur les générations du modèle, telles que « Les effets secondaires mentionnés semblent exagérés » ou des instructions de raffinement comme « Veuillez également discuter de l’efficacité coût-efficacité ». DRESS utilise l’apprentissage par renforcement pour former des modèles à générer des réponses conditionnées sur une telle rétroaction qui s’alignent mieux sur les préférences humaines. Cela améliore l’interactivité tout en réduisant les affirmations irréalistes ou non étayées.

MixAlign traite les situations où les utilisateurs posent des questions qui ne correspondent pas directement aux passages de preuve récupérés par le système. Par exemple, un utilisateur peut demander « La pollution va-t-elle empirer en Chine ? » alors que les passages récupérés discutent des tendances de pollution mondiales. Pour éviter de halluciner avec un contexte insuffisant, MixAlign clarifie explicitement avec l’utilisateur lorsqu’il est incertain de la manière de relier leur question aux informations récupérées. Ce mécanisme humain dans la boucle permet d’obtenir une rétroaction pour obtenir correctement le contexte et les preuves, empêchant ainsi les réponses non fondées.

La technique Auto-réflexion forme les LLM pour évaluer, fournir une rétroaction et raffiner itérativement leurs propres réponses en utilisant une approche multi-tâche. Par exemple, étant donné une réponse générée pour une requête médicale, le modèle apprend à noter la précision factuelle, à identifier les affirmations contradictoires ou non étayées et à les modifier en récupérant les connaissances pertinentes. En enseignant aux LLM cette boucle de rétroaction de vérification, de critique et d’amélioration itérative de leurs propres sorties, l’approche réduit les hallucinations aveugles.

Ajustement de l’invite

L’ajustement de l’invite permet d’ajuster les invites instructionnelles fournies aux LLM pendant la fine-tuning pour des comportements souhaités.

La méthode SynTra emploie une tâche de résumé synthétique pour minimiser les hallucinations avant de transférer le modèle à des jeux de données de résumé réels. La tâche synthétique fournit des passages d’entrée et demande aux modèles de les résumer en utilisant uniquement la récupération, sans abstraction. Cela forme les modèles à s’appuyer entièrement sur le contenu source plutôt que d’halluciner de nouvelles informations pendant la résumation. SynTra est montré pour réduire les problèmes d’hallucination lorsque les modèles fine-tunés sont déployés sur les tâches cibles.

UPRISE forme un récupérateur d’invite universel qui fournit l’invite douce optimale pour l’apprentissage à quelques exemples sur des tâches en aval non vues. En récupérant des invites efficaces ajustées sur un ensemble diversifié de tâches, le modèle apprend à généraliser et à s’adapter à de nouvelles tâches où il manque d’exemples de formation. Cela améliore les performances sans nécessiter d’ajustement spécifique à la tâche.

Architectures de modèles nouvelles

FLEEK est un système axé sur l’assistance aux vérificateurs et validateurs humains. Il identifie automatiquement les affirmations factuelles potentiellement vérifiables faites dans un texte donné. FLEEK transforme ces déclarations vérifiables en requêtes, récupère des preuves liées à partir de bases de connaissances et fournit ces informations contextuelles aux validateurs humains pour vérifier efficacement l’exactitude du document et les besoins de révision.

L’approche de décodage CAD réduit les hallucinations dans la génération de langage via le décodage conscient du contexte. Plus précisément, CAD amplifie les différences entre la distribution de sortie d’un LLM lorsqu’il est conditionné sur un contexte par rapport à la génération inconditionnelle. Cela décourage la contradiction des preuves contextuelles, orientant ainsi le modèle vers des générations fondées.

DoLA atténue les hallucinations factuelles en contrastant les logits de différentes couches de réseaux de transformateurs. Puisque les connaissances factuelles ont tendance à être localisées dans certaines couches médianes, l’amplification des signaux de ces couches factuelles via le contraste de logits de DoLA réduit les générations factuelles incorrectes.

Le cadre THAM introduit un terme de régularisation pendant la formation pour minimiser l’information mutuelle entre les entrées et les sorties hallucinées. Cela aide à augmenter la dépendance du modèle au contexte d’entrée donné plutôt qu’à l’imagination non bridée, réduisant ainsi les hallucinations aveugles.

Fondement des connaissances

Fonder les générations de LLM dans des connaissances structurées empêche la spéculation et la fabrication débridées.

Le modèle RHO identifie les entités dans un contexte conversationnel et les relie à un graphe de connaissances (KG). Les faits et relations liés à ces entités sont récupérés à partir du KG et fusionnés dans la représentation contextuelle fournie au LLM. Ce contexte enrichi par les connaissances réduit les hallucinations dans le dialogue en maintenant les réponses liées à des faits fondés sur les entités/événements mentionnés.

HAR crée des ensembles de formation contrefactuels contenant des hallucinations générées par le modèle pour mieux enseigner le fondement. Étant donné un passage factuel, les modèles sont invités à introduire des hallucinations ou des distorsions en générant une version contrefactuelle modifiée. La fine-tuning sur ces données force les modèles à mieux fonder le contenu dans les sources factuelles d’origine, réduisant ainsi l’improvisation.

Ajustement fin supervisé

• Coach – Cadre interactif qui répond aux requêtes de l’utilisateur mais demande également des corrections pour améliorer.
• R-Tuning – Ajustement conscient du refus refuse les questions non étayées identifiées via les lacunes de connaissance dans les données de formation.
• TWEAK – Méthode de décodage qui classe les générations en fonction de leur soutien aux faits d’entrée.

Défis et limites

Malgré les progrès prometteurs, certains défis clés persistent pour atténuer les hallucinations :

• Les techniques échangent souvent la qualité, la cohérence et la créativité pour la véracité.
• Difficulté dans l’évaluation rigoureuse au-delà des domaines limités. Les métriques ne capturent pas toutes les nuances.
• De nombreuses méthodes sont coûteuses en calcul, nécessitant une récupération ou un auto-raisonnement extensifs.
• Elles dépendent fortement de la qualité des données de formation et des sources de connaissances externes.
• Il est difficile de garantir la généralisabilité à travers les domaines et les modalités.
• Les racines fondamentales des hallucinations comme la surextrapolation restent non résolues.

Pour relever ces défis, il est probable qu’une approche multiforme combinant l’amélioration des données de formation, les améliorations de l’architecture du modèle, les pertes d’amélioration de la fidélité et les techniques d’inférence soit nécessaire.

La voie à suivre

L’atténuation des hallucinations pour les LLM reste un problème de recherche ouvert avec un progrès actif. Certaines directions futures prometteuses incluent :

• Techniques hybrides : Combiner des approches complémentaires comme la récupération, le fondement des connaissances et la rétroaction.
• Modélisation de la causalité : Améliorer la compréhension et le raisonnement.
• Intégration des connaissances en ligne : Garder les connaissances mondiales à jour.
• Vérification formelle : Fournir des garanties mathématiques sur les comportements du modèle.
• Interprétabilité : Construire la transparence dans les techniques d’atténuation.

Alors que les LLM continuent de proliférer à travers les domaines à enjeux élevés, développer des solutions robustes pour limiter les hallucinations sera clé pour assurer leur déploiement sécurisé, éthique et fiable. Les techniques étudiées dans cet article fournissent une vue d’ensemble des techniques proposées jusqu’à présent, où plus de défis de recherche ouverts restent. Dans l’ensemble, il y a une tendance positive vers l’amélioration de la factualité des modèles, mais la poursuite du progrès nécessite de relever les limites et d’explorer de nouvelles directions comme la causalité, la vérification et les méthodes hybrides. Avec des efforts diligents de la part des chercheurs à travers les disciplines, le rêve de LLM puissants et fiables peut être traduit en réalité.