S'attaquer aux hallucinations dans les grands modèles de langage : une étude des techniques de pointe

Les grands modèles de langage (LLM) comme GPT-4, PaLM et Llama ont permis des avancées remarquables dans les capacités de génération de langage naturel. Cependant, un défi persistant limitant leur fiabilité et leur déploiement sûr est leur tendance à halluciner – générant un contenu qui semble cohérent mais qui est factuellement incorrect ou sans fondement par rapport au contexte d’entrée.

Alors que les LLM continuent de devenir de plus en plus puissants et omniprésents dans les applications du monde réel, il devient impératif de s’attaquer aux hallucinations. Cet article fournit un aperçu complet des dernières techniques introduites par les chercheurs pour détecter, quantifier et atténuer les hallucinations dans les LLM.

Comprendre l'hallucination dans les LLM

L'hallucination fait référence à des inexactitudes factuelles ou à des fabrications générées par les LLM qui ne sont pas fondées sur la réalité ou sur le contexte fourni. Voici quelques exemples :

• Inventer des détails biographiques ou des événements non mis en évidence dans le matériel source lors de la génération d'un texte sur une personne.
• Fournir des conseils médicaux erronés en confondant les effets secondaires des médicaments ou les procédures de traitement.
• Concocter des données, des études ou des sources inexistantes pour étayer une affirmation.

Ce phénomène se produit parce que les LLM sont formés sur de grandes quantités de données textuelles en ligne. Bien que cela leur permette d’acquérir de solides capacités de modélisation linguistique, cela signifie également qu’ils apprennent à extrapoler des informations, à faire des sauts logiques et à combler les lacunes d’une manière qui semble convaincante mais qui peut être trompeuse ou erronée.

Certains facteurs clés responsables des hallucinations comprennent :

• Généralisation des modèles – Les LLM identifient et étendent les modèles dans les données de formation qui peuvent ne pas bien se généraliser.
• Connaissances dépassées – La pré-formation statique empêche l’intégration de nouvelles informations.
• Ambiguïté – Des invites vagues laissent place à des hypothèses incorrectes.
• Les biais – Les modèles perpétuent et amplifient des perspectives biaisées.
• Mise à la terre insuffisante – Le manque de compréhension et de raisonnement fait que les modèles génèrent du contenu qu'ils ne comprennent pas complètement.

S'attaquer aux hallucinations est essentiel pour un déploiement fiable dans des domaines sensibles comme la médecine, le droit, la finance et l'éducation, où la génération de fausses informations pourrait être préjudiciable.

Taxonomie des techniques d'atténuation des hallucinations

Les chercheurs ont introduit diverses techniques pour combattre les hallucinations dans les LLM, qui peuvent être classées en :

1. Ingénierie rapide

Cela implique de rédiger soigneusement des invites pour fournir un contexte et guider le LLM vers des réponses factuelles et fondées.

• Augmentation de la récupération – Récupération de preuves externes pour étayer le contenu.
• Boucles de rétroaction – Fournir des commentaires de manière itérative pour affiner les réponses.
• Réglage rapide – Ajuster les invites lors du réglage fin pour les comportements souhaités.

2. Développement de modèles

Créer des modèles intrinsèquement moins sujets aux hallucinations via des changements architecturaux.

• Stratégies de décodage – Générer du texte de manière à augmenter la fidélité.
• Base de connaissances – Intégration de bases de connaissances externes.
• Nouvelles fonctions de perte – Optimisation de la fidélité lors de l’entraînement.
• Mise au point supervisée – Utiliser des données étiquetées par l’homme pour améliorer la factualité.

Ensuite, nous examinons les principales techniques sous chaque approche.

Techniques notables d’atténuation des hallucinations

Récupération Génération Augmentée

La génération augmentée par récupération améliore les LLM en récupérant et en conditionnant la génération de texte sur des documents de preuve externes, plutôt que de s'appuyer uniquement sur les connaissances implicites du modèle. Cela fonde le contenu sur des informations à jour et vérifiables, réduisant ainsi les hallucinations.

Les principales techniques comprennent :

• CHIFFON – Utilise un module de récupération fournissant des passages pertinents à partir desquels un modèle seq2seq doit être généré. Les deux composants sont formés de bout en bout.
• RAR – Utilise des LLM pour rechercher des allégations non attribuées dans le texte généré et les réviser pour les aligner sur les preuves récupérées.
• Récupération des connaissances – Valide les générations incertaines en utilisant les connaissances récupérées avant de produire du texte.
• LLM-Augmenter – Recherche itérative de connaissances pour construire des chaînes de preuves pour les invites LLM.

Commentaires et raisonnement

Tirer parti du retour d’information itératif en langage naturel ou de l’auto-raisonnement permet aux LLM d’affiner et d’améliorer leurs résultats initiaux, réduisant ainsi les hallucinations.

Crique utilise une chaîne de techniques de vérification. Le LLM rédige d'abord une réponse à la requête de l'utilisateur. Il génère ensuite des questions de vérification potentielles pour vérifier les faits de sa propre réponse, sur la base de sa confiance dans diverses déclarations faites. Par exemple, pour une réponse décrivant un nouveau traitement médical, CoVe peut générer des questions telles que « Quel est le taux d'efficacité du traitement ? », « A-t-il reçu l'approbation réglementaire ? », « Quels sont les effets secondaires potentiels ? ». Surtout, le LLM essaie ensuite de répondre de manière indépendante à ces questions de vérification sans être biaisé par sa réponse initiale. Si les réponses aux questions de vérification contredisent ou ne peuvent pas étayer les déclarations faites dans la réponse originale, le système les identifie comme des hallucinations probables et affine la réponse avant de la présenter à l'utilisateur.

Robes se concentre sur le réglage des LLM pour mieux s'aligner sur les préférences humaines grâce à un feedback en langage naturel. L'approche permet aux utilisateurs non experts de fournir des critiques libres sur les générations de modèles, telles que « Les effets secondaires mentionnés semblent exagérés » ou des instructions de raffinement telles que « Veuillez également discuter de la rentabilité ». DRESS utilise l'apprentissage par renforcement pour former des modèles afin de générer des réponses conditionnées par de tels retours qui correspondent mieux aux préférences humaines. Cela améliore l’interactivité tout en réduisant les déclarations irréalistes ou non prises en charge.

MélangerAligner traite des situations dans lesquelles les utilisateurs posent des questions qui ne correspondent pas directement aux éléments de preuve récupérés par le système. Par exemple, un utilisateur peut demander : « La pollution va-t-elle empirer en Chine ? » tandis que les passages récupérés discutent des tendances de la pollution à l’échelle mondiale. Pour éviter d'halluciner avec un contexte insuffisant, MixAlign clarifie explicitement avec l'utilisateur lorsqu'il ne sait pas comment relier sa question aux informations récupérées. Ce mécanisme humain dans la boucle permet d'obtenir des commentaires pour étayer et contextualiser correctement les preuves, évitant ainsi les réponses non fondées.

Les Auto-réflexion Cette technique forme les LLM à évaluer, à fournir des commentaires et à affiner de manière itérative leurs propres réponses en utilisant une approche multitâche. Par exemple, étant donné une réponse générée pour une requête médicale, le modèle apprend à évaluer son exactitude factuelle, à identifier toute déclaration contradictoire ou non étayée et à les modifier en récupérant les connaissances pertinentes. En enseignant aux LLM cette boucle de rétroaction consistant à vérifier, critiquer et améliorer de manière itérative leurs propres résultats, l’approche réduit les hallucinations aveugles.

Réglage rapide

Le réglage des invites permet d'ajuster les invites pédagogiques fournies aux LLM lors du réglage fin des comportements souhaités.

Les SynTra La méthode utilise une tâche de résumé synthétique pour minimiser les hallucinations avant de transférer le modèle vers des ensembles de données de résumé réels. La tâche synthétique fournit des passages d'entrée et demande aux modèles de les résumer par récupération uniquement, sans abstraction. Cela entraîne les modèles à s'appuyer entièrement sur le contenu source plutôt que d'halluciner de nouvelles informations lors du résumé. Il a été démontré que SynTra réduit les problèmes d'hallucinations lorsque des modèles affinés sont déployés sur des tâches cibles.

L'UPRISSE forme un récupérateur d'invites universel qui fournit l'invite logicielle optimale pour un apprentissage en quelques étapes sur des tâches invisibles en aval. En récupérant des invites efficaces adaptées à un ensemble diversifié de tâches, le modèle apprend à généraliser et à s'adapter à de nouvelles tâches pour lesquelles il manque d'exemples de formation. Cela améliore les performances sans nécessiter de réglage spécifique à la tâche.

Nouvelles architectures de modèles

FLÈCHE est un système axé sur l’assistance aux vérificateurs et validateurs de faits humains. Il identifie automatiquement les allégations factuelles potentiellement vérifiables formulées dans un texte donné. FLEEK transforme ces déclarations dignes de vérification en requêtes, récupère les preuves associées à partir des bases de connaissances et fournit ces informations contextuelles aux validateurs humains pour vérifier efficacement l'exactitude des documents et les besoins de révision.

Les CAD L'approche de décodage réduit les hallucinations dans la génération du langage grâce à un décodage contextuel. Plus précisément, la CAO amplifie les différences entre la distribution des résultats d'un LLM lorsqu'elle est conditionnée par un contexte et générée de manière inconditionnelle. Cela décourage les preuves contextuelles contradictoires et oriente le modèle vers des générations ancrées.

DoLA atténue les hallucinations factuelles en contrastant les logits de différentes couches de réseaux de transformateurs. Étant donné que les connaissances factuelles ont tendance à être localisées dans certaines couches intermédiaires, l'amplification des signaux provenant de ces couches factuelles via le contraste logit du DoLA réduit les générations factuelles incorrectes.

Les THAM Le cadre introduit un terme de régularisation pendant la formation pour minimiser les informations mutuelles entre les entrées et les sorties hallucinées. Cela contribue à accroître la dépendance du modèle à l'égard d'un contexte d'entrée donné plutôt que d'une imagination débridée, réduisant ainsi les hallucinations aveugles.

Base de connaissances

Ancrer les générations LLM dans des connaissances structurées empêche la spéculation et la fabrication effrénées.

Les RHO Le modèle identifie les entités dans un contexte conversationnel et les relie à un graphe de connaissances (KG). Les faits et relations connexes concernant ces entités sont extraits du KG et fusionnés dans la représentation contextuelle fournie au LLM. Cette orientation contextuelle enrichie en connaissances réduit les hallucinations dans le dialogue en gardant les réponses liées à des faits fondés sur les entités/événements mentionnés.

HAR crée des ensembles de données de formation contrefactuelles contenant des hallucinations générées par un modèle pour mieux enseigner les bases. Étant donné un passage factuel, les modèles sont incités à introduire des hallucinations ou des distorsions générant une version contrefactuelle modifiée. Le réglage fin de ces données oblige les modèles à mieux ancrer le contenu dans les sources factuelles originales, réduisant ainsi l'improvisation.

Mise au point supervisée

• Coach – Framework interactif qui répond aux requêtes des utilisateurs mais demande également des corrections pour s’améliorer.
• R-Tuning – Le réglage tenant compte du refus refuse les questions non prises en charge identifiées par des lacunes dans les connaissances des données de formation.
• TORDRE – Méthode de décodage qui classe les générations en fonction de la manière dont les hypothèses soutiennent les faits d’entrée.

Défis et limites

Malgré des progrès prometteurs, certains défis majeurs demeurent dans l’atténuation des hallucinations :

• Les techniques troquent souvent la qualité, la cohérence et la créativité contre la véracité.
• Difficulté à effectuer une évaluation rigoureuse au-delà de domaines limités. Les mesures ne capturent pas toutes les nuances.
• De nombreuses méthodes sont coûteuses en termes de calcul, nécessitant une récupération approfondie ou un auto-raisonnement.
• Dépend fortement de la qualité des données de formation et des sources de connaissances externes.
• Difficile de garantir la généralisabilité à travers les domaines et les modalités.
• Les racines fondamentales de l’hallucination, comme la sur-extrapolation, restent irrésolues.

Relever ces défis nécessite probablement une approche multicouche combinant des améliorations des données de formation, des améliorations de l'architecture du modèle, des pertes améliorant la fidélité et des techniques de temps d'inférence.

La route à suivre

L'atténuation des hallucinations pour les LLM reste un problème de recherche ouvert avec des progrès actifs. Voici quelques orientations futures prometteuses :

• Techniques hybrides: Combiner des approches complémentaires comme la récupération, l'ancrage des connaissances et le feedback.
• Modélisation de la causalité: Améliorer la compréhension et le raisonnement.
• Intégration des connaissances en ligne: Gardez les connaissances du monde à jour.
• Vérification formelle: Fournir des garanties mathématiques sur les comportements du modèle.
• Interprétabilité: Intégrer la transparence dans les techniques d’atténuation.

Alors que les LLM continuent de proliférer dans des domaines à enjeux élevés, le développement de solutions robustes pour réduire les hallucinations sera essentiel pour garantir leur déploiement sûr, éthique et fiable. Les techniques examinées dans cet article donnent un aperçu des techniques proposées jusqu'à présent, pour lesquelles des défis de recherche plus ouverts demeurent. Dans l’ensemble, il existe une tendance positive vers l’amélioration de la factualité des modèles, mais les progrès continus nécessitent de remédier aux limites et d’explorer de nouvelles directions telles que la causalité, la vérification et les méthodes hybrides. Grâce aux efforts diligents des chercheurs de toutes disciplines, le rêve de LLM puissants mais dignes de confiance peut devenir réalité.