Surmonter les hallucinations LLM à l'aide de la génération augmentée par récupération (RAG)

grands modèles linguistiques (LLM) révolutionnent la façon dont nous traitons et générons le langage, mais ils sont imparfaits. Tout comme les humains peuvent voir des formes dans les nuages ​​ou des visages sur la lune, les LLM peuvent également « halluciner », créant des informations qui ne sont pas exactes. Ce phénomène, connu sous le nom Hallucinations LLM, pose une préoccupation croissante à mesure que l’utilisation des LLM se développe.

Les erreurs peuvent dérouter les utilisateurs et, dans certains cas, même entraîner des problèmes juridiques pour les entreprises. Par exemple, en 2023, Jeffery Battle, un vétéran de l’Air Force (connu sous le nom de The Aerospace Professor) a déposé une plainte contre Microsoft lorsqu'il a découvert que la recherche Bing basée sur ChatGPT de Microsoft donnait parfois des informations factuelles inexactes et préjudiciables sur sa recherche de nom. Le moteur de recherche le confond avec un criminel condamné, Jeffery Leon Battle.

Pour lutter contre les hallucinations, Génération augmentée par récupération (RAG) s’est imposé comme une solution prometteuse. Il intègre des connaissances provenant de bases de données externes pour améliorer l'exactitude des résultats et la crédibilité des LLM. Examinons de plus près comment RAG rend les LLM plus précis et plus fiables. Nous verrons également si RAG peut contrecarrer efficacement le problème des hallucinations LLM.

Comprendre les hallucinations LLM : causes et exemples

LLM, y compris des modèles renommés comme ChatGPT, ChatGLM Claude, sont formés sur de vastes ensembles de données textuelles mais ne sont pas à l'abri de produire des résultats factuellement incorrects, un phénomène appelé « hallucinations ». Les hallucinations se produisent parce que les LLM sont formés pour créer des réponses significatives basées sur des règles linguistiques sous-jacentes, quelle que soit leur exactitude factuelle.

A Étude Tidio a constaté que si 72 % des utilisateurs pensent que les LLM sont fiables, 75 % ont reçu au moins une fois des informations incorrectes de l'IA. Même les modèles LLM les plus prometteurs comme GPT-3.5 et GPT-4 peuvent parfois produire un contenu inexact ou absurde.

Voici un bref aperçu des types courants d’hallucinations LLM :

Types courants d’hallucinations IA :

1. Fusion de sources : Cela se produit lorsqu'un modèle fusionne des détails provenant de diverses sources, conduisant à des contradictions, voire à des sources fabriquées.
2. Erreurs factuelles : Les LLM peuvent générer du contenu avec une base factuelle inexacte, en particulier compte tenu des inexactitudes inhérentes à Internet.
3. Informations absurdes : Les LLM prédisent le mot suivant en fonction de la probabilité. Cela peut donner lieu à un texte grammaticalement correct mais dénué de sens, induisant les utilisateurs en erreur sur l'autorité du contenu.

Année dernière, deux avocats risquaient d'être sanctionnés pour avoir fait référence à six cas inexistants dans leurs documents juridiques, induits en erreur par les informations générées par ChatGPT. Cet exemple souligne l'importance d'aborder le contenu généré par LLM avec un œil critique, soulignant la nécessité d'une vérification pour garantir la fiabilité. Bien que sa capacité créative profite à des applications telles que la narration, elle pose des défis pour les tâches exigeant le strict respect des faits, telles que la conduite de recherches universitaires, la rédaction de rapports d'analyse médicale et financière et la fourniture de conseils juridiques.

Explorer la solution pour les hallucinations LLM : comment fonctionne la génération augmentée de récupération (RAG)

En 2020, Chercheurs LLM introduit une technique appelée Récupération Génération Augmentée (RAG) pour atténuer les hallucinations LLM en intégrant une source de données externe. Contrairement aux LLM traditionnels qui s'appuient uniquement sur leurs connaissances pré-entraînées, les modèles LLM basés sur RAG génèrent des réponses factuellement précises en récupérant dynamiquement les informations pertinentes à partir d'une base de données externe avant de répondre aux questions ou de générer du texte.

Répartition du processus RAG :

Étapes du processus RAG : Source

Étape 1 : Récupération

Le système recherche dans une base de connaissances spécifique des informations relatives à la requête de l'utilisateur. Par exemple, si quelqu’un pose des questions sur le dernier vainqueur de la Coupe du monde de football, il recherche les informations les plus pertinentes sur le football.

Étape 2 : Augmentation

La requête originale est ensuite enrichie des informations trouvées. En utilisant l’exemple du football, la requête « Qui a gagné la coupe du monde de football ? » est mis à jour avec des détails spécifiques tels que "L'Argentine a remporté la coupe du monde de football".

Étape 3 : Génération

Avec la requête enrichie, le LLM génère une réponse détaillée et précise. Dans notre cas, cela élaborerait une réponse basée sur les informations accrues sur la victoire de l’Argentine à la Coupe du monde.

Cette méthode permet de réduire les inexactitudes et garantit que les réponses du LLM sont plus fiables et fondées sur des données précises.

Avantages et inconvénients de RAG dans la réduction des hallucinations

RAG s'est montré prometteur dans la réduction des hallucinations en corrigeant le processus de génération. Ce mécanisme permet aux modèles RAG de fournir des informations plus précises, à jour et contextuellement pertinentes.

Certes, discuter de la génération augmentée par récupération (RAG) dans un sens plus général permet une compréhension plus large de ses avantages et de ses limites dans diverses implémentations.

Avantages du RAG :

• Meilleure recherche d'informations : RAG trouve rapidement des informations précises à partir de sources de Big Data.
• Contenu amélioré : Il crée un contenu clair et bien adapté aux besoins des utilisateurs.
• Utilisation flexible : Les utilisateurs peuvent ajuster RAG pour répondre à leurs besoins spécifiques, comme l'utilisation de leurs sources de données propriétaires, améliorant ainsi l'efficacité.

Défis du RAG :

• Nécessite des données spécifiques : Comprendre avec précision le contexte de la requête pour fournir des informations pertinentes et précises peut être difficile.
• Évolutivité: Il est difficile d’étendre le modèle pour gérer des ensembles de données et des requêtes volumineux tout en maintenant les performances.
• Mise à jour continue : La mise à jour automatique de l’ensemble de données de connaissances avec les informations les plus récentes nécessite beaucoup de ressources.

Explorer des alternatives à RAG

Outre RAG, voici quelques autres méthodes prometteuses qui permettent aux chercheurs du LLM de réduire les hallucinations :

• G-EVAL: Vérifie de manière croisée l'exactitude du contenu généré avec un ensemble de données fiable, améliorant ainsi la fiabilité.
• SelfCheckGPT: Vérifie et corrige automatiquement ses propres erreurs pour que les résultats restent précis et cohérents.
• Ingénierie rapide : Aide les utilisateurs à concevoir des invites de saisie précises pour guider les modèles vers des réponses précises et pertinentes.
• Réglage fin: Ajuste le modèle aux ensembles de données spécifiques à une tâche pour améliorer les performances spécifiques au domaine.
• LoRA (Adaptation de bas rang) : Cette méthode modifie une petite partie des paramètres du modèle pour une adaptation spécifique à la tâche, améliorant ainsi l'efficacité.

L'exploration de RAG et de ses alternatives met en évidence l'approche dynamique et multiforme pour améliorer la précision et la fiabilité du LLM. À mesure que nous progressons, l’innovation continue dans des technologies telles que RAG est essentielle pour relever les défis inhérents aux hallucinations LLM.

Pour rester informé des derniers développements en matière d'IA et d'apprentissage automatique, y compris des analyses et des actualités approfondies, visitez unit.ai.