Surmonter les hallucinations LLM en utilisant la génération augmentée de récupération (RAG)

Les modèles de langage à grande échelle (LLM) révolutionnent la façon dont nous traitons et générons le langage, mais ils sont imparfaits. Tout comme les humains peuvent voir des formes dans les nuages ou des visages sur la lune, les LLM peuvent également « halluciner », en créant des informations qui ne sont pas exactes. Ce phénomène, connu sous le nom de hallucinations LLM, pose un problème croissant à mesure que l’utilisation des LLM s’étend.

Les erreurs peuvent confondre les utilisateurs et, dans certains cas, même entraîner des problèmes juridiques pour les entreprises. Par exemple, en 2023, un vétéran de l’armée de l’air, Jeffery Battle (connu sous le nom de The Aerospace Professor), a déposé une plainte contre Microsoft lorsqu’il a découvert que le moteur de recherche Bing de Microsoft, alimenté par ChatGPT, fournissait parfois des informations factuellement inexactes et préjudiciables sur sa recherche de nom. Le moteur de recherche le confond avec un criminel condamné, Jeffery Leon Battle.

Pour lutter contre les hallucinations, la génération augmentée de récupération (RAG) est apparue comme une solution prometteuse. Elle intègre des connaissances provenant de bases de données externes pour améliorer la précision et la crédibilité des LLM. Examinons de plus près comment la RAG rend les LLM plus précis et fiables. Nous discuterons également de la capacité de la RAG à contrer efficacement le problème des hallucinations LLM.

Comprendre les hallucinations LLM : causes et exemples

Les LLM, y compris des modèles réputés comme ChatGPT, ChatGLM et Claude, sont formés sur des ensembles de données textuelles étendus mais ne sont pas immunisés contre la production de sorties factuellement incorrectes, un phénomène appelé « hallucinations ». Les hallucinations se produisent parce que les LLM sont formés pour créer des réponses significatives en fonction des règles de langage sous-jacentes, indépendamment de leur exactitude factuelle.

Une étude Tidio a révélé que même si 72 % des utilisateurs pensent que les LLM sont fiables, 75 % ont reçu des informations incorrectes de la part de l’IA au moins une fois. Même les modèles LLM les plus prometteurs, tels que GPT-3.5 et GPT-4, peuvent parfois produire du contenu inexact ou sans sens.

Voici un aperçu rapide des types courants d’hallucinations LLM :

Types courants d’hallucinations AI :

1. Conflation de sources : Il s’agit du moment où un modèle fusionne des détails provenant de diverses sources, conduisant à des contradictions ou à des sources même fabriquées.
2. Erreurs factuelles : Les LLM peuvent générer du contenu avec une base factuelle inexacte, en particulier compte tenu des inexactitudes inhérentes à Internet
3. Informations sans sens : Les LLM prédisent le mot suivant en fonction de la probabilité. Cela peut aboutir à du texte grammaticalement correct mais sans signification, trompant les utilisateurs sur l’autorité du contenu.

L’année dernière, deux avocats ont fait face à des sanctions possibles pour avoir référencé six affaires inexistantes dans leurs documents juridiques, induits en erreur par les informations générées par ChatGPT. Cet exemple met en évidence l’importance de l’approche critique du contenu généré par les LLM, soulignant la nécessité de vérification pour garantir la fiabilité. Alors que sa capacité créative profite à des applications comme la narration, elle pose des défis pour les tâches nécessitant une stricte adhésion aux faits, comme la conduite de recherches universitaires, la rédaction d’analyses médicales et financières, et la fourniture de conseils juridiques.

Exploration de la solution pour les hallucinations LLM : comment fonctionne la génération augmentée de récupération (RAG)

En 2020, les chercheurs en LLM ont introduit une technique appelée génération augmentée de récupération (RAG) pour atténuer les hallucinations LLM en intégrant une source de données externe. Contrairement aux LLM traditionnels qui s’appuient uniquement sur leurs connaissances préformées, les modèles LLM basés sur la RAG génèrent des réponses factuellement exactes en récupérant dynamiquement des informations pertinentes à partir d’une base de données externe avant de répondre aux questions ou de générer du texte.

Décomposition du processus RAG :

Étapes du processus RAG : Source

Étape 1 : Récupération

Le système recherche une base de connaissances spécifique pour des informations liées à la requête de l’utilisateur. Par exemple, si quelqu’un demande le dernier vainqueur de la Coupe du monde de football, il recherche les informations de football les plus pertinentes.

Étape 2 : Augmentation

La requête originale est alors enrichie avec les informations trouvées. En utilisant l’exemple de football, la requête « Qui a gagné la Coupe du monde de football ? » est mise à jour avec des détails spécifiques comme « L’Argentine a gagné la Coupe du monde de football. »

Étape 3 : Génération

Avec la requête enrichie, le LLM génère une réponse détaillée et précise. Dans notre cas, il crée une réponse basée sur les informations augmentées sur l’Argentine ayant gagné la Coupe du monde.

Cette méthode aide à réduire les inexactitudes et garantit que les réponses du LLM sont plus fiables et ancrées dans des données exactes.

Avantages et inconvénients de la RAG pour réduire les hallucinations

La RAG a montré son potentiel pour réduire les hallucinations en corrigeant le processus de génération. Ce mécanisme permet aux modèles RAG de fournir des informations plus précises, plus à jour et plus pertinentes dans leur contexte.

Certes, discuter de la génération augmentée de récupération (RAG) dans un sens plus général permet une compréhension plus large de ses avantages et de ses limites dans diverses mises en œuvre.

Avantages de la RAG :

• Meilleure recherche d’informations : La RAG trouve rapidement des informations exactes à partir de grandes sources de données.
• Contenu amélioré : Elle crée un contenu clair et bien adapté aux besoins des utilisateurs.
• Utilisation flexible : Les utilisateurs peuvent ajuster la RAG pour répondre à leurs besoins spécifiques, comme utiliser leurs propres sources de données, améliorant ainsi l’efficacité.

Défis de la RAG :

• Besoin de données spécifiques : Comprendre avec précision le contexte de la requête pour fournir des informations pertinentes et précises peut être difficile.
• Évolutivité : Étendre le modèle pour gérer de grandes bases de données et des requêtes tout en maintenant les performances est difficile.
• Mise à jour continue : La mise à jour automatique de l’ensemble de données de connaissances avec les dernières informations est gourmande en ressources.

Exploration d’alternatives à la RAG

Outre la RAG, voici quelques autres méthodes prometteuses qui permettent aux chercheurs en LLM de réduire les hallucinations :

• G-EVAL : Vérifie la exactitude du contenu généré avec un ensemble de données de confiance, améliorant ainsi la fiabilité.
• SelfCheckGPT : Vérifie et corrige automatiquement ses propres erreurs pour maintenir des sorties exactes et cohérentes.
• Ingénierie de requêtes : Aide les utilisateurs à concevoir des requêtes d’entrée précises pour guider les modèles vers des réponses exactes et pertinentes.
• Affinage : Ajuste le modèle aux ensembles de données spécifiques à la tâche pour améliorer les performances dans un domaine spécifique.
• LoRA (Adaptation de bas rang) : Cette méthode modifie une petite partie des paramètres du modèle pour une adaptation spécifique à la tâche, améliorant ainsi l’efficacité.

L’exploration de la RAG et de ses alternatives met en évidence l’approche dynamique et multifacette pour améliorer la précision et la fiabilité des LLM. Alors que nous progressons, l’innovation continue dans des technologies comme la RAG est essentielle pour relever les défis inhérents aux hallucinations LLM.

Pour rester informé des derniers développements en matière d’IA et d’apprentissage automatique, y compris des analyses approfondies et des actualités, visitez unite.ai.