Les RAG sont-ils la solution aux hallucinations de l’IA ?

L’IA, par conception, a une “menteuse” propre. Un inconvénient de cela est que les modèles d’IA génératifs fabriquent occasionnellement des informations dans un phénomène appelé “hallucinations de l’IA”, dont l’un des premiers exemples est apparu au grand jour lorsque un juge de New York a réprimandé des avocats pour avoir utilisé un mémoire rédigé par ChatGPT qui faisait référence à des affaires judiciaires inexistantes. Plus récemment, il y a eu des incidents de moteurs de recherche générés par l’IA qui ont conseillé aux utilisateurs de consommer des roches pour des avantages pour la santé, ou d’utiliser de la colle non toxique pour aider le fromage à adhérer à la pizza.

Alors que le GenAI devient de plus en plus omniprésent, il est important pour les adoptants de reconnaître que les hallucinations sont, pour l’instant, un aspect inévitable des solutions GenAI. Fondés sur des modèles de langage grandeur nature (LLM), ces solutions sont souvent informées par d’immenses quantités de sources disparates qui contiennent probablement au moins certaines informations inexactes ou obsolètes – ces réponses fabriquées constituent entre 3% et 10% des réponses générées par les chatbots IA aux invites des utilisateurs. Compte tenu de la nature “boîte noire” de l’IA – dans laquelle, en tant qu’humains, nous avons une difficulté extraordinaire à examiner exactement comment l’IA génère ses résultats, – ces hallucinations peuvent être quasi impossibles pour les développeurs à traquer et à comprendre.

Inévitable ou non, les hallucinations de l’IA sont frustrantes au mieux, dangereuses et contraires à l’éthique au pire.

Dans de nombreux secteurs, notamment les soins de santé, la finance et la sécurité publique, les conséquences des hallucinations comprennent tout, de la diffusion de fausses informations et de la compromission de données sensibles à des accidents potentiellement mortels. Si les hallucinations continuent à ne pas être contrôlées, le bien-être des utilisateurs et la confiance de la société dans les systèmes d’IA seront tous deux compromis.

Comme tel, il est impératif que les gardiens de cette technologie puissante reconnaissent et traitent les risques des hallucinations de l’IA afin d’assurer la crédibilité des sorties générées par les LLM.

Les RAG comme point de départ pour résoudre les hallucinations

Une méthode qui est apparue au premier plan pour atténuer les hallucinations est la génération assistée par récupération, ou RAG. Cette solution améliore la fiabilité des LLM en intégrant des magasins d’informations externes – en extrayant des informations pertinentes à partir d’une base de données fiable choisie en fonction de la nature de la requête – pour garantir des réponses plus fiables à des requêtes spécifiques.

Certains experts de l’industrie ont avancé que le RAG seul peut résoudre les hallucinations. Mais les bases de données intégrées au RAG peuvent toujours contenir des données obsolètes, qui pourraient générer de fausses ou trompeuses informations. Dans certains cas, l’intégration de données externes via les RAG peut même augmenter la probabilité d’hallucinations dans les grands modèles de langage : si un modèle d’IA s’appuie de manière disproportionnée sur une base de données obsolète qu’il perçoit comme étant entièrement à jour, l’étendue des hallucinations peut devenir encore plus grave.

Les garde-fous de l’IA – Compléter les lacunes du RAG

Comme vous le voyez, les RAG présentent des promesses pour atténuer les hallucinations de l’IA. Cependant, les industries et les entreprises qui se tournent vers ces solutions doivent également comprendre leurs limitations inhérentes. En effet, lorsqu’elles sont utilisées en tandem avec les RAG, il existe des méthodologies complémentaires qui devraient être utilisées lors de l’adressage des hallucinations des LLM.

Par exemple, les entreprises peuvent employer des garde-fous d’IA en temps réel pour sécuriser les réponses des LLM et atténuer les hallucinations de l’IA. Les garde-fous agissent comme un filet qui vérifie toutes les sorties des LLM pour les contenus fabriqués, profanes ou hors sujet avant qu’ils n’atteignent les utilisateurs. Cette approche proactive de middleware garantit la fiabilité et la pertinence de la récupération dans les systèmes RAG, améliorant finalement la confiance parmi les utilisateurs et assurant des interactions sûres qui correspondent à la marque d’une entreprise.

Alternativement, il y a l’approche de “l’ingénierie de prompt”, qui nécessite que l’ingénieur modifie le prompt principal de backend. En ajoutant des contraintes prédéterminées aux prompts acceptables – en d’autres termes, en surveillant non seulement d’où le LLM obtient les informations, mais également la façon dont les utilisateurs lui demandent des réponses – les prompts ingénieux peuvent guider les LLM vers des résultats plus fiables. Le principal inconvénient de cette approche est que ce type de prompt ingénierie peut être une tâche incroyablement fastidieuse pour les programmeurs, qui sont souvent déjà à court de temps et de ressources.

L’approche de “fine tuning” consiste à former les LLM sur des ensembles de données spécialisés pour raffiner les performances et atténuer le risque d’hallucinations. Cette méthode forme des LLM spécialisés dans des tâches pour puiser dans des domaines spécifiques et fiables, améliorant ainsi la précision et la fiabilité des sorties.

Il est également important de considérer l’impact de la longueur de l’entrée sur les performances de raisonnement des LLM – en effet, de nombreux utilisateurs ont tendance à penser que plus leur invite est étendue et remplie de paramètres, plus les sorties seront précises. Cependant, une étude récente a révélé que la précision des sorties des LLM diminue à mesure que la longueur de l’entrée augmente. Par conséquent, augmenter le nombre de lignes directrices assignées à une invite donnée ne garantit pas la fiabilité constante de la génération d’applications d’IA générative fiables.

Ce phénomène, connu sous le nom de “surcharge de prompt”, met en évidence les risques inhérents à des conceptions de prompt excessivement complexes – plus une invite est largement formulée, plus de portes s’ouvrent à des informations inexactes et à des hallucinations lorsque le LLM se débat pour remplir chaque paramètre.

L’ingénierie de prompt nécessite des mises à jour constantes et un fine-tuning et lutte encore pour empêcher efficacement les hallucinations ou les réponses sans sens. Les garde-fous, en revanche, ne créent pas de risque supplémentaire de sorties fabriquées, ce qui les rend attractifs pour protéger l’IA. Contrairement à l’ingénierie de prompt, les garde-fous offrent une solution en temps réel et globale qui garantit que l’IA générative ne créera que des sorties à partir de limites prédéfinies.

La rétroaction des utilisateurs peut également aider à atténuer les hallucinations avec des actions telles que les votes positifs et négatifs aidant à affiner les modèles, à améliorer la précision des sorties et à réduire le risque d’hallucinations.

En eux-mêmes, les solutions RAG nécessitent une expérimentation extensive pour obtenir des résultats précis. Mais lorsqu’elles sont associées au fine-tuning, à l’ingénierie de prompt et aux garde-fous, elles peuvent offrir des solutions plus ciblées et efficaces pour résoudre les hallucinations. L’exploration de ces stratégies complémentaires continuera d’améliorer l’atténuation des hallucinations dans les LLM, aidant ainsi au développement de modèles plus fiables et plus dignes de confiance dans diverses applications.

Les RAG ne sont pas la solution aux hallucinations de l’IA

Les solutions RAG ajoutent une valeur immense aux LLM en les enrichissant de connaissances externes. Mais avec tant de choses encore inconnues sur l’IA générative, les hallucinations restent un défi inhérent. La clé pour les combattre réside non pas dans la tentative de les éliminer, mais plutôt en atténuant leur influence avec une combinaison de garde-fous stratégiques, de processus de vérification et de prompts affinés.

Plus nous pouvons faire confiance à ce que l’IA nous dit, plus nous serons en mesure de tirer parti de son potentiel puissant de manière efficace et efficiente.