Les RAG sont-ils la solution aux hallucinations de l’IA ?

L’IA, par conception, a une “menteuse” propre. Un inconvénient de cela est que les modèles d’IA génératifs fabriquent occasionnellement des informations dans un phénomène appelé “hallucinations de l’IA”, dont l’un des premiers exemples est apparu au grand jour lorsque un juge de New York a réprimandé des avocats pour avoir utilisé un mémoire rédigé par ChatGPT qui référençait des affaires judiciaires inexistantes. Plus récemment, il y a eu des incidents d’IA générant des moteurs de recherche qui disent aux utilisateurs de consommer des roches pour des avantages pour la santé, ou d’utiliser de la colle non toxique pour aider le fromage à adhérer à la pizza.

À mesure que l’IA générative devient de plus en plus omniprésente, il est important que les adoptants reconnaissent que les hallucinations sont, pour l’instant, un aspect inévitable des solutions d’IA générative. Basées sur des modèles de langage grandeur nature (LLM), ces solutions sont souvent informées par d’immenses quantités de sources disparates qui contiennent probablement au moins certaines informations inexactes ou obsolètes – ces réponses fabriquées constituent entre 3% et 10% des réponses générées par les chatbots d’IA aux invites des utilisateurs. Compte tenu de la nature “boîte noire” de l’IA – dans laquelle, en tant qu’êtres humains, nous avons une difficulté extraordinaire à examiner exactement comment l’IA génère ses résultats, – ces hallucinations peuvent être quasi impossibles pour les développeurs à retracer et à comprendre.

Inévitable ou non, les hallucinations de l’IA sont frustrantes au mieux, dangereuses et contraires à l’éthique au pire.

Dans plusieurs secteurs, notamment les soins de santé, la finance et la sécurité publique, les conséquences des hallucinations incluent tout, de la diffusion de fausses informations et de la compromission de données sensibles à des accidents mettant la vie en danger. Si les hallucinations continuent d’être ignorées, le bien-être des utilisateurs et la confiance de la société dans les systèmes d’IA seront tous deux compromis.

Par conséquent, il est impératif que les gardiens de cette technologie puissante reconnaissent et traitent les risques des hallucinations de l’IA afin de garantir la crédibilité des sorties générées par les LLM.

Les RAG comme point de départ pour résoudre les hallucinations

Une méthode qui a émergé pour atténuer les hallucinations est la génération assistée par récupération, ou RAG. Cette solution améliore la fiabilité des LLM en intégrant des magasins d’informations externes – en extrayant des informations pertinentes d’une base de données fiable choisie en fonction de la nature de la requête – pour garantir des réponses plus fiables à des requêtes spécifiques.

Certains experts du secteur ont avancé que les RAG seuls peuvent résoudre les hallucinations. Mais les bases de données intégrées aux RAG peuvent toujours contenir des données obsolètes, qui pourraient générer de fausses ou trompeuses informations. Dans certains cas, l’intégration de données externes par le biais des RAG peut même accroître la probabilité d’hallucinations dans les grands modèles de langage : si un modèle d’IA s’appuie de manière disproportionnée sur une base de données obsolète qu’il perçoit comme étant entièrement à jour, l’ampleur des hallucinations peut devenir encore plus grave.

Les garde-fous de l’IA – Combler les lacunes des RAG

Comme vous le voyez, les RAG ont du potentiel pour atténuer les hallucinations de l’IA. Cependant, les industries et les entreprises qui se tournent vers ces solutions doivent également comprendre leurs limites inhérentes. En effet, lorsqu’elles sont utilisées en tandem avec les RAG, il existe des méthodologies complémentaires qui devraient être utilisées lorsqu’on aborde les hallucinations des LLM.

Par exemple, les entreprises peuvent employer des garde-fous d’IA en temps réel pour sécuriser les sorties des LLM et atténuer les hallucinations de l’IA. Les garde-fous agissent comme un filet qui vérifie toutes les sorties des LLM pour les contenus fabriqués, profanes ou hors sujet avant qu’ils n’atteignent les utilisateurs. Cette approche proactive de middleware garantit la fiabilité et la pertinence de la récupération dans les systèmes RAG, améliorant ainsi la confiance parmi les utilisateurs et assurant des interactions sécurisées qui correspondent à la marque d’une entreprise.

Alternativement, il y a l’approche d’ingénierie de prompt, qui nécessite que l’ingénieur modifie le prompt maître de l’arrière-plan. En ajoutant des contraintes prédéterminées aux invites acceptables – en d’autres termes, en surveillant non seulement d’où le LLM obtient ses informations, mais également la façon dont les utilisateurs lui demandent des réponses – les invites conçues peuvent guider les LLM vers des résultats plus fiables. Le principal inconvénient de cette approche est que ce type d’ingénierie de prompt peut être une tâche extrêmement fastidieuse pour les programmeurs, qui sont souvent déjà à court de temps et de ressources.

L’approche de “fine-tuning” consiste à former les LLM sur des ensembles de données spécialisés pour affiner les performances et atténuer le risque d’hallucinations. Cette méthode forme des LLM spécialisés dans des tâches pour puiser dans des domaines spécifiques et fiables, améliorant ainsi la précision et la fiabilité des sorties.

Il est également important de considérer l’impact de la longueur de l’invite sur les performances de raisonnement des LLM – en effet, de nombreux utilisateurs ont tendance à penser que plus leur invite est longue et remplie de paramètres, plus les sorties seront précises. Cependant, une étude récente a révélé que la précision des sorties des LLM diminue à mesure que la longueur de l’invite augmente. Par conséquent, augmenter le nombre de directives assignées à une invite donnée ne garantit pas une fiabilité constante dans la génération d’applications d’IA générative fiables.

Ce phénomène, connu sous le nom de surcharge d’invite, met en évidence les risques inhérents à des conceptions d’invite trop complexes – plus une invite est largement formulée, plus de portes s’ouvrent à des informations inexactes et à des hallucinations lorsque le LLM tente de remplir chaque paramètre.

L’ingénierie de prompt nécessite des mises à jour constantes et un affinement, et elle continue de lutter pour empêcher efficacement les hallucinations ou les réponses sans sens. Les garde-fous, en revanche, ne créent pas de risque supplémentaire de sorties fabriquées, ce qui les rend attractifs pour protéger l’IA. Contrairement à l’ingénierie de prompt, les garde-fous offrent une solution en temps réel globale qui garantit que l’IA générative ne produira que des sorties à l’intérieur de limites prédéfinies.

Alors que la rétroaction de l’utilisateur ne peut pas, à elle seule, résoudre les hallucinations, des actions telles que les votes positifs et négatifs peuvent aider à atténuer les hallucinations en affinant les modèles, en améliorant la précision des sorties et en réduisant le risque d’hallucinations.

Les solutions RAG nécessitent, à elles seules, une expérimentation extensive pour obtenir des résultats précis. Mais lorsqu’elles sont associées à un affinement, à une ingénierie de prompt et à des garde-fous, elles peuvent offrir des solutions plus ciblées et efficaces pour résoudre les hallucinations. L’exploration de ces stratégies complémentaires continuera d’améliorer l’atténuation des hallucinations dans les LLM, aidant ainsi au développement de modèles plus fiables et dignes de confiance dans diverses applications.

Les RAG ne sont pas la solution aux hallucinations de l’IA

Les solutions RAG ajoutent une immense valeur aux LLM en les enrichissant de connaissances externes. Mais avec tant d’inconnues encore entourant l’IA générative, les hallucinations restent un défi inhérent. La clé pour les combattre ne réside pas dans la tentative d’éliminer les hallucinations, mais plutôt dans l’atténuation de leur influence avec une combinaison de garde-fous stratégiques, de processus de vérification et d’invites affinées.

Plus nous pouvons faire confiance à ce que l’IA générative nous dit, plus nous serons en mesure de tirer parti de son potentiel puissant de manière efficace et efficiente.