Nouvelle étude révèle seize problèmes majeurs avec les systèmes RAG, notamment la perplexité

Une récente étude menée aux États-Unis a constaté que les performances réelles des systèmes de recherche augmentée par génération (RAG) populaires, tels que Perplexity et Bing Copilot, sont loin de correspondre à la fois à l’hype marketing et à l’adoption populaire qui a fait les gros titres au cours des 12 derniers mois.

Le projet, qui a impliqué une participation extensive à une enquête avec 21 experts, a trouvé pas moins de 16 domaines dans lesquels les systèmes RAG étudiés (You Chat, Bing Copilot et Perplexity) ont posé des problèmes:

1: Un manque de détails objectifs dans les réponses générées, avec des résumés génériques et une faible profondeur contextuelle ou nuance.

2. Renforcement des préjugés perçus de l’utilisateur, où un moteur RAG échoue souvent à présenter une gamme de points de vue, mais renforce plutôt les préjugés de l’utilisateur, en fonction de la façon dont l’utilisateur formule une question.

3. Langage excessivement confiant, en particulier dans les réponses subjectives qui ne peuvent pas être établies empiriquement, ce qui peut amener les utilisateurs à faire confiance à la réponse plus que cela ne le mérite.

4: Langage simpliste et manque de pensée critique et de créativité, où les réponses patronnent effectivement l’utilisateur avec des informations « simplifiées » et « agréables », au lieu d’une réflexion approfondie et d’une analyse.

5: Attribution erronée et citation incorrecte des sources, où le moteur de réponses utilise des sources citées qui ne soutiennent pas sa réponse, créant ainsi l’illusion de crédibilité.

6: Sélection de l’information à partir du contexte inféré, où l’agent RAG semble chercher des réponses qui soutiennent sa contention générée et son estimation de ce que l’utilisateur veut entendre, au lieu de baser ses réponses sur une analyse objective de sources fiables (ce qui pourrait indiquer un conflit entre les données « intégrées » du LLM et les données obtenues en temps réel à partir d’Internet en réponse à une requête).

7: Omission des citations qui soutiennent les déclarations, où les sources matérielles pour les réponses sont absentes.

8: Absence de schéma logique pour les réponses, où les utilisateurs ne peuvent pas questionner pourquoi le système a donné la priorité à certaines sources par rapport à d’autres.

9: Nombre limité de sources, où la plupart des systèmes RAG fournissent généralement autour de trois sources de soutien pour une déclaration, même lorsque une plus grande diversité de sources serait applicable.

10: Sources orphelines, où les données de toutes ou certaines des citations de soutien du système ne sont pas réellement incluses dans la réponse.

11: Utilisation de sources non fiables, où le système semble avoir préféré une source qui est populaire (c’est-à-dire en termes de référencement) plutôt que factuellement correcte.

12: Sources redondantes, où le système présente plusieurs citations dans lesquelles les documents sources sont essentiellement les mêmes en contenu.

13: Sources non filtrées, où le système n’offre pas à l’utilisateur de moyen d’évaluer ou de filtrer les citations proposées, forçant les utilisateurs à faire confiance aux critères de sélection.

14: Manque d’interactivité ou d’explorabilité, où plusieurs participants à l’étude ont été frustrés que les systèmes RAG ne posaient pas de questions de clarification, mais supposaient l’intention de l’utilisateur à partir de la première requête.

15: Besoin de vérification externe, où les utilisateurs se sentent obligés de procéder à une vérification indépendante de la réponse fournie, ce qui retire en grande partie la commodité supposée des RAG en tant que « remplacement de la recherche ».

16: Utilisation de méthodes de citation académiques, telles que [1] ou [34]; il s’agit d’une pratique standard dans les cercles universitaires, mais peut être contre-intuitive pour de nombreux utilisateurs.

Pour ce travail, les chercheurs ont réuni 21 experts en intelligence artificielle, en santé, en médecine, en sciences appliquées et en sciences sociales, tous soit des chercheurs postdoctoraux, soit des candidats au doctorat. Les participants ont interagi avec les systèmes RAG testés tout en exprimant leurs processus de pensée à haute voix, pour clarifier (pour les chercheurs) leur propre schéma rationnel.

La méthodologie de l’étude a ensuite été systématisée en une étude automatisée des systèmes RAG, en utilisant des suites de contrôle de navigateur:

‘Une évaluation à grande échelle automatisée de systèmes comme You.com, Perplexity.ai et BingChat a montré que aucun n’a atteint des performances acceptables sur la plupart des métriques, y compris les aspects critiques liés à la gestion des hallucinations, des déclarations non soutenues et de l’exactitude des citations.’

Les auteurs soutiennent longuement (et avec soin, dans le cadre du papier complet de 27 pages) que les nouveaux utilisateurs et les utilisateurs expérimentés devraient exercer la prudence lors de l’utilisation de la classe de systèmes RAG étudiés. Ils proposent en outre un nouveau système de métriques, basé sur les lacunes constatées dans l’étude, qui pourrait former la base d’un contrôle technique plus important à l’avenir.

Cependant, l’utilisation croissante par le public des systèmes RAG amène les auteurs à plaider également en faveur d’une législation appropriée et d’une politique gouvernementale plus stricte en ce qui concerne les interfaces de recherche d’IA assistée par agent.

L’étude provient de cinq chercheurs de l’Université d’État de Pennsylvanie et de Salesforce, et s’intitule Moteurs de recherche à l’ère de l’IA: la fausse promesse de réponses vérifiables et fondées sur des sources. Le travail couvre les systèmes RAG jusqu’à l’état de l’art en août 2024

Le compromis RAG

Les auteurs préfacent leur travail en répétant quatre lacunes connues des modèles de langage à grande échelle (LLM) lorsqu’ils sont utilisés dans les moteurs de réponses.

Tout d’abord, ils sont enclins à halluciner des informations, et manquent de la capacité à détecter les incohérences factuelles. Deuxièmement, ils ont du mal à évaluer l’exactitude d’une citation dans le contexte d’une réponse générée. Troisièmement, ils ont tendance à favoriser les données de leurs propres poids pré-entraînés, et peuvent résister aux données provenant de documents externes récupérés, même si ces données peuvent être plus récentes ou plus précises.

Enfin, les systèmes RAG ont tendance à plaire aux gens, comportement sycophantique, souvent au détriment de l’exactitude des informations dans leurs réponses.

Toutes ces tendances ont été confirmées dans les deux aspects de l’étude, parmi de nombreuses observations nouvelles sur les pièges des RAG.

Le papier considère le produit RAG SearchGPT d’OpenAI SearchGPT (publié aux abonnés la semaine dernière, après la soumission du nouveau papier), comme susceptible d’encourager l’adoption par les utilisateurs des systèmes de recherche basés sur RAG, malgré les lacunes fondamentales que les résultats de l’enquête laissent entrevoir*:

‘La sortie de “SearchGPT” d’OpenAI, commercialisé comme un “tueur de Google”, aggrave encore ces préoccupations. À mesure que la dépendance à l’égard de ces outils augmente, l’urgence de comprendre leur impact augmente également. Lindemann introduit le concept de Connaissance scellée, qui critique la façon dont ces systèmes limitent l’accès à des réponses diverses en condensant les requêtes de recherche en réponses autoritaires singulières, décontextualisant ainsi l’information et rétrécissant les perspectives des utilisateurs.

‘Ce “scellement” de la connaissance perpétue les biais de sélection et restreint les points de vue marginalisés.’

L’étude

Les auteurs ont d’abord testé leur procédure d’étude sur trois des 24 participants sélectionnés, tous invités par des moyens tels que LinkedIn ou e-mail.

La première étape, pour les 21 restants, a consisté en une récupération d’informations d’expertise, où les participants ont effectué en moyenne six requêtes de recherche au cours d’une session de 40 minutes. Cette section s’est concentrée sur la collecte et la vérification de questions et réponses basées sur des faits, avec des solutions empiriques potentielles.

La deuxième phase concernait la récupération d’informations de débat, qui traitait des questions subjectives, notamment l’écologie, le végétarisme et la politique.

Réponses d’étude générées par Perplexity (gauche) et You Chat (droite). Source: https://arxiv.org/pdf/2410.22349

Puisque tous les systèmes permettaient au moins un certain niveau d’interactivité avec les citations fournies à l’appui des réponses générées, les sujets de l’étude ont été encouragés à interagir avec l’interface autant que possible.

Dans les deux cas, les participants ont été invités à formuler leurs requêtes à la fois par le biais d’un système RAG et d’un moteur de recherche conventionnel (dans ce cas, Google).

Les trois moteurs de réponses – You Chat, Bing Copilot et Perplexity – ont été choisis parce qu’ils sont accessibles au public.

La majorité des participants étaient déjà des utilisateurs de systèmes RAG, à des fréquences variables.

En raison de contraintes d’espace, nous ne pouvons pas détailler chacune des 16 lacunes clés constatées dans l’étude, mais nous présentons ici une sélection de quelques-unes des exemples les plus intéressants et éclairants.

Manque de détails objectifs

Le papier note que les utilisateurs ont constaté que les réponses des systèmes manquaient souvent de détails objectifs, à la fois dans les réponses factuelles et subjectives. L’un a commenté:

‘C’était juste pour répondre sans vraiment me donner une réponse solide ou une réponse plus réfléchie, que je peux obtenir avec plusieurs recherches Google.’

Un autre a observé:

‘C’est trop court et ne fait que résumer tout. [Le modèle] doit me donner plus de données pour la revendication, mais c’est très résumé.’

Manque de point de vue holistique

Les auteurs expriment leur inquiétude quant à ce manque de nuance et de spécificité, et déclarent que les moteurs de réponses ont souvent échoué à présenter plusieurs perspectives sur un argument, tendant à se ranger du côté d’un préjugé perçu déduit de la formulation de la question par l’utilisateur.

Un participant a déclaré:

‘Je veux en savoir plus sur l’autre côté de l’argument… c’est avec une pincée de sel, car nous ne connaissons pas l’autre côté et les preuves et les faits.’

Un autre a commenté:

‘Il ne vous donne pas les deux côtés de l’argument; il ne discute pas avec vous. Au lieu de cela, [le modèle] vous dit simplement: “vous avez raison… et voici les raisons pour lesquelles”. ‘

Langage confiant

Les auteurs observent que les trois systèmes testés ont tous présenté un langage excessivement confiant, même pour les réponses qui couvrent des questions subjectives. Ils soutiennent que ce ton tendra à inspirer une confiance injustifiée dans la réponse.

Un participant a noté:

‘Il écrit avec tant de confiance, je me sens convaincu sans même regarder la source. Mais lorsque vous regardez la source, c’est mauvais et cela me fait remettre en question à nouveau.’

Un autre a commenté:

‘Si quelqu’un ne connaît pas exactement la bonne réponse, il fera confiance à cela même lorsqu’il est faux.’

Citations incorrectes

Un autre problème fréquent était l’attribution erronée des sources citées comme autorité pour les réponses des systèmes RAG, avec l’un des sujets de l’étude affirmant:

‘[Cette] déclaration ne semble pas se trouver dans la source. Je veux dire que la déclaration est vraie; c’est valable… mais je ne sais pas d’où il obtient ces informations.’

Les auteurs du nouveau papier commentent ^†:

‘Les participants ont senti que les systèmes utilisaient des citations pour légitimer leur réponse, créant ainsi l’illusion de crédibilité. Ce faux-semblant n’a été révélé qu’à quelques utilisateurs qui ont procédé à examiner les sources.’

Sélection de l’information pour répondre à la requête

En revenant sur l’idée de comportement sycophantique dans les réponses RAG, l’étude a constaté que de nombreuses réponses mettaient en évidence un point de vue particulier plutôt que de résumer de manière exhaustive le sujet, comme l’a observé un participant:

‘Je sens [le système] manipulateur. Il ne prend que certaines informations et je sens que je suis manipulé pour ne voir qu’un côté des choses.’

Un autre a opiné:

‘[La source] a à la fois des avantages et des inconvénients, et il a choisi de ne sélectionner que les arguments requis à partir de ce lien sans l’image complète.’

Pour plus d’exemples détaillés (et de nombreuses citations critiques des participants à l’enquête), nous renvoyons le lecteur au papier source.

RAG automatisé

Dans la deuxième phase de l’étude plus large, les chercheurs ont utilisé des scripts de navigateur pour solliciter systématiquement des requêtes auprès des trois systèmes RAG étudiés. Ils ont ensuite utilisé un système LLM (GPT-4o) pour analyser les réponses des systèmes.

Les déclarations ont été analysées pour leur pertinence par rapport à la requête et les déclarations pour ou contre (c’est-à-dire si la réponse est pour, contre ou neutre par rapport au préjugé implicite de la requête).

Un score de confiance de la réponse a également été évalué dans cette phase automatisée, sur la base de la méthode d’évaluation psychométrique Likert. Ici, le juge LLM a été augmenté de deux annotateurs humains.

Une troisième opération a consisté à utiliser le scraping Web pour obtenir le contenu complet des pages Web citées, à l’aide de l’outil Jina.ai Reader. Cependant, comme indiqué ailleurs dans le papier, la plupart des outils de scraping Web ne sont pas plus capables d’accéder aux sites payants que la plupart des gens (bien que les auteurs observent que Perplexity.ai ait été connu pour contourner cette barrière).

Des considérations supplémentaires portaient sur le fait que les réponses citaient une source (calculé comme une « matrice de citation »), ainsi que sur une « matrice de soutien factuel » – une métrique vérifiée avec l’aide de quatre annotateurs humains.

Ainsi, huit métriques globales ont été obtenues: réponse unilatérale; réponse trop confiante; déclaration pertinente; sources non citées; déclarations non soutenues; nécessité de la source; exactitude de la citation; et exhaustivité de la citation.

Le matériel contre lequel ces métriques ont été testées consistait en 303 questions ciblées de la phase d’étude utilisateur, ce qui a donné lieu à 909 réponses au sein des trois systèmes RAG testés.

Évaluation quantitative des trois systèmes RAG étudiés, basée sur huit métriques.

En ce qui concerne les résultats, le papier indique:

‘En regardant les trois métriques liées au texte de la réponse, nous constatons que les moteurs de réponses évalués génèrent fréquemment (50-80%) des réponses unilatérales, favorisant l’accord avec une formulation chargée d’une question de débat plutôt que de présenter plusieurs perspectives dans la réponse, Perplexity se comportant moins bien que les deux autres moteurs.’

‘Cette constatation est conforme à [nos résultats qualitatifs]. Étonnamment, bien que Perplexity soit le plus susceptible de générer une réponse unilatérale, il génère également les réponses les plus longues (18,8 énoncés par réponse en moyenne), indiquant que le manque de diversité dans les réponses n’est pas dû à la brièveté de la réponse.

‘En d’autres termes, augmenter la longueur de la réponse n’améliore pas nécessairement la diversité de la réponse.’

Les auteurs notent également que Perplexity est le plus susceptible d’utiliser un langage confiant (90% des réponses), et que, par contraste, les deux autres systèmes ont tendance à utiliser un langage plus prudent et moins confiant lorsque le contenu est subjectif.

You Chat a été le seul cadre RAG à atteindre zéro source non citée pour une réponse, avec Perplexity à 8% et Bing Chat à 36%.

Tous les modèles ont montré une « proportion importante » de déclarations non soutenues, et le papier déclare^†:

‘Le cadre RAG est présenté comme une solution pour résoudre le comportement hallucinatoire des LLM en faisant en sorte qu’un LLM génère une réponse ancrée dans des documents sources, mais les résultats montrent que les moteurs de réponses RAG génèrent toujours des réponses contenant une grande proportion de déclarations non soutenues par les sources qu’ils fournissent.‘

De plus, tous les systèmes testés ont eu du mal à soutenir leurs déclarations avec des citations:

‘You.Com et [Bing Chat] se comportent légèrement mieux que Perplexity, avec environ deux tiers des citations pointant vers une source qui soutient la déclaration citée, et Perplexity se comporte moins bien avec plus de la moitié de ses citations étant inexactes.

‘Ce résultat est surprenant: la citation n’est pas seulement incorrecte pour les déclarations qui ne sont pas soutenues par une source, mais nous constatons également que même lorsque une source existe pour soutenir une déclaration, tous les moteurs citent fréquemment une source incorrecte, manquant ainsi l’occasion de fournir des informations de source correctes à l’utilisateur.

‘En d’autres termes, le comportement hallucinatoire n’est pas seulement présent dans les déclarations non soutenues, mais également dans les citations inexactes qui empêchent les utilisateurs de vérifier la validité des informations.‘

Les auteurs concluent:

‘Aucun des moteurs de réponses n’a atteint de bonnes performances sur la plupart des métriques, mettant en évidence la grande marge de progrès dans les moteurs de réponses.’

* Ma conversion des citations en ligne des auteurs en hyperliens. Lorsque cela était nécessaire, j’ai choisi la première des multiples citations pour l’hyperlien, en raison de contraintes de mise en page.

^† Insistance des auteurs, et non la mienne.

Publié pour la première fois le lundi 4 novembre 2024