Moins, c’est plus : pourquoi récupérer moins de documents peut améliorer les réponses des IA

Retrieval-Augmented Generation (RAG) est une approche de construction de systèmes d’IA qui combine un modèle de langage avec une source de connaissances externe. En termes simples, l’IA recherche d’abord des documents pertinents (comme des articles ou des pages web) liés à une requête utilisateur, puis utilise ces documents pour générer une réponse plus précise. Cette méthode a été célébrée pour aider les grands modèles de langage (LLM) à rester factuels et à réduire les hallucinations en ancrant leurs réponses dans des données réelles.

Intuitivement, on pourrait penser que plus l’IA récupère de documents, meilleure sera sa réponse. Cependant, des recherches récentes suggèrent une surprise : lorsqu’il s’agit de fournir des informations à une IA, parfois moins est plus.

Moins de documents, meilleures réponses

Une nouvelle étude menée par des chercheurs de l’Université hébraïque de Jérusalem a exploré comment le nombre de documents fournis à un système RAG affecte ses performances. Crucialement, ils ont maintenu la quantité totale de texte constante – ce qui signifie que si moins de documents étaient fournis, ceux-ci étaient légèrement étendus pour remplir la même longueur que de nombreux documents. De cette façon, les différences de performance pouvaient être attribuées à la quantité de documents plutôt qu’à une simple diminution de la longueur de l’entrée.

Les chercheurs ont utilisé un jeu de données de questions-réponses (MuSiQue) avec des questions de trivia, chacune initialement associée à 20 paragraphes de Wikipédia (seuls quelques-uns contenant réellement la réponse, les autres étant des distracteurs). En réduisant le nombre de documents de 20 à seulement 2-4 documents vraiment pertinents – et en les complétant avec un peu de contexte supplémentaire pour maintenir une longueur constante – ils ont créé des scénarios dans lesquels l’IA avait moins de matériel à considérer, mais toujours environ le même nombre de mots à lire.

Les résultats étaient frappants. Dans la plupart des cas, les modèles d’IA répondaient plus précisément lorsqu’ils étaient fournis avec moins de documents plutôt que avec l’ensemble complet. Les performances ont été améliorées de manière significative – dans certains cas, jusqu’à 10 % en termes de précision (score F1) lorsque le système utilisait uniquement les quelques documents de soutien au lieu d’une grande collection. Ce gain contre-intuitif a été observé sur plusieurs modèles de langage open-source différents, notamment des variantes du Llama de Meta et d’autres, indiquant que le phénomène n’est pas lié à un seul modèle d’IA.

Un modèle (Qwen-2) a été une exception notable qui a géré plusieurs documents sans perte de score, mais presque tous les modèles testés ont performé mieux avec moins de documents dans l’ensemble. En d’autres termes, l’ajout de matériel de référence au-delà des pièces clés réellement pertinentes a plus souvent gêné leur performance qu’il ne l’a aidée.

Source: Levy et al.

Pourquoi est-ce une telle surprise ? Typiquement, les systèmes RAG sont conçus sous l’hypothèse que récupérer une large gamme d’informations ne peut qu’aider l’IA – après tout, si la réponse n’est pas dans les premiers documents, elle pourrait être dans le dixième ou le vingtième.

Cette étude renverse ce scénario, démontrant que l’ajout indistinct d’extra-documents peut avoir des conséquences négatives. Même lorsque la longueur totale du texte était maintenue constante, la simple présence de nombreux documents différents (chacun avec son propre contexte et ses propres particularités) a rendu la tâche de question-réponse plus difficile pour l’IA. Il semble que, au-delà d’un certain point, chaque document supplémentaire ait introduit plus de bruit que de signal, confondant le modèle et entravant sa capacité à extraire la bonne réponse.

Pourquoi moins peut être plus dans RAG

Ce résultat « moins est plus » est logique une fois que l’on considère comment les modèles de langage d’IA traitent les informations. Lorsqu’une IA n’est fournie qu’avec les documents les plus pertinents, le contexte qu’elle voit est ciblé et exempt de distractions, comme un étudiant qui a reçu les bonnes pages à étudier.

Dans l’étude, les modèles ont performé de manière significativement meilleure lorsqu’ils n’avaient que les documents de soutien, avec le matériel non pertinent supprimé. Le contexte restant n’était pas seulement plus court, mais également plus propre – il contenait des faits qui pointaient directement vers la réponse et rien d’autre. Avec moins de documents à gérer, le modèle pouvait consacrer toute son attention à l’information pertinente, ce qui le rendait moins susceptible de se laisser détourner ou de se perdre.

D’un autre côté, lorsque de nombreux documents étaient récupérés, l’IA devait trier un mélange de contenu pertinent et non pertinent. Souvent, ces documents supplémentaires étaient « similaires mais non liés » – ils partageaient un sujet ou des mots-clés avec la requête, mais ne contenaient pas réellement la réponse. Un tel contenu peut induire le modèle en erreur. L’IA pourrait gaspiller des efforts pour relier des points entre des documents qui ne mènent pas réellement à une réponse correcte, ou pire, elle pourrait fusionner des informations de plusieurs sources de manière incorrecte. Cela augmente le risque d’hallucinations – des instances où l’IA génère une réponse qui semble plausible mais n’est ancrée dans aucune source unique.

En essence, fournir trop de documents au modèle peut diluer les informations utiles et introduire des détails contradictoires, rendant plus difficile pour l’IA de décider ce qui est vrai.

Il est intéressant de noter que les chercheurs ont constaté que si les documents supplémentaires étaient clairement non pertinents (par exemple, du texte non lié au hasard), les modèles étaient meilleurs pour les ignorer. Le véritable problème vient des données de distraction qui semblent pertinentes : lorsque tous les textes récupérés sont sur des sujets similaires, l’IA suppose qu’elle devrait les utiliser tous, et elle peut avoir du mal à déterminer quels détails sont réellement importants. Cela correspond à l’observation de l’étude selon laquelle les distracteurs aléatoires causaient moins de confusion que les distracteurs réalistes dans l’entrée. L’IA peut filtrer le nonsense évident, mais les informations légèrement hors-sujet sont un piège sournois – elles s’infiltrent sous le prétexte de la pertinence et déraillent la réponse. En réduisant le nombre de documents aux seuls vraiment nécessaires, nous évitons de créer ces pièges dès le départ.

Il y a également un avantage pratique : récupérer et traiter moins de documents réduit la charge de calcul pour un système RAG. Chaque document qui est récupéré doit être analysé (intégré, lu et pris en compte par le modèle), ce qui utilise du temps et des ressources informatiques. Éliminer les documents superflus rend le système plus efficace – il peut trouver des réponses plus rapidement et à moindre coût. Dans les scénarios où la précision s’est améliorée en se concentrant sur moins de sources, nous obtenons un double avantage : de meilleures réponses et un processus plus léger et plus efficient.

Source: Levy et al.

Repenser RAG : orientations futures

Cette nouvelle preuve que la qualité l’emporte souvent sur la quantité dans la récupération a des implications importantes pour l’avenir des systèmes d’IA qui s’appuient sur des connaissances externes. Elle suggère que les concepteurs de systèmes RAG devraient donner la priorité à un filtrage intelligent et à un classement de documents plutôt qu’à la quantité brute. Au lieu de récupérer 100 passages possibles et d’espérer que la réponse est enfouie quelque part, il peut être plus sage de récupérer seulement les quelques passages les plus pertinents.

Les auteurs de l’étude soulignent la nécessité pour les méthodes de récupération de « trouver un équilibre entre la pertinence et la diversité » dans les informations qu’elles fournissent à un modèle. En d’autres termes, nous voulons fournir suffisamment de couverture du sujet pour répondre à la question, mais pas tant que les faits clés soient noyés dans une mer de texte superflu.

À l’avenir, les chercheurs sont susceptibles d’explorer des techniques pour aider les modèles d’IA à gérer plusieurs documents de manière plus élégante. Une approche consiste à développer de meilleurs systèmes de récupération ou de re-classement qui peuvent identifier quels documents ajoutent réellement de la valeur et lesquels n’introduisent que des conflits. Un autre angle est d’améliorer les modèles de langage eux-mêmes : si un modèle (comme Qwen-2) a réussi à gérer de nombreux documents sans perdre en précision, examiner comment il a été formé ou structuré pourrait offrir des indices pour rendre d’autres modèles plus robustes. Peut-être que les futurs grands modèles de langage incorporeront des mécanismes pour reconnaître quand deux sources disent la même chose (ou se contredisent) et se concentrer en conséquence. L’objectif serait de permettre aux modèles d’utiliser une grande variété de sources sans tomber dans la confusion – en obtenant ainsi le meilleur des deux mondes (largeur d’information et clarté de focus).

Il est également important de noter que lorsque les systèmes d’IA gagnent des fenêtres de contexte plus grandes (la capacité de lire plus de texte à la fois), simplement déverser plus de données dans la invite n’est pas une solution miracle. Une plus grande fenêtre de contexte ne signifie pas automatiquement une meilleure compréhension. Cette étude montre que même si une IA peut techniquement lire 50 pages à la fois, lui fournir 50 pages d’informations de qualité mélangée peut ne pas donner un bon résultat. Le modèle bénéficie toujours d’avoir du contenu ciblé et pertinent à travailler, plutôt que d’un déversement indiscriminé. En fait, une récupération intelligente peut devenir encore plus cruciale à l’ère des grandes fenêtres de contexte – pour s’assurer que la capacité supplémentaire est utilisée pour des connaissances précieuses plutôt que pour du bruit.

Les conclusions de « Plus de documents, même longueur » (le titre approprié du document) encouragent une réévaluation de nos hypothèses dans la recherche en IA. Parfois, fournir à une IA toutes les données dont nous disposons n’est pas aussi efficace que nous le pensons. En nous concentrant sur les pièces d’information les plus pertinentes, nous améliorons non seulement la précision des réponses générées par l’IA, mais rendons également les systèmes plus efficaces et plus fiables. C’est une leçon contre-intuitive, mais avec des ramifications excitantes : les futurs systèmes RAG pourraient être à la fois plus intelligents et plus légers en choisissant soigneusement moins de documents de meilleure qualité pour les récupérer.