Minder is meer: waarom het ophalen van minder documenten de antwoorden van AI kan verbeteren

Retrieval-Augmented Generation (RAG) is een benadering van het bouwen van AI-systemen die een taalmodel combineren met een externe kennisbron. In simpele bewoordingen zoekt de AI eerst naar relevante documenten (zoals artikelen of webpagina’s) die verband houden met een vraag van een gebruiker, en gebruikt deze documenten vervolgens om een nauwkeuriger antwoord te genereren. Deze methode is gevierd omdat het grote taalmodellen (LLM’s) helpt om feitelijk te blijven en hallucinaties te verminderen door hun antwoorden te baseren op echte gegevens.

Intuïtief zou men kunnen denken dat het ophalen van meer documenten door de AI zou leiden tot beter geïnformeerde antwoorden. Echter, recent onderzoek suggereert een verrassende wending: wanneer het gaat om het voeden van informatie aan een AI, kan minder soms meer zijn.

Minder documenten, betere antwoorden

Een nieuwe studie van onderzoekers aan de Hebrew University of Jerusalem onderzocht hoe het aantal documenten dat aan een RAG-systeem wordt gegeven, de prestaties ervan beïnvloedt. Cruciaal was dat ze de totale hoeveelheid tekst constant hielden – wat betekent dat als er minder documenten werden verstrekt, deze documenten iets werden uitgebreid om dezelfde lengte te behouden als veel documenten. Op deze manier konden eventuele prestatieverschillen worden toegeschreven aan de hoeveelheid documenten in plaats van alleen aan een kortere invoer.

De onderzoekers gebruikten een vraag- en antwoorddataset (MuSiQue) met trivia-vragen, waarbij elke vraag oorspronkelijk was gekoppeld aan 20 Wikipedia-alinea’s (waarvan slechts een paar daadwerkelijk het antwoord bevatten, terwijl de rest afleiders waren). Door het aantal documenten van 20 terug te brengen tot slechts de 2-4 werkelijk relevante – en deze te vullen met een beetje extra context om een consistente lengte te behouden – creëerden ze scenario’s waarin de AI minder materiaal had om te overwegen, maar nog steeds ongeveer dezelfde totale woorden om te lezen.

De resultaten waren opvallend. In de meeste gevallen antwoordden de AI-modellen nauwkeuriger wanneer ze minder documenten kregen in plaats van de complete set. De prestaties verbeterden aanzienlijk – in sommige gevallen met tot 10% in nauwkeurigheid (F1-score) wanneer het systeem alleen de handvol ondersteunende documenten gebruikte in plaats van een grote verzameling. Deze tegenintuïtieve boost werd waargenomen bij verschillende open-source taalmodellen, waaronder varianten van Meta’s Llama en anderen, wat aangeeft dat het fenomeen niet is gekoppeld aan een enkel AI-model.

Een model (Qwen-2) was een opvallende uitzondering die meerdere documenten kon verwerken zonder verlies van score, maar bijna alle geteste modellen presteerden beter met minder documenten overall. Met andere woorden, het toevoegen van meer referentiemateriaal voorbij de sleutelrelevante stukken verergerde hun prestaties vaker dan dat het hielp.

Bron: Levy et al.

Waarom is dit zo’n verrassing? Typisch worden RAG-systemen ontworpen onder de veronderstelling dat het ophalen van een bredere hoeveelheid informatie de AI alleen maar kan helpen – als het antwoord niet in de eerste paar documenten staat, kan het wel in het tiende of twintigste document staan.

Deze studie keert dit script om, door aan te tonen dat het ongedifferentieerd stapelen van extra documenten kan terugvuren. Zelfs wanneer de totale tekstlengte constant werd gehouden, maakte de enkele aanwezigheid van veel verschillende documenten (elk met hun eigen context en eigenaardigheden) de vraag- en antwoordtaak moeilijker voor de AI. Het lijkt erop dat voorbij een bepaald punt elk extra document meer ruis dan signaal introduceerde, de modellen verwarde en hun vermogen om het correcte antwoord te extraheren verzwakte.

Waarom minder meer kan zijn in RAG

Dit “minder is meer”-resultaat is logisch zodra we overwegen hoe AI-taalmodellen informatie verwerken. Wanneer een AI alleen de meest relevante documenten krijgt, is de context die het ziet gefocust en vrij van afleiding, net als een student die alleen de juiste pagina’s heeft gekregen om te studeren.

In de studie presteerden modellen aanzienlijk beter wanneer ze alleen de ondersteunende documenten kregen, met irrelevante materiaal verwijderd. De resterende context was niet alleen korter maar ook schoner – het bevatte feiten die direct naar het antwoord wezen en niets anders. Met minder documenten om te hanteren, kon het model zijn volle aandacht richten op de pertinente informatie, waardoor het minder waarschijnlijk was dat het afgeleid of verward raakte.

Aan de andere kant, wanneer veel documenten werden opgehaald, moest de AI door een mengsel van relevante en irrelevante inhoud zoeken. Vaak waren deze extra documenten “soortgelijk maar niet gerelateerd” – ze deelden een onderwerp of trefwoorden met de vraag, maar bevatten het antwoord niet daadwerkelijk. Dergelijke inhoud kan het model misleiden. De AI kon tijd verspillen aan het proberen om verbanden te leggen tussen documenten die niet daadwerkelijk naar een correct antwoord leiden, of erger, het kon informatie uit meerdere bronnen incorrect combineren. Dit verhoogt het risico op hallucinaties – gevallen waarin de AI een antwoord genereert dat plausibel klinkt maar niet is gebaseerd op een enkele bron.

In wezen kan het voeden van te veel documenten aan het model de nuttige informatie verdunnen en conflicterende details introduceren, waardoor het voor de AI moeilijker wordt om te bepalen wat waar is.

Interessant is dat de onderzoekers ontdekten dat als de extra documenten duidelijk irrelevant waren (bijvoorbeeld willekeurige ongerelateerde tekst), de modellen beter waren in het negeren ervan. Het echte probleem komt van afleidende gegevens die relevant lijken: wanneer alle opgehaalde teksten over soortgelijke onderwerpen gaan, gaat de AI ervan uit dat het allemaal moet gebruiken, en het kan moeilijk zijn om te bepalen welke details daadwerkelijk belangrijk zijn. Dit komt overeen met de observatie van de studie dat willekeurige afleiders minder verwarring veroorzaakten dan realistische afleiders in de invoer. De AI kan blote onzin filteren, maar subtiel afgeleide informatie is een gladde val – het glipt erin onder het mom van relevantie en ontspoord het antwoord. Door het aantal documenten te reduceren tot alleen de werkelijk noodzakelijke, vermijden we deze valstrikken vanaf het begin.

Er is ook een praktisch voordeel: het ophalen en verwerken van minder documenten verlaagt de computationele overhead voor een RAG-systeem. Elk document dat wordt opgehaald, moet worden geanalyseerd (ingebed, gelezen en door het model behandeld), wat tijd en rekenbronnen gebruikt. Het elimineren van overbodige documenten maakt het systeem efficiënter – het kan antwoorden vinden sneller en tegen lagere kosten. In scenario’s waarin de nauwkeurigheid verbeterde door te focussen op minder bronnen, krijgen we een win-winsituatie: betere antwoorden en een slanker, efficiënter proces.

Bron: Levy et al.

RAG opnieuw bekeken: toekomstige richtingen

Dit nieuwe bewijs dat kwaliteit vaak belangrijker is dan kwantiteit bij het ophalen van informatie, heeft belangrijke implicaties voor de toekomst van AI-systemen die op externe kennis zijn gebaseerd. Het suggereert dat ontwerpers van RAG-systemen slimme filtering en rangschikking van documenten moeten prioriteren boven pure hoeveelheid. In plaats van 100 mogelijke passages op te halen en te hopen dat het antwoord ergens daarin begraven ligt, kan het verstandiger zijn om alleen de top enkele hoogst relevante op te halen.

De auteurs van de studie benadrukken de noodzaak voor ophaalmethoden om “een balans te vinden tussen relevantie en diversiteit” in de informatie die ze aan een model leveren. Met andere woorden, we willen voldoende dekking van het onderwerp hebben om de vraag te beantwoorden, maar niet zo veel dat de kernfeiten verdrinken in een zee van overbodige tekst.

Naar de toekomst toe zullen onderzoekers waarschijnlijk technieken onderzoeken die helpen om AI-modellen beter om te gaan met meerdere documenten. Een aanpak is het ontwikkelen van betere ophaalsystemen of herschikkers die kunnen identificeren welke documenten werkelijk waarde toevoegen en welke alleen conflicten introduceren. Een andere hoek is het verbeteren van de taalmodellen zelf: als één model (zoals Qwen-2) in staat was om met veel documenten om te gaan zonder nauwkeurigheid te verliezen, kan het onderzoeken van hoe het was getraind of gestructureerd aanwijzingen bieden voor het maken van andere modellen robuuster. Misschien zullen toekomstige grote taalmodellen mechanismen incorporeren om te herkennen wanneer twee bronnen hetzelfde zeggen (of elkaar tegenspreken) en dienovereenkomstig focussen. Het doel zou zijn om modellen in staat te stellen een rijke variëteit aan bronnen te gebruiken zonder ten prooi te vallen aan verwarring – effectief het beste van twee werelden (breedte van informatie en helderheid van focus) te krijgen.

Het is ook de moeite waard om op te merken dat naarmate AI-systemen grotere contextvensters krijgen (de mogelijkheid om meer tekst tegelijk te lezen), het simpelweg dumpen van meer gegevens in de prompt geen zilveren kogel is. Een groter contextvenster betekent niet automatisch beter begrip. Deze studie toont aan dat zelfs als een AI technisch 50 pagina’s tegelijk kan lezen, het geven van 50 pagina’s van gemengde kwaliteit informatie geen goed resultaat oplevert. Het model heeft nog steeds baat bij gecureerde, relevante inhoud om mee te werken, in plaats van een ongedifferentieerde dump. In feite kan slimme ophaling nog crucialer worden in de era van reusachtige contextvensters – om ervoor te zorgen dat de extra capaciteit wordt gebruikt voor waardevolle kennis in plaats van ruis.

De bevindingen van “Meer documenten, dezelfde lengte” (de toepasselijk getitelde paper) moedigen een herbeoordeling van onze veronderstellingen in AI-onderzoek aan. Soms is het voeden van een AI met alle beschikbare gegevens niet zo effectief als we denken. Door ons te focussen op de meest relevante stukken informatie, verbeteren we niet alleen de nauwkeurigheid van AI-gegenereerde antwoorden, maar maken we de systemen ook efficiënter en gemakkelijker te vertrouwen. Het is een tegenintuïtieve les, maar een met spannende implicaties: toekomstige RAG-systemen kunnen zowel slimmer als slanker zijn door zorgvuldig minder, maar betere documenten op te halen.