Mindre är mer: Varför hämtning av färre dokument kan förbättra AI-svar

Retrieval-Augmented Generation (RAG) är en metod för att bygga AI-system som kombinerar en språkmodell med en extern kunskapskälla. I enkla termer söker AI:n först efter relevanta dokument (som artiklar eller webbsidor) som är relaterade till en användares fråga och använder sedan dessa dokument för att generera ett mer exakt svar. Denna metod har hyllats för att hjälpa stora språkmodeller (LLM) att hålla sig faktamässiga och minska hallucinationer genom att basera sina svar på verkliga data.

Intuitivt kan man tro att ju fler dokument AI:n hämtar, desto bättre informerat kommer svaret att vara. Men nylig forskning visar en överraskande vändning: när det gäller att mata information till en AI, kan mindre ibland vara mer.

Färre dokument, bättre svar

En ny studie av forskare vid Hebrew University of Jerusalem undersökte hur antalet dokument som ges till ett RAG-system påverkar dess prestanda. Avgörande var att de höll den totala textmängden konstant – vilket innebar att om färre dokument tillhandahölls, utvidgades dessa dokument något för att fylla samma längd som många dokument skulle. På detta sätt kunde eventuella prestandaskillnader tillskrivas antalet dokument snarare än bara en kortare inmatning.

Forskarna använde en frågesvarsdataset (MuSiQue) med triviafrågor, var och en ursprungligen parad med 20 Wikipediaparagrafer (endast ett fåtal av dessa innehöll faktiskt svaret, medan resten var distraktorer). Genom att skära ner antalet dokument från 20 till bara de 2–4 som verkligen var relevanta – och fylla i dessa med en aning extra kontext för att upprätthålla en konstant längd – skapade de scenarier där AI:n hade färre material att överväga, men fortfarande ungefär samma totala ord att läsa.

Resultaten var slående. I de flesta fall svarade AI-modellerna mer exakt när de fick färre dokument än den fulla uppsättningen. Prestandan förbättrades avsevärt – i vissa fall med upp till 10% i exakthet (F1-poäng) när systemet använde endast de få stöddokumenten istället för en stor samling. Denna motintuitiva förbättring observerades över flera olika öppen källkods-språkmodeller, inklusive varianter av Metas Llama och andra, vilket indikerar att fenomenet inte är knutet till en enda AI-modell.

En modell (Qwen-2) var ett anmärkningsvärt undantag som hanterade flera dokument utan att förlora i poäng, men nästan alla testade modeller presterade bättre med färre dokument överlag. Med andra ord, tillförde mer referensmaterial bortom de nyckelrelevanta bitarna mer skada på deras prestanda än det hjälpte.

Källa: Levy et al.

Varför är detta en sådan överraskning? Typiskt sett är RAG-system utformade under antagandet att hämtning av en bredare mängd information bara kan hjälpa AI:n – efter allt, om svaret inte finns i de första få dokumenten, kan det finnas i det tionde eller tjugonde.

Denna studie vänder på detta manus, och visar att odiscriminerat tillföra extra dokument kan slå tillbaka. Även när den totala textlängden hölls konstant, gjorde den rena närvaron av många olika dokument (var och en med sin egen kontext och egenheter) frågesvarsuppgiften mer utmanande för AI:n. Det verkar som att bortom en viss punkt introducerade varje ytterligare dokument mer brus än signal, vilket förvirrade modellen och försämrade dess förmåga att extrahera det korrekta svaret.

Varför mindre kan vara mer i RAG

Detta “mindre är mer”-resultat är logiskt när vi överväger hur AI-språkmodeller bearbetar information. När en AI bara får de mest relevanta dokumenten, är kontexten den ser fokuserad och fri från distraktioner, likt en student som har fått bara rätt sidor att studera.

I studien presterade modellerna betydligt bättre när de bara fick de stöddokumenten, med irrelevant material borttaget. Den återstående kontexten var inte bara kortare, utan också renare – den innehöll fakta som direkt pekade på svaret och ingenting annat. Med färre dokument att hantera kunde modellen ägna sin fulla uppmärksamhet åt den relevanta informationen, vilket gjorde det mindre troligt att den skulle bli vilseled eller förvirrad.

Å andra sidan, när många dokument hämtades, var AI:n tvungen att sikta igenom en blandning av relevant och irrelevant innehåll. Ofta var dessa extra dokument “liknande men orelaterade” – de kunde dela ett ämne eller nyckelord med frågan, men innehöll inte faktiskt svaret. Sådant innehåll kan vilseleda modellen. AI:n kunde slösa bort ansträngning på att koppla samman punkter över dokument som inte faktiskt ledde till ett korrekt svar, eller värre, det kunde kombinera information från flera källor felaktigt. Detta ökar risken för hallucinationer – tillfällen då AI:n genererar ett svar som låter plausibelt men inte är baserat på någon enskild källa.

I själva verket kan tillföra för många dokument till modellen utspäda den användbara informationen och introducera motsägande detaljer, vilket gör det svårare för AI:n att bestämma vad som är sant.

Det är också värt att notera att forskarna fann att om de extra dokumenten var uppenbart irrelevanta (t.ex. slumpmässigt orelaterat text), var modellerna bättre på att ignorera dem. Det riktiga problemet kommer från distraherande data som ser relevant ut: när alla hämtade texter är på liknande ämnen, antar AI:n att den ska använda alla, och den kan ha svårt att avgöra vilka detaljer som faktiskt är viktiga. Detta överensstämmer med studiens observation att slumpmässiga distraktorer orsakade mindre förvirring än realistiska distraktorer i inmatningen. AI:n kan filtrera bort uppenbar nonsens, men subtilt avvikande information är en listig fälla – den smyger in under sken av relevans och spårar ur svaret. Genom att minska antalet dokument till endast de verkligen nödvändiga, undviker vi att sätta dessa fällor från första början.

Det finns också en praktisk fördel: att hämta och bearbeta färre dokument sänker den beräkningsmässiga belastningen för ett RAG-system. Varje dokument som hämtas måste analyseras (inbäddas, läsas och uppmärksammas av modellen), vilket använder tid och beräkningsresurser. Att eliminera överflödiga dokument gör systemet mer effektivt – det kan hitta svar snabbare och till en lägre kostnad. I scenarier där exakthet förbättrades genom att fokusera på färre källor, får vi en dubbel vinst: bättre svar och en smalare, mer effektiv process.

Källa: Levy et al.

Omprövning av RAG: Framtida riktningar

Denna nya bevisning att kvalitet ofta slår kvantitet i hämtning har viktiga implikationer för framtiden för AI-system som förlitar sig på extern kunskap. Det antyder att utformare av RAG-system bör prioritera smart filtrering och rangordning av dokument över ren mängd. Istället för att hämta 100 möjliga passager och hoppas att svaret är begravt någonstans, kan det vara klokare att hämta endast de översta få högt relevanta.

Studiens författare betonar behovet av att hämtningsmetoder ska “hitta en balans mellan relevans och mångfald” i den information som tillhandahålls till en modell. Med andra ord, vi vill tillhandahålla tillräcklig täckning av ämnet för att besvara frågan, men inte så mycket att de centrala faktorna drunknar i en hav av överflödig text.

I framtiden kommer forskare sannolikt att undersöka tekniker som hjälper AI-modeller att hantera flera dokument på ett mer elegant sätt. En strategi är att utveckla bättre hämtningssystem eller omrangörer som kan identifiera vilka dokument som verkligen tillför värde och vilka som bara introducerar konflikt. En annan vinkel är att förbättra själva språkmodellerna: om en modell (som Qwen-2) kunde hantera många dokument utan att förlora i exakthet, kunde en undersökning av hur den tränades eller strukturerades erbjuda ledtrådar för att göra andra modeller mer robusta. Kanske kommer framtida stora språkmodeller att inkorporera mekanismer för att känna igen när två källor säger samma sak (eller motsäger varandra) och fokusera därefter. Målet vore att möjliggöra för modellerna att utnyttja en rik variation av källor utan att falla offer för förvirring – effektivt få det bästa av båda världar (bredd av information och tydlighet i fokus).

Det är också värt att notera att när AI-system får större kontextfönster (förmågan att läsa mer text på en gång), är det inte en silverkula att enkelt dumpa mer data i prompten. Större kontext betyder inte automatiskt bättre förståelse. Denna studie visar att även om en AI tekniskt sett kan läsa 50 sidor åt gången, kan tillföra 50 sidor med blandad kvalitet på information inte ge ett bra resultat. Modellen drar fortfarande nytta av att ha kuraterat, relevant innehåll att arbeta med, snarare än en odiscriminerad dump. I själva verket kan intelligent hämtning bli ännu viktigare i eran av jättekontextfönster – för att säkerställa att den extra kapaciteten används för värdefull kunskap snarare än brus.

Studiens rön från “More Documents, Same Length” (den passande titeln) uppmuntrar en omprövning av våra antaganden i AI-forskning. Ibland är det inte så effektivt att mata en AI all data vi har. Genom att fokusera på de mest relevanta bitarna av information, förbättrar vi inte bara exaktheten hos AI-genererade svar, utan gör också systemen mer effektiva och lättare att lita på. Det är en motintuitiv läxa, men en med spännande implikationer: framtida RAG-system kan vara både smartare och smalare genom att noggrant välja färre, bättre dokument att hämta.