Mindre er mere: Hvorfor indhentning af færre dokumenter kan forbedre AI-svar

Retrieval-Augmented Generation (RAG) er en tilgang til bygning af AI-systemer, der kombinerer et sprogmodel med en ekstern videnkilde. I simple termer søger AI’en først efter relevante dokumenter (som artikler eller websteder) relateret til en brugers forespørgsel, og bruger derefter disse dokumenter til at generere et mere præcist svar. Denne metode er blevet fejret for at hjælpe store sprogmodeller (LLM’er) med at blive faktuelle og reducere hallucinationer ved at grundlægge deres svar i virkelige data.

Intuitivt kunne man tro, at jo flere dokumenter en AI indhenter, desto bedre underrettet vil dens svar være. Men nylig forskning viser en overraskende vending: når det kommer til at føde information til en AI, kan mindre faktisk være mere.

Færre dokumenter, bedre svar

En ny studie af forskere fra Hebrew University of Jerusalem undersøgte, hvordan antallet af dokumenter, der gives til et RAG-system, påvirker dets præstation. Afgørende var, at de fastholdt det samlede tekstmængde konstant – hvilket betyder, at hvis færre dokumenter blev givet, blev disse dokumenter lidt udvidet for at fylde samme længde som mange dokumenter ville. På denne måde kunne eventuelle præstationsforskelle tilskrives antallet af dokumenter og ikke blot en kortere indtastning.

Forskerne brugte et spørgsmål-svar-dataset (MuSiQue) med trivia-spørgsmål, hvor hvert spørgsmål oprindeligt var parret med 20 Wikipedia-paragraffer (kun få af dem indeholdt faktisk svaret, mens resten var distraktorer). Ved at reducere antallet af dokumenter fra 20 til kun de 2-4 virkelig relevante – og udfylde dem med lidt ekstra kontekst for at fastholde en konstant længde – skabte de scenarier, hvor AI’en havde færre stykker materiale at overveje, men stadig omtrent samme antal ord at læse.

Resultaterne var slående. I de fleste tilfælde svarede AI-modellerne mere præcist, når de fik færre dokumenter end den fulde samling. Præstationen forbedredes betydeligt – i nogle tilfælde med op til 10% i præcision (F1-score), når systemet kun brugte de få understøttende dokumenter i stedet for en stor samling. Denne modintuitive forbedring blev observeret på tværs af flere forskellige open-source sprogmodeller, herunder varianter af Meta’s Llama og andre, hvilket indikerer, at fænomenet ikke er knyttet til en enkelt AI-model.

En model (Qwen-2) var en bemærkelsesværdig undtagelse, der kunne håndtere multiple dokumenter uden en nedgang i score, men næsten alle testede modeller opførte sig bedre med færre dokumenter overordnet. Med andre ord forværrede tilføjelsen af reference materiale beyond de nøgle relevante stykker oftere deres præstation end det hjalp.

Kilde: Levy et al.

Hvorfor er dette så overraskende? Typisk er RAG-systemer designet under antagelsen af, at indhentning af en bredere del af information kun kan hjælpe AI’en – efter alt, hvis svaret ikke er i de første få dokumenter, kan det være i det tiende eller tyvende.

Denne studie vendrer dette manuskript, og viser, at uhæmmet tilføjelse af ekstra dokumenter kan have en negativ effekt. Selv når den samlede tekstlængde blev fastholdt konstant, gjorde den blotte tilstedeværelse af mange forskellige dokumenter (hver med deres egen kontekst og særheder) spørgsmål-svartasken mere udfordrende for AI’en. Det ser ud til, at ud over et visst punkt introducerede hvert ekstra dokument mere støj end signal, forvirrede modellen og svækkede dens evne til at trække det korrekte svar ud.

Hvorfor mindre kan være mere i RAG

Dette “mindre er mere”-resultat giver mening, når vi overvejer, hvordan AI-sprogmodeller behandler information. Når en AI kun får de mest relevante dokumenter, er konteksten den ser fokuseret og fri for distraktioner, ligesom en studerende, der har fået kun de rigtige sider at studere.

Modellerne opførte sig betydeligt bedre, når de kun fik de understøttende dokumenter, med irrelevant materiale fjernet. Den resterende kontekst var ikke kun kortere, men også renere – den indeholdt kun fakta, der direkte pegede på svaret, og intet andet. Med færre dokumenter at håndtere, kunne modellen koncentrere sin fulde opmærksomhed om den pertinente information, og gjorde det mindre sandsynligt, at den blev afledt eller forvirret.

På den anden side, når mange dokumenter blev indhentet, måtte AI’en sigte gennem en blanding af relevant og irrelevant indhold. Ofte var disse ekstra dokumenter “lignende, men ikke relaterede” – de delte måske emne eller nøgleord med forespørgslen, men indeholdt ikke faktisk svaret. Sådant indhold kan mislede modellen. AI’en kunne spilde kræfter på at forsøge at forbinde punkter på tværs af dokumenter, der ikke faktisk fører til et korrekt svar, eller værre, det kunne kombinerer information fra multiple kilder forkert. Dette øger risikoen for hallucinationer – tilfælde, hvor AI’en genererer et svar, der lyder plausibelt, men ikke er grundet i nogen enkelt kilde.

I essensen kan tilføjelsen af for mange dokumenter til modellen udvande den nyttige information og introducere modstridende detaljer, og gøre det sværere for AI’en at afgøre, hvad der er sandt.

Det er også værd at bemærke, at forskerne fandt, at hvis de ekstra dokumenter var åbenbart irrelevante (f.eks. tilfældigt, ikke-relateret tekst), var modellerne bedre til at ignorere dem. Det virkelige problem kommer fra distraherende data, der ligner relevante: når alle de indhentede tekster er på lignende emner, antager AI’en, at den skal bruge dem alle, og den kan have svært ved at afgøre, hvilke detaljer, der faktisk er vigtige. Dette stemmer overens med studiens observation af, at tilfældige distraktorer forårsagede mindre forvirring end realistiske distraktorer i indtastningen. AI’en kan filtrere ud åbenlyst nonsens, men subtilt afledt information er en glat fælde – den sniger sig ind under skærmen af relevans og afsporer svaret. Ved at reducere antallet af dokumenter til kun de virkelig nødvendige, undgår vi at sætte disse fælder i første omgang.

Der er også en praktisk fordel: indhentning og bearbejdning af færre dokumenter reducerer den computermæssige overhed for et RAG-system. Hvert dokument, der hentes ind, skal analyseres (indlejret, læst og opmærksomt af modellen), hvilket bruger tid og computere ressourcer. Fjernelse af overflødige dokumenter gør systemet mere effektivt – det kan finde svar hurtigere og til en lavere omkostning. I scenarier, hvor præcisionen forbedredes ved at fokusere på færre kilder, får vi en gevinst: bedre svar og en mere effektiv proces.

Kilde: Levy et al.

Omtilrettelæggelse af RAG: Fremtidige retninger

Denne nye bevis for, at kvalitet ofte slår kvantitet i indhentning, har vigtige implikationer for fremtiden for AI-systemer, der afhænger af ekstern viden. Det antyder, at designere af RAG-systemer bør prioritere intelligent filtrering og rangordning af dokumenter over den blotte mængde. I stedet for at hente 100 mulige passager og håbe, at svaret er begravet et sted, kan det være klogere at hente kun de øverste få højt relevante.

Studiens forfattere understreger behovet for, at indhentningsmetoder “finder en balance mellem relevans og diversitet” i den information, de leverer til en model. Med andre ord ønsker vi at give nok dækning af emnet til at svare på spørgsmålet, men ikke så meget, at de centrale fakta bliver druknet i en hav af overflødigt tekst.

I fremtiden er forskere sandsynligvis at udforske teknikker, der hjælper AI-modeller med at håndtere multiple dokumenter mere elegant. En tilgang er at udvikle bedre indhentningssystemer eller om-rangordning, der kan identificere, hvilke dokumenter, der virkelig tilføjer værdi, og hvilke, der kun introducerer konflikt. En anden vinkel er at forbedre sprogmodellerne selv: hvis en model (som Qwen-2) kunne håndtere mange dokumenter uden at tabe præcision, kunne undersøgelse af, hvordan den blev trænet eller struktureret, give ledetråde til at gøre andre modeller mere robuste. Måske vil fremtidige store sprogmodeller inkorporere mekanismer til at genkende, når to kilder siger det samme (eller modsiger hinanden) og fokusere derefter. Målet ville være at enable modellerne til at udnytte en rig variation af kilder uden at falde for forvirring – effektivt at få det bedste af begge verdener (bredden af information og klarhed af fokus).

Det er også værd at bemærke, at når AI-systemer får større kontekstvinduer (evnen til at læse mere tekst på én gang), er det ikke nok at bare dumpere mere data i prompten. Større kontekst betyder ikke automatisk bedre forståelse. Denne studie viser, at selv om en AI kan teknisk set læse 50 sider på én gang, kan det at give den 50 sider af blandet kvalitetsinformation ikke give et godt resultat. Modellen har stadig godt af at have kurateret, relevant indhold at arbejde med, snarere end en uhæmmet dump. Faktisk kan intelligent indhentning blive endnu mere afgørende i æraen med kæmpestore kontekstvinduer – for at sikre, at den ekstra kapacitet bruges til værdifuld viden snarere end støj.

Fundene fra “Flere dokumenter, samme længde” (det passende titlerede papir) opmuntre til en genovervejelse af vores antagelser i AI-forskning. Nogle gange er det ikke så effektivt at fodre en AI med alle data, vi har. Ved at fokusere på de mest relevante stykker af information forbedrer vi ikke kun præcisionen af AI-genererede svar, men gør også systemerne mere effektive og lettere at stole på. Det er en modintuitiv lære, men en med spændende implikationer: fremtidige RAG-systemer kan være både smartere og mere strømlinede ved at vælge færre, bedre dokumenter at hente.