Top AI-modellen raken de weg kwijt in lange documenten

Een nieuwe studie van onderzoekers aan de LMU München, het Munich Center for Machine Learning en Adobe (ADBE ) Research heeft een zwakte blootgelegd in AI-taalkundige modellen: ze hebben moeite om lange documenten te begrijpen op manieren die je misschien zullen verbazen. De onderzoeksresultaten van het team laten zien dat zelfs de meest geavanceerde AI-modellen moeite hebben om informatie te verbinden wanneer ze niet kunnen vertrouwen op eenvoudige woordovereenkomsten.

Het verborgen probleem met de leesvaardigheid van AI

Stel je voor dat je een specifiek detail probeert te vinden in een lang onderzoeksrapport. Je zou erdoorheen kunnen bladeren, mentale verbindingen maken tussen verschillende secties om de informatie te verzamelen die je nodig hebt. Veel AI-modellen werken echter helemaal niet op deze manier. In plaats daarvan vertrouwen ze vaak zwaar op het vinden van exacte woordovereenkomsten, vergelijkbaar met het gebruik van Ctrl+F op je computer.

Het onderzoeksteam ontwikkelde een nieuwe benchmark genaamd NOLIMA (Geen Letterlijke Overeenkomst) om verschillende AI-modellen te testen. De resultaten toonden aan dat wanneer AI-modellen te maken krijgen met teksten langer dan 2.000 woorden, hun prestaties dramatisch afnemen. Zodra ze 32.000 woorden bereiken – ongeveer de lengte van een kort boek – presteren de meeste modellen op de helft van hun normale capaciteit. Dit omvatte het testen van belangrijke modellen zoals GPT-4o, Gemini 1.5 Pro en Llama 3.3 70B.

Overweeg een medisch onderzoeker die AI gebruikt om patiëntendossiers te analyseren, of een juridisch team dat AI gebruikt om juridische documenten te bekijken. Als de AI cruciale verbindingen mist omdat de relevante informatie andere woorden gebruikt dan de zoekopdracht, kunnen de gevolgen aanzienlijk zijn.

Waarom woordovereenkomst niet voldoende is

Huidige AI-modellen verwerken tekst met behulp van iets dat een aandachtmechanisme wordt genoemd. Dit systeem helpt de AI om zich te concentreren op verschillende delen van de tekst om de relatie tussen woorden en ideeën te begrijpen. Wanneer ze met kortere teksten werken, werkt dit goed genoeg. Echter, het onderzoek toont aan dat deze mechanisme overweldigd raakt naarmate de teksten langer worden, vooral wanneer deze niet kan vertrouwen op exacte woordovereenkomsten.

De NOLIMA-test onthulde deze beperking door AI-modellen vragen te stellen waarvan de antwoorden het begrijpen van context vereisen in plaats van het vinden van overeenkomende woorden. De resultaten waren veelzeggend. Terwijl modellen goed presteerden met korte teksten, daalde hun vermogen om deze verbindingen te maken aanzienlijk naarmate de tekstlengte toenam. Zelfs gespecialiseerde modellen die waren ontworpen voor redeneertaken scoorden onder de 50% nauwkeurigheid bij het omgaan met langere documenten.

Zonder de steun van woordovereenkomst, worstelden AI-modellen om:

• Verwante concepten te verbinden die verschillende terminologie gebruiken
• Meerdere redeneerstappen te volgen
• Relevante informatie te vinden wanneer deze na de sleutelcontext verschijnt
• Misleidende woordovereenkomsten in irrelevante secties te negeren

De cijfers vertellen het verhaal

De onderzoeksresultaten schetsen een somber beeld van hoe AI-modellen omgaan met langere teksten. GPT-4o toonde de sterkste prestaties, met een effectiviteit die tot ongeveer 8.000 tokens (ongeveer 6.000 woorden) werd gehandhaafd. Echter, zelfs deze top-presteerder toonde een aanzienlijke daling bij langere teksten. De meeste andere modellen, waaronder Gemini 1.5 Pro en Llama 3.3 70B, ervoeren een scherpe daling in prestaties tussen 2.000 en 8.000 tokens.

De prestatieafname werd nog meer uitgesproken wanneer de taken meerdere redeneerstappen vereisten. Als een model bijvoorbeeld twee logische verbindingen moest maken – zoals het begrijpen dat een personage in de buurt van een landmark woonde, en dat landmark in een specifieke stad was – daalde de succesrate aanzienlijk. Het onderzoek toonde aan dat dit type meerdere redeneerstappen bijzonder uitdagend werd in teksten voorbij 16.000 tokens, zelfs met technieken die waren ontworpen om redeneren te verbeteren, zoals Chain-of-Thought prompting.

Wat deze resultaten bijzonder opmerkelijk maakt, is dat ze claims over de mogelijkheid van AI-modellen om lange contexten te verwerken in twijfel trekken. Terwijl veel modellen reclame maken voor ondersteuning van uitgebreide contextvensters, toont de NOLIMA-benchmark aan dat effectief begrip aanzienlijk daalt voordat deze theoretische limieten worden bereikt.

Bron: Modarressi et al.

Wanneer AI de bomen niet ziet door het bos

Deze beperkingen hebben ernstige gevolgen voor hoe we AI gebruiken in echte toepassingen. Overweeg een juridisch AI-systeem dat zoekt in rechtszaken. Het kan relevante precedenten missen omdat ze andere terminologie gebruiken dan de zoekopdracht. Het systeem kan in plaats daarvan focussen op minder relevante zaken die toevallig meer woorden delen met de zoektermen.

De impact op zoekopdrachten en documentanalyse is bijzonder verontrustend. Huidige AI-gebaseerde zoeksystemen vertrouwen vaak op een techniek genaamd Retrieval-Augmented Generation (RAG). Zelfs wanneer deze systemen met succes een document ophalen dat de juiste informatie bevat, kan de AI falen om de relevantie te herkennen als de bewoording afwijkt van de zoekopdracht. In plaats daarvan kan de AI naar minder relevante documenten trekken die oppervlakkige overeenkomsten vertonen met de zoektermen.

Voor AI-gebruikers suggereren deze resultaten enkele belangrijke overwegingen:

Ten eerste, zullen kortere zoekopdrachten en documenten waarschijnlijk betrouwbaardere resultaten opleveren. Wanneer u met langere teksten werkt, kan het opdelen ervan in kleinere, gefocuste segmenten de AI-prestaties helpen behouden.

Ten tweede, moeten gebruikers bijzonder voorzichtig zijn wanneer ze AI vragen om verbindingen te maken tussen verschillende delen van een lang document. Het onderzoek toont aan dat AI-modellen het meest worstelen wanneer ze informatie uit verschillende secties moeten combineren, vooral wanneer de verbinding niet duidelijk is door gedeelde vocabulaire.

Ten slotte, benadrukken deze beperkingen de voortdurende belangrijkheid van menselijke toezicht. Terwijl AI een krachtig hulpmiddel kan zijn voor het verwerken en analyseren van tekst, mag het niet worden behandeld als een volledige vervanging voor menselijke analyse van complexe documenten. De menselijke capaciteit om context te behouden en conceptuele verbindingen te maken over langere teksten blijft superieur aan de huidige AI-mogelijkheden.

De resultaten dienen als een herinnering dat, ondanks snelle vooruitgang in AI-technologie, deze systemen informatie nog steeds heel anders verwerken dan mensen. Het begrijpen van deze beperkingen is cruciaal voor het effectief gebruiken van AI-hulpmiddelen en weten wanneer menselijke oordeel nog steeds essentieel is.

Wat komt hierna

Het begrijpen van de beperkingen van de huidige AI-modellen om lange teksten te verwerken, roept belangrijke vragen op over de toekomst van AI-ontwikkeling. Het onderzoek achter de NOLIMA-benchmark heeft aangetoond dat onze huidige benaderingen van AI-tekstverwerking mogelijk een significante verfijning nodig hebben, met name in hoe modellen informatie over langere passages verwerken.

Huidige oplossingen hebben alleen gedeeltelijk succes getoond. Chain-of-Thought prompting, dat AI-modellen aanmoedigt om hun redenering in stappen te breken, helpt de prestaties enigszins te verbeteren. Bijvoorbeeld, toen deze techniek werd gebruikt, toonde Llama 3.3 70B een betere capaciteit om met langere contexten om te gaan. Echter, deze aanpak blijft nog steeds tekortschieten wanneer het gaat om teksten voorbij 16.000 tokens, wat suggereert dat meer fundamentele oplossingen nodig zijn.

De aandachtmachine, die de ruggengraat vormt van hoe huidige AI-modellen tekst verwerken, moet worden heroverwogen. Denk eraan als proberen om een gesprek te voeren in een drukke kamer – hoe langer het gesprek, hoe moeilijker het wordt om alle belangrijke punten te onthouden die eerder zijn genoemd. Onze huidige AI-modellen hebben een soortgelijke uitdaging, maar op een veel grotere schaal.

Kijkend naar de toekomst, onderzoeken onderzoekers verschillende veelbelovende richtingen. Een benadering houdt in dat er nieuwe manieren worden ontwikkeld voor AI om informatie in lange teksten te organiseren en prioriteren, verdergaand dan eenvoudige woordovereenkomst om diepere conceptuele verbindingen te begrijpen. Dit kan werken zoals mensen mentale kaarten van informatie creëren, ideeën verbindend op basis van betekenis in plaats van alleen gedeelde vocabulaire.

Een andere ontwikkelingsgebied richt zich op het verbeteren van hoe AI-modellen omgaan met wat onderzoekers “latent hops” noemen – de logische stappen die nodig zijn om verschillende stukken informatie te verbinden. Huidige modellen worstelen met deze verbindingen, vooral in langere teksten, maar nieuwe architectuur kan helpen om deze kloof te overbruggen.

Voor degenen die vandaag met AI-hulpmiddelen werken, suggereren deze resultaten enkele praktische benaderingen:

Overweeg om langere documenten op te delen in zinvolle segmenten wanneer u met AI werkt. Dit helpt om logische secties te creëren die belangrijke context behouden. Als u bijvoorbeeld een onderzoeksrapport analyseert, kunt u de methodologie- en resultaatssecties bij elkaar houden omdat ze vaak verwante informatie bevatten.

Wanneer u AI vraagt om langere teksten te analyseren, wees specifiek over de verbindingen die u wilt dat het maakt. In plaats van brede vragen te stellen, leidt u de AI naar de specifieke relaties die u geïnteresseerd bent in het onderzoeken. Dit helpt om de huidige beperkingen van het model in het maken van deze verbindingen onafhankelijk te compenseren.

Misschien het belangrijkste, houdt u realistische verwachtingen over de mogelijkheden van AI met langere teksten. Terwijl deze tools enorm nuttig kunnen zijn voor veel taken, moeten ze niet worden behandeld als complete vervangingen voor menselijke analyse van complexe documenten. De menselijke capaciteit om context te behouden en conceptuele verbindingen te maken over langere teksten blijft superieur aan de huidige AI-mogelijkheden.

De weg vooruit voor AI-ontwikkeling in dit gebied is zowel uitdagend als spannend. Naarmate we deze beperkingen beter begrijpen, kunnen we werken aan AI-systemen die lange teksten echt begrijpen in plaats van ze alleen maar te verwerken. Tot die tijd betekent het effectief gebruiken van AI werken met de huidige beperkingen, terwijl we de sterke punten waarderen.