Waarom Taalmodellen ‘Verloren’ Raken in Conversaties

Een nieuw onderzoek van Microsoft Research en Salesforce toont aan dat zelfs de meest capabele Grote Taalmodellen (LLM’s) uit elkaar vallen wanneer instructies in fasen worden gegeven in plaats van allemaal tegelijk. De auteurs vonden dat de prestaties gemiddeld met 39 procent dalen over zes taken wanneer een prompt over meerdere beurten wordt gesplitst:

Een enkele beurt conversatie (links) levert de beste resultaten, maar is onnatuurlijk voor de eindgebruiker. Een meerdere beurten conversatie (rechts) toont aan dat zelfs de hoogst gerangschikte en meest presterende LLM’s het effectieve elan in een conversatie verliezen. Bron: https://arxiv.org/pdf/2505.06120

Meer opvallend is dat de betrouwbaarheid van de antwoorden een neerwaartse trend vertoont, met prestigieuze modellen zoals ChatGPT-4.1 en Gemini 2.5 Pro die tussen bijna perfecte antwoorden en manifeste fouten schommelen, afhankelijk van hoe dezelfde taak wordt geformuleerd; bovendien kan de consistentie van de output met meer dan de helft afnemen tijdens het proces.

Om dit gedrag te onderzoeken, introduceert het onderzoek een methode genaamd sharding*, die volledig gespecificeerde prompts in kleinere fragmenten splitst en ze een voor een in een conversatie vrijgeeft.

In de meest basale zin is dit equivalent aan het geven van een samenhangende en uitgebreide enkele bestelling in een restaurant, waardoor de ober niets anders hoeft te doen dan de bestelling te bevestigen; of anderszins besluiten om de kwestie samen aan te pakken:

Twee extreme versies van een restaurantconversatie (niet uit het nieuwe onderzoek, voor illustratieve doeleinden alleen).

Om het te benadrukken, kan het bovenstaande voorbeeld de klant mogelijk in een negatief daglicht plaatsen. Maar het centrale idee dat in de tweede kolom wordt weergegeven, is dat van een transactionele uitwisseling die een probleemstelling verduidelijkt voordat het de problemen aanpakt – ogenschijnlijk een rationele en redelijke manier om een taak aan te pakken.

Deze opzet wordt weerspiegeld in de nieuwe benadering van het onderzoek, waarbij een sharded benadering van LLM-interactie wordt gebruikt. De auteurs merken op dat LLM’s vaak te lange antwoorden genereren en vervolgens blijven vertrouwen op hun eigen inzichten zelfs nadat die inzichten onjuist of irrelevant zijn gebleken. Deze neiging, in combinatie met andere factoren, kan ertoe leiden dat het systeem het spoor van de uitwisseling helemaal verliest.

In feite merken de onderzoekers op wat veel van ons anekdotisch hebben ontdekt – dat de beste manier om de conversatie weer op het juiste spoor te krijgen, is om een nieuwe conversatie met de LLM te starten.

‘Als een conversatie met een LLM niet tot de verwachte resultaten leidt, kan het starten van een nieuwe conversatie die dezelfde informatie herhaalt, aanzienlijk betere resultaten opleveren dan het voortzetten van een lopende conversatie.

‘Dit komt doordat huidige LLM’s verloren kunnen raken in de conversatie, en onze experimenten laten zien dat het voortzetten van een conversatie met het model ineffectief is. Bovendien, aangezien LLM’s tekst genereren met randomisatie, kan een nieuwe conversatie tot betere resultaten leiden.’

De auteurs erkennen dat agente-systemen zoals Autogen of LangChain de resultaten mogelijk kunnen verbeteren door te fungeren als interpretatieve lagen tussen de eindgebruiker en de LLM, alleen communicerend met de LLM wanneer ze voldoende ‘sharded’ antwoorden hebben verzameld om samen te smelten tot een enkele samenhangende query (die de eindgebruiker niet zal zien).

Maar de auteurs zijn van mening dat een aparte abstractie-laag niet nodig zou moeten zijn, of anderszins rechtstreeks in de bron-LLM zou moeten worden ingebouwd:

‘Een argument kan worden aangevoerd dat multi-turn-capaciteiten geen noodzakelijke functie van LLM’s zijn, aangezien ze kunnen worden uitbesteed aan het agent-framework. Met andere woorden, hebben we native multi-turn-ondersteuning in LLM’s nodig wanneer een agent-framework interacties met gebruikers kan orkestreren en LLM’s alleen als single-turn-operators kan gebruiken?…’

Maar na het testen van de stelling over hun reeks voorbeelden, concluderen ze:

‘[Afhankelijkheid] van een agent-achtig framework om informatie te verwerken, kan beperkend zijn, en wij betogen dat LLM’s native multi-turn-interactie moeten ondersteunen’

Dit interessante nieuwe onderzoek heeft als titel LLM’s Raken Verloren In Multi-Turn Conversaties en komt van vier onderzoekers uit MS Research en Salesforce,

Gefragmenteerde Conversaties

De nieuwe methode splitst conventionele single-turn-instructies eerst in kleinere shards, ontworpen om op sleutelmomenten tijdens een LLM-interactie te worden geïntroduceerd, een structuur die de exploratieve, heen-en-weer-stijl van betrokkenheid weerspiegelt die wordt gezien in systemen zoals ChatGPT of Google Gemini.

Elke oorspronkelijke instructie is een enkele, zelfstandige prompt die de hele taak in één keer levert, waaronder een hoog niveau vraag, ondersteunende context en eventuele relevante voorwaarden. De sharded versie splitst dit in meerdere kleinere delen, waarbij elke shard slechts één stukje informatie toevoegt:

Gepaarde instructies die (a) een complete prompt tonen die in één beurt wordt geleverd en (b) de sharded versie die wordt gebruikt om een onderspecificeerde, multi-turn interactie te simuleren. Semantisch gezien levert elke versie dezelfde informatieve lading.

De eerste shard introduceert altijd het hoofddoel van de taak, terwijl de rest verduidelijkende details bieden. Samen leveren ze dezelfde inhoud als de oorspronkelijke prompt, maar verspreid over meerdere beurten in de conversatie.

Elke gesimuleerde conversatie vindt plaats tussen drie componenten: de assistant, het model dat wordt geëvalueerd; de gebruiker, een gesimuleerde agent met toegang tot de volledige instructie in sharded vorm; en de systeem, die de uitwisseling bewaakt en scoort.

De conversatie begint met de gebruiker die de eerste shard onthult en de assistant die vrij antwoordt. Het systeem classificeert vervolgens die reactie in een van de verschillende categorieën, zoals een verduidelijkingsverzoek of een volledige antwoordpoging.

Als het model wel een antwoordpoging doet, haalt een aparte component alleen het relevante deel voor evaluatie op, waarbij omringende tekst wordt genegeerd. Bij elke nieuwe beurt onthult de gebruiker een extra shard, waardoor een andere reactie ontstaat. De uitwisseling gaat door totdat het model het antwoord goed krijgt of totdat er geen shards meer zijn om te onthullen:

Diagram van een sharded conversatie-simulatie, met het geëvalueerde model gemarkeerd in rood.

Vroege tests toonden aan dat modellen vaak vroegen naar informatie die nog niet was gedeeld, dus lieten de auteurs het idee varen om shards in een vaste volgorde te onthullen. In plaats daarvan werd een simulator gebruikt om te beslissen welke shard het volgende te onthullen was, op basis van hoe de conversatie verliep.

De gebruiker-simulator, geïmplementeerd met GPT-4o-mini, had volledige toegang tot zowel de volledige instructie als de conversatiegeschiedenis en kreeg de taak om bij elke beurt te beslissen welke shard het volgende te onthullen was, op basis van hoe de uitwisseling verliep.

De gebruiker-simulator herformuleerde elke shard om de conversatie-stroom te behouden, zonder de betekenis te veranderen. Dit stelde de simulatie in staat om de ‘geef-en-neem’ van echte dialoog weer te geven, terwijl de controle over de taakstructuur werd behouden.

Voordat de conversatie begint, krijgt de assistant alleen de basisinformatie die nodig is om de taak te voltooien, zoals een databaseschema of een API-referentie. Het wordt niet verteld dat de instructies zullen worden opgesplitst en het wordt niet geleid naar een specifieke manier van omgaan met de conversatie. Dit gebeurt met opzet: in real-world-gebruik worden modellen bijna nooit verteld dat een prompt onvolledig of bijgewerkt zal worden over tijd, en het weglaten van deze context helpt de simulatie om weer te geven hoe het model zich in een meer realistische context gedraagt.

GPT-4o-mini werd ook gebruikt om te beslissen hoe de antwoorden van het model zouden worden geclassificeerd en om eventuele finale antwoorden uit die antwoorden te halen. Dit hielp de simulatie flexibel te blijven, maar introduceerde af en toe fouten: echter, na het handmatig controleren van enkele honderden conversaties, vonden de auteurs dat minder dan vijf procent problemen hadden en minder dan twee procent een verandering in resultaat vertoonden als gevolg van hen, en zij beschouwden dit als een laag genoeg foutenpercentage binnen de parameters van het project.

Simulatiescenario’s

De auteurs gebruikten vijf soorten simulaties om het modelgedrag onder verschillende omstandigheden te testen, elk een variatie op hoe en wanneer delen van de instructie worden onthuld.

In de Volledige instelling ontvangt het model de volledige instructie in één beurt. Dit vertegenwoordigt het standaard benchmark-formaat en dient als de prestatie-baselinie.

De Sharded instelling splitst de instructie in meerdere stukken en levert ze een voor een, simulerend een meer realistische, onderspecificeerde conversatie. Dit is de hoofdinstelling die wordt gebruikt om te testen hoe goed modellen multi-turn-input verwerken.

In de Concat instelling worden de shards samengevoegd tot een enkele lijst, waarbij de woording wordt behouden, maar de beurt-voor-beurt-structuur wordt verwijderd. Dit helpt om de effecten van conversatie-fragmentatie te isoleren van herformulering of inhoudsverlies.

De Recap instelling werkt als Sharded, maar voegt een laatste beurt toe waarin alle voorgaande shards opnieuw worden gesteld voordat het model een definitief antwoord geeft. Dit test of een samenvatting-prompt kan helpen om verloren context te herstellen.

Tenslotte gaat Snowball verder door alle voorgaande shards op elke beurt te herhalen, waardoor de volledige instructie zichtbaar blijft terwijl de conversatie verloopt – en biedt een meer vergevingsgezinde test van multi-turn-capaciteit.

Simulatietypes op basis van sharded instructies. Een volledig gespecificeerde prompt wordt gesplitst in kleinere delen, die vervolgens kunnen worden gebruikt om óf single-turn (Volledige, Concat) óf multi-turn (Sharded, Recap, Snowball) conversaties te simuleren, afhankelijk van hoe snel de informatie wordt onthuld.

Taken en Metrieken

Zes generatie-taken werden gekozen om zowel programmeren als natuurlijke taal-domeinen te dekken: code-generatie-prompts werden genomen van HumanEval en LiveCodeBench; Text-to-SQL-queries werden afgeleid van Spider; API-aanroepen werden geconstrueerd met behulp van gegevens van de Berkeley Function Calling Leaderboard; elementaire wiskunde-problemen werden geleverd door GSM8K; tabel-captioning-taken waren gebaseerd op ToTTo; en multi-document-samenvattingen werden getrokken uit de Summary of a Haystack-dataset.

Model-prestaties werden gemeten met behulp van drie kernmetrieken: gemiddelde prestatie, vaardigheid en onbetrouwbaarheid.

Gemiddelde prestatie ving de algehele prestatie van een model over meerdere pogingen; vaardigheid weerspiegelde de beste resultaten die een model kon bereiken, gebaseerd op zijn beste scores; en onbetrouwbaarheid mat hoeveel die resultaten varieerden, met grotere kloven tussen beste en slechtste resultaten die minder stabiel gedrag aangaven.

Alle scores werden op een schaal van 0-100 geplaatst om consistentie over taken te waarborgen, en metrieken werden berekend voor elke instructie – en vervolgens gemiddeld om een algehele beeld van model-prestaties te geven.

Zes sharded taken die in de experimenten worden gebruikt, die zowel programmeren als natuurlijke taal-generatie dekken. Elke taak wordt getoond met een volledig gespecificeerde instructie en zijn sharded versie. Tussen de 90 en 120 instructies werden aangepast van gevestigde benchmarks voor elke taak.

Deelnemers en Tests

In de initiële simulaties (met een geschatte kosten van $5000), werden 600 instructies die zes taken omvatten, gesplitst en gebruikt om drie conversatie-types te simuleren: volledige, concat en sharded. Voor elke combinatie van model, instructie en simulatie-type, werden tien conversaties uitgevoerd, waardoor meer dan 200.000 simulaties ontstonden – een schema dat het mogelijk maakte om zowel de algehele prestatie als diepere metrieken van vaardigheid en betrouwbaarheid te meten.

Vijftien modellen werden getest, die een breed scala aan aanbieders en architectuur omvatten: de OpenAI-modellen GPT-4o (versie 2024-11-20), GPT-4o-mini (2024-07-18), GPT-4.1 (2025-04-14), en het denkmodel o3 (2025-04-16).

Anthropic-modellen waren Claude 3 Haiku (2024-03-07) en Claude 3.7 Sonnet (2025-02-19), toegankelijk via Amazon Bedrock.

Google droeg Gemini 2.5 Flash (preview-04-17) en Gemini 2.5 Pro (preview-03-25) bij. Meta-modellen waren Llama 3.1-8B-Instruct en Llama 3.3-70B-Instruct, evenals Llama 4 Scout-17B-16E, via Together AI.

De andere inzendingen waren OLMo 2 13B, Phi-4, en Command-A, allemaal toegankelijk via Ollama of Cohere API; en Deepseek-R1, toegankelijk via Amazon Bedrock.

Voor de twee ‘denk’-modellen (o3 en R1), werden tokenlimieten verhoogd tot 10.000 om langere redeneringsketens te accommoderen:

Gemiddelde prestatiescores voor elk model over zes taken: code, database, acties, data-naar-tekst, wiskunde en samenvatting. Resultaten worden getoond voor drie simulatie-types: volledige, concat en sharded. Modellen zijn gerangschikt op hun gemiddelde volledige instellingsscore. Schaduwen weerspiegelen de mate van prestatieafname van de volledige instelling, met de laatste twee kolommen die gemiddelde dalingen voor concat en sharded ten opzichte van volledige melden.

Met betrekking tot deze resultaten, verklaren de auteurs^†:

‘Op hoog niveau, zien alle modellen hun prestaties afnemen op elke taak wanneer FULL en SHARDED prestaties worden vergeleken, met een gemiddelde afname van -39%. We noemen dit fenomeen Verloren in Conversatie: modellen die uitstekende (90%+) prestaties behalen in de lab-achtige setting van volledig gespecificeerde, single-turn conversaties, worstelen op dezelfde taken in een meer realistische setting wanneer de conversatie onderspecificeerd en multi-turn is.’

Concat scores gemiddeld 95 procent van volledige, wat aangeeft dat de prestatieafname in de sharded instelling niet kan worden verklaard door informatie-verlies. Kleine modellen zoals Llama3.1-8B-Instruct, OLMo-2-13B en Claude 3 Haiku toonden meer uitgesproken afname onder concat, wat suggereert dat kleinere modellen over het algemeen minder robuust zijn tegen herformulering dan grotere modellen.

De auteurs merken op^†:

‘Verwacht, presteren betere modellen (Claude 3.7 Sonnet, Gemini 2.5, GPT-4.1) even slecht in conversaties als kleinere modellen (Llama3.1-8B-Instruct, Phi-4), met gemiddelde afnames van 30-40%. Dit is deels te wijten aan metrische definities. Aangezien kleinere modellen lagere absolute scores behalen in FULL, hebben ze minder ruimte voor afname dan de betere modellen.

‘Kortom, hoe sterk de single-turn-prestatie van een LLM ook is, we observeren grote prestatieafnames in de multi-turn-instelling.’

De initiële test geeft aan dat sommige modellen beter presteerden in specifieke taken: Command-A op Acties, Claude 3.7 Sonnet en GPT-4.1 op code; en Gemini 2.5 Pro op Data-naar-tekst, wat aangeeft dat multi-turn-capaciteit varieert per domein. Redeneringsmodellen zoals o3 en Deepseek-R1 presteerden niet beter over het algemeen, mogelijk omdat hun langere antwoorden meer aannamen, die de conversatie neigden te verwarren.

Betrouwbaarheid

De relatie tussen vaardigheid en betrouwbaarheid, duidelijk in single-turn-simulaties, leek uit elkaar te vallen onder multi-turn-omstandigheden. Terwijl vaardigheid slechts bescheiden afnam, verdubbelde onbetrouwbaarheid gemiddeld. Modellen die stabiel waren in volledige prompts, zoals GPT-4.1 en Gemini 2.5 Pro, werden net zo willekeurig als zwakkere modellen zoals Llama3.1-8B-Instruct of OLMo-2-13B zodra de instructie gefragmenteerd was.

Overzicht van vaardigheid en onbetrouwbaarheid, zoals weergegeven in een boxplot (a), gevolgd door betrouwbaarheidsresultaten uit experimenten met vijftien modellen (b), en resultaten uit de geleidelijke sharding-test waarin instructies werden gesplitst in één tot acht shards (c).

Model-antwoorden varieerden vaak zo veel als 50 punten op dezelfde taak, zelfs wanneer niets nieuws werd toegevoegd, wat suggereert dat de daling in prestatie niet te wijten was aan een gebrek aan vaardigheid, maar aan het feit dat het model steeds onstabiler werd over beurten.

Het onderzoek stelt^†:

‘[Hoewel] betere modellen de neiging hebben om iets hogere multi-turn-vaardigheid te hebben, hebben alle modellen die we testen vergelijkbare niveaus van onbetrouwbaarheid. Met andere woorden, in multi-turn, onderspecificeerde instellingen, vertonen alle modellen die we testen zeer hoge onbetrouwbaarheid, met prestaties die 50 procentpunten afnemen tussen de beste en slechtste gesimuleerde run voor een vaste instructie.’

Om te testen of prestatieafname was gekoppeld aan het aantal beurten, voerden de auteurs een geleidelijke sharding-experiment uit, waarbij elke instructie werd gesplitst in één tot acht shards (zie rechterkolom in bovenstaande afbeelding).

Naarmate het aantal shards toenam, steeg onbetrouwbaarheid gestaag, waardoor werd bevestigd dat zelfs kleine toenames in beurtentelling modellen onstabiler maken. Vaardigheid bleef grotendeels ongewijzigd, waardoor werd bevestigd dat het probleem ligt in consistentie, niet in vaardigheid.

Temperatuurbeheersing

Een aparte reeks experimenten testte of onbetrouwbaarheid slechts een bijproduct was van randomisatie. Om dit te doen, varieerden de auteurs de temperatuurinstelling van zowel de assistant als de gebruiker-simulator over drie waarden: 1,0, 0,5 en 0,0.

In single-turn-formaten zoals volledige en concat verbeterde het verlagen van de temperatuur van de assistant de betrouwbaarheid aanzienlijk, waardoor de variatie met tot 80 procent werd verlaagd; maar in de sharded instelling had dezelfde interventie weinig effect:

Onbetrouwbaarheidsscores voor verschillende combinaties van assistant- en gebruikerstemperatuur over volledige, concat en sharded instellingen, met lagere waarden die grotere responsconsistentie aangeven.

Zelfs toen zowel de assistant als de gebruiker waren ingesteld op nul temperatuur, bleef onbetrouwbaarheid hoog, met GPT-4o die variatie vertoonde van ongeveer 30 procent, wat suggereert dat de instabiliteit die wordt waargenomen in multi-turn-conversaties niet alleen stochastische ruis is, maar een structurele zwakte in hoe modellen gefragmenteerde input verwerken.

Implicaties

De auteurs schrijven over de implicaties van hun bevindingen op ongebruikelijke lengte aan het einde van het onderzoek, waarin wordt gesteld dat sterke single-turn-prestaties geen garantie bieden voor multi-turn-betrouwbaarheid, en waarschuwen tegen te veel vertrouwen op volledig gespecificeerde benchmarks bij het evalueren van real-world-klaarheid (aangezien dergelijke benchmarks instabiliteit in meer natuurlijke, gefragmenteerde interacties maskeren).

Zij suggereren ook dat onbetrouwbaarheid niet alleen een steekproef-artefact is, maar een fundamentele beperking in hoe huidige modellen evoluerende input verwerken, en stellen dat dit zorgen baart voor agent-frameworks, die afhankelijk zijn van duurzame redenering over beurten.

Tenslotte betogen zij dat multi-turn-capaciteit moet worden behandeld als een kerncapaciteit van LLM’s, niet als iets dat kan worden uitbesteed aan externe systemen.

De auteurs merken op dat hun resultaten waarschijnlijk onderschatten de werkelijke omvang van het probleem, en wijzen op de ideale omstandigheden van de test: de gebruiker-simulator in hun opstelling had volledige toegang tot de instructie en kon shards in een optimale volgorde onthullen, wat de assistant een onrealistisch gunstige context gaf (in real-world-gebruik geven gebruikers vaak gefragmenteerde of dubbelzinnige prompts zonder te weten wat het model nodig heeft om te horen).

Bovendien werd de assistant onmiddellijk na elke beurt geëvalueerd, voordat de volledige conversatie zich ontvouwde, waardoor later verwarring of tegenstrijdigheid niet werd bestraft, wat de prestaties nog verder zou verslechteren. Deze keuzes, hoewel noodzakelijk voor experimentele controle, betekenen dat de waargenomen betrouwbaarheidskloven in de praktijk waarschijnlijk groter zullen zijn dan die welke worden gerapporteerd.

Zij concluderen:

‘[We] geloven dat de uitgevoerde simulaties een gunstige testomgeving voor LLM-multi-turn-capaciteiten vertegenwoordigen. Omdat vanwege de overmatig vereenvoudigde omstandigheden van de simulatie, geloven we dat de in de experimenten waargenomen degradatie een onderschatting is van LLM-onbetrouwbaarheid, en hoe vaak LLM’s verloren raken in conversaties in real-world-omgevingen.‘

Conclusie

Iedereen die een aanzienlijke hoeveelheid tijd heeft doorgebracht met een LLM, zal waarschijnlijk de problemen herkennen die hier worden geformuleerd, uit praktische ervaring; en de meesten van ons, denk ik, hebben intuïtief ‘verloren’ LLM-conversaties opgegeven voor nieuwe, in de hoop dat de LLM ‘opnieuw kan beginnen’ en ophoudt met obsessie over materiaal dat in een lange, winderige en steeds frustrerender wordende uitwisseling is opgekomen.

Het is interessant om op te merken dat het werpen van meer context op het probleem het probleem mogelijk niet noodzakelijkerwijs oplost; en inderdaad om op te merken dat het onderzoek meer vragen oproept dan het antwoorden geeft (behalve in termen van manieren om het probleem te omzeilen).

* Verwarrend, dit is niet gerelateerd aan de conventionele betekenis van ‘sharding’ in AI.

† Auteurs’ eigen nadruk.

Eerst gepubliceerd op maandag 12 mei 2025