Varför språkmodeller tappar bort sig i samtal

En ny rapport från Microsoft Research och Salesforce visar att även de mest avancerade stora språkmodellerna (LLM) bryter samman när instruktioner ges i etapper snarare än allt på en gång. Författarna fann att prestandan försämras med i genomsnitt 39 procent över sex uppgifter när en prompt delas upp över flera turordningar:

Ett enskilt tur-samtal (vänster) ger de bästa resultaten, men är onaturligt för slutanvändaren. Ett multi-tur-samtal (höger) visar att även de högst rankade och mest presterande LLM:erna förlorar den effektiva impulsen i ett samtal. Källa: https://arxiv.org/pdf/2505.06120

Mer anmärkningsvärt är att tillförlitligheten i svaren tar en nosedive, med prestigefyllda modeller som ChatGPT-4.1 och Gemini 2.5 Pro som svänger mellan nästan perfekta svar och uppenbara misslyckanden, beroende på hur samma uppgift är formulerad; dessutom kan utdatakonsekvensen minska med mer än hälften under processen.

För att undersöka detta beteende introducerar rapporten en metod som kallas sharding*, som delar upp fullt specificerade promptrar i mindre fragment och släpper ut dem en i taget i ett samtal.

I de mest grundläggande termerna är detta ekvivalent med att ge en sammanhållen och omfattande enskild beställning på en restaurang, och lämna väntaren med ingenting att göra än att erkänna begäran; eller också bestämma sig för att angripa saken samarbetande:

Två extrema versioner av ett restaurangssamtal (inte från den nya rapporten, endast för illustrativa syften).

För tydlighet kanske exemplet ovan sätter kunden i ett negativt ljus. Men den grundläggande idén som avbildas i den andra kolumnen är den om en transaktionell utbyte som förtydligar ett problemuppsättning, före att ta itu med problemen – uppenbarligen ett rationellt och rimligt sätt att närma sig en uppgift.

Denna inställning återspeglas i den nya arbets sharded tillvägagångssätt för LLM-interaktion. Författarna noterar att LLM:er ofta genererar överdrivet långa svar och sedan fortsätter att förlita sig på sina egna insikter även efter att dessa insikter har visat sig vara felaktiga eller irrelevanta. Denna tendens, i kombination med andra faktorer, kan orsaka att systemet förlorar spåret av utbytet helt.

I själva verket noterar forskarna vad många av oss har funnit anekdotiskt – att det bästa sättet att få samtalet tillbaka på rätt spår är att starta ett nytt samtal med LLM:

‘Om ett samtal med en LLM inte ledde till förväntade resultat, kan startandet av ett nytt samtal som upprepar samma information ge betydligt bättre resultat än att fortsätta ett pågående samtal.’

‘Detta beror på att nuvarande LLM:er kan bli vilse i samtalet, och våra experiment visar att att fortsätta i ett samtal med modellen är ineffektivt. Dessutom, eftersom LLM:er genererar text med slumpmässighet, kan ett nytt samtal leda till förbättrade resultat.’

Författarna erkänner att agenssystem som Autogen eller LangChain kan potentiellt förbättra resultaten genom att fungera som tolkningslager mellan slutanvändaren och LLM, endast kommunicerar med LLM när de har samlat tillräckligt med ‘sharded’ svar för att koagulera till en enda sammanhållen fråga (som slutanvändaren inte kommer att exponeras för).

Men författarna hävdar att ett separat abstraktionslager inte bör vara nödvändigt, eller så bör det byggas direkt in i käll-LLM:

‘Ett argument kan göras att multi-turn-funktioner inte är en nödvändig funktion i LLM:er, eftersom det kan avlastas till agentramverket. Med andra ord, behöver vi naturlig multi-turn-stöd i LLM:er när ett agentramverk kan orkestrera interaktioner med användare och utnyttja LLM:er endast som single-turn-operatörer?…’

Men efter att ha testat påståendet över deras array av exempel, drar de slutsatsen:

‘[Att förlita sig] på ett agent-liknande ramverk för att bearbeta information kan vara begränsande, och vi hävdar att LLM:er bör naturligt stödja multi-turn-interaktion’

Denna intressanta nya rapport heter LLM:er som går vilse i multi-turn-samtal, och kommer från fyra forskare över MS Research och Salesforce,

Fragmenterade samtal

Den nya metoden delar först upp konventionella single-turn-instruktioner i mindre fragment, utformade för att introduceras vid nyckelmoment under en LLM-interaktion, en struktur som återspeglar den utforskande, fram- och tillbaka-stilen av engagemang som ses i system som ChatGPT eller Google Gemini.

Varje ursprunglig instruktion är en enda, självinnehållande prompt som levererar hela uppgiften på en gång, som kombinerar en högnivåfråga, stödande sammanhang och eventuella relevanta villkor. Den sharded versionen bryter detta ned i flera mindre delar, med varje fragment som lägger till bara en bit information:

Parade instruktioner som visar (a) en fullständig prompt som levereras i en enda tur och (b) dess sharded version som används för att simulera ett underspecificeerat, multi-turn-samtal. Semantiskt levererar varje version samma informationsinnehåll.

Det första fragmentet introducerar alltid huvudmålet för uppgiften, medan resten tillhandahåller förtydligande detaljer. Tillsammans levererar de samma innehåll som den ursprungliga prompten, men spridda naturligt över flera turordningar i samtalet.

Varje simulerat samtal utvecklas mellan tre komponenter: assistenten, modellen som utvärderas; användaren, en simulerad agent med tillgång till den fullständiga instruktionen i sharded form; och systemet, som invigilates och poängsätter utbytet.

Samtalet börjar med att användaren avslöjar det första fragmentet och assistenten svarar fritt. Systemet klassificerar sedan svaret i en av flera kategorier, som en förtydligande begäran eller en fullt svarsförsök.

Om modellen gör ett svarsförsök, extraherar en separat komponent endast den relevanta delen för utvärdering, och ignorerar all omgivande text. På varje ny turordning avslöjar användaren ett ytterligare fragment, vilket utlöser ett annat svar. Utbytet fortsätter tills antingen modellen får rätt svar eller det inte finns några fler fragment att avslöja:

<img class=" wp-image-217459" src="https://www.unite.ai/wp-content/uploads/2025/05/simulating-sharded-conversations.jpg" alt="Diagram över en simulerad sharded konversation, med den utvärderade modellen markerad i rött.” width=”906″ height=”265″ /> Diagram över en simulerad sharded konversation, med den utvärderade modellen markerad i rött.

Tidiga tester visade att modeller ofta frågade om information som inte hade delats ännu, så författarna övergav idén att avslöja fragment i en fast ordning. Istället användes en simulator för att bestämma vilket fragment som skulle avslöjas härnäst, baserat på hur samtalet gick.

Användarsimulatoren, implementerad med GPT-4o-mini, fick full tillgång till både den fullständiga instruktionen och samtalshistoriken, och uppgiften att bestämma, vid varje turordning, vilket fragment som skulle avslöjas härnäst, baserat på hur utbytet utvecklades.

Användarsimulatoren omformulerade också varje fragment för att upprätthålla samtalflödet, utan att ändra meningen. Detta tillät simuleringen att återspegla ‘ge och ta’ i verkligt samtal, samtidigt som kontrollen över uppgiftsstrukturen behölls.

Innan samtalet börjar får assistenten endast den grundläggande informationen som behövs för att slutföra uppgiften, som en databasschema eller en API-referens. Den informeras inte om att instruktionerna kommer att delas upp, och den vägleds inte mot något specifikt sätt att hantera samtalet på. Detta görs med flit: i verkliga tillämpningar är modeller nästan aldrig informerade om att en prompt kommer att vara ofullständig eller uppdaterad över tid, och att utelämna detta sammanhang hjälper simuleringen att återspegla hur modellen beter sig i ett mer realistiskt sammanhang.

GPT-4o-mini användes också för att bestämma hur modellens svar skulle klassificeras, och för att dra ut eventuella slutliga svar från dessa svar. Detta hjälpte simuleringen att förbli flexibel, men introducerade ibland fel: men efter att ha kontrollerat flera hundra samtal för hand, fann författarna att färre än fem procent hade några problem, och färre än två procent visade en förändring i resultat på grund av dem, och de ansåg att detta var en tillräckligt låg felgrad inom ramen för projektet.

Simulerings scenarier

Författarna använde fem typer av simulering för att testa modellbeteende under olika förhållanden, var och en en variation på hur och när delar av instruktionen avslöjas.

I Full inställningen får modellen hela instruktionen i en enda turordning. Detta representerar den standardmässiga benchmark-formaten och fungerar som prestandabasen.

Sharded inställningen delar upp instruktionen i flera delar och levererar dem en i taget, simulerande ett mer realistiskt, underspecificeerat samtal. Detta är den primära inställningen som används för att testa hur väl modeller hanterar multi-turn-inmatning.

I Concat inställningen sys fragmenten samman till en enda lista, bevarande deras formulering men avlägsnande tur-för-tur-strukturen. Detta hjälper till att isolera effekterna av samtalfragmentisering från omformulering eller innehållsförlust.

I Recap inställningen körs som Sharded, men lägger till en sista turordning där alla tidigare fragment återges innan modellen ger ett slutgiltigt svar. Detta testar om en sammanfattningsprompt kan hjälpa till att återvinna förlorad kontext.

Slutligen, Snowball går längre genom att upprepa alla tidigare fragment på varje turordning, hållande hela instruktionen synlig medan samtalet utvecklas – och erbjuder ett mer förlåtande test av multi-turn-förmåga.

<img class=" wp-image-217460" src="https://www.unite.ai/wp-content/uploads/2025/05/simulation-types.jpg" alt="Simuleringstyper baserade på sharded instruktioner. En fullt specificerad prompt delas upp i mindre delar, som sedan kan användas för att simulera antingen single-turn (Full, Concat) eller multi-turn (Sharded, Recap, Snowball) samtal, beroende på hur snabbt informationen avslöjas.” width=”839″ height=”410″ /> Simuleringstyper baserade på sharded instruktioner. En fullt specificerad prompt delas upp i mindre delar, som sedan kan användas för att simulera antingen single-turn (Full, Concat) eller multi-turn (Sharded, Recap, Snowball) samtal, beroende på hur snabbt informationen avslöjas.

Uppgifter och mått

Sex genereringsuppgifter valdes för att täcka både programmering och naturligt språkdomäner: kodsamtalsprompt togs från HumanEval och LiveCodeBench; Text-till-SQL-frågor togs från Spider; API-anrop konstruerades med data från Berkeley Function Calling Leaderboard; grundläggande matematikproblem tillhandahölls av GSM8K; tabellbeskrivningsuppgifter baserades på ToTTo; och multi-dokumentsammanfattningar togs från Summary of a Haystack dataset.

Modellprestanda mättes med tre kärnmått: genomsnittlig prestanda, lämplighet och otillförlitlighet.

Genomsnittlig prestanda fångade hur väl en modell gjorde överallt över flera försök; lämplighet reflekterade de bästa resultaten en modell kunde uppnå, baserat på dess bästa poängsatta utdata; och otillförlitlighet mätte hur mycket dessa resultat varierade, med större luckor mellan bästa och sämsta resultat som indikerade mindre stabil beteende.

Alla poäng sattes på en skala 0-100 för att säkerställa konsekvens över uppgifter, och mått beräknades för varje instruktion – och sedan genomsnittligt för att ge en övergripande bild av modellprestanda.

<img class=" wp-image-217462" src="https://www.unite.ai/wp-content/uploads/2025/05/code.jpg" alt="Sex sharded uppgifter som användes i experimenten, som täcker både programmering och naturligt språkgenerering. Varje uppgift visas med en fullt specificerad instruktion och dess sharded version. Mellan 90 och 120 instruktioner anpassades från etablerade benchmark för varje uppgift.” width=”863″ height=”500″ /> Sex sharded uppgifter som användes i experimenten, som täcker både programmering och naturligt språkgenerering. Varje uppgift visas med en fullt specificerad instruktion och dess sharded version. Mellan 90 och 120 instruktioner anpassades från etablerade benchmark för varje uppgift.

Tävlande och tester

I de första simuleringarna (med en uppskattad kostnad på 5000 dollar) delades 600 instruktioner över sex uppgifter upp och användes för att simulera tre samtalstyper: full, concat och sharded. För varje kombination av modell, instruktion och simuleringstyp kördes tio samtal, vilket resulterade i över 200 000 simuleringar – ett schema som gjorde det möjligt att fånga både övergripande prestanda och djupare mått på lämplighet och tillförlitlighet.

Femton modeller testades, som spände över en bred range av leverantörer och arkitekturer: OpenAI-modellerna GPT-4o (version 2024-11-20), GPT-4o-mini (2024-07-18), GPT-4.1 (2025-04-14), och tänkande modellen o3 (2025-04-16).

Anthropic-modellerna var Claude 3 Haiku (2024-03-07) och Claude 3.7 Sonnet (2025-02-19), som nåddes via Amazon Bedrock.

Google bidrog med Gemini 2.5 Flash (preview-04-17) och Gemini 2.5 Pro (preview-03-25). Meta-modellerna var Llama 3.1-8B-Instruct och Llama 3.3-70B-Instruct, samt Llama 4 Scout-17B-16E, via Together AI.

De andra posterna var OLMo 2 13B, Phi-4 och Command-A, som alla nåddes lokalt via Ollama eller Cohere API; och Deepseek-R1, som nåddes via Amazon Bedrock.

För de två ‘tänkande’ modellerna (o3 och R1) höjdes tokenbegränsningarna till 10 000 för att tillgodose längre resonemangs kedjor:

Genomsnittliga prestandapoäng för varje modell över sex uppgifter: kod, databas, åtgärder, data-till-text, matematik och sammanfattning. Resultat visas för tre simuleringstyper: full, concat och sharded. Modellerna är ordnade efter deras genomsnittliga full-inställningsscore. Skuggning reflekterar graden av prestandaförsämring från full inställning, med de två sista kolumnerna som rapporterar genomsnittliga nedgångar för concat och sharded i förhållande till full.

Med avseende på dessa resultat, förklarar författarna^†:

‘På en hög nivå, varje modell ser sin prestanda försämras på varje uppgift när man jämför FULL och SHARDED prestanda, med en genomsnittlig försämring på -39%. Vi kallar detta fenomen Förlorade i samtal: modeller som uppnår strålande (90%+) prestanda i laboratorie-liknande inställningar för fullt specificerade, single-turn samtal kämpar på exakt samma uppgifter i en mer realistisk inställning när samtalet är underspecificeerat och multi-turn.’

Concat poäng genomsnittligt 95 procent av full, vilket indikerar att prestandaförsämringen i den sharded inställningen inte kan förklaras av informationsförlust. Mindre modeller som Llama3.1-8B-Instruct, OLMo-2-13B och Claude 3 Haiku visade mer uttalad försämring under concat, vilket tyder på att mindre modeller generellt är mindre robusta mot omformulering än större modeller.

Författarna observerar^†:

‘Förvånansvärt, mer presterande modeller (Claude 3.7 Sonnet, Gemini 2.5, GPT-4.1) blir lika förlorade i samtal jämfört med mindre modeller (Llama3.1-8B-Instruct, Phi-4), med genomsnittliga försämringar på 30-40%. Detta beror delvis på måttdefinitioner. Eftersom mindre modeller uppnår lägre absoluta poäng i FULL, har de mindre utrymme för försämring än de bättre modellerna.

‘I korthet, oavsett hur stark en LLM:s single-turn prestanda är, observerar vi stora prestandaförsämringar i multi-turn-inställningen.’

Den initiala testen indikerar att vissa modeller höll sig bättre i specifika uppgifter: Command-A på åtgärder, Claude 3.7 Sonnet och GPT-4.1 på kod; och Gemini 2.5 Pro på data-till-text, vilket tyder på att multi-turn-förmåga varierar med domän. Resonemodsmodeller som o3 och Deepseek-R1 klarade sig inte bättre överallt, kanske för att deras längre svar introducerade fler antaganden, som tenderade att förvirra samtalet.

Tillförlitlighet

Förhållandet mellan lämplighet och tillförlitlighet, tydligt i single-turn-simuleringar, tycks bryta samman under multi-turn-förhållanden. Medan lämplighet försämrades endast måttligt, dubblades otillförlitligheten i genomsnitt. Modeller som var stabila i full-format-promptrar, som GPT-4.1 och Gemini 2.5 Pro, blev lika oregelbundna som svagare modeller som Llama3.1-8B-Instruct eller OLMo-2-13B, så snart instruktionen fragmenterades.

Översikt av lämplighet och otillförlitlighet, visas i en boxplot (a), följt av otillförlitlighetsresultat från experiment med femton modeller (b), och resultat från den gradvisa sharding-testen där instruktioner delades upp i ett till åtta fragment (c).

Modellsvaren varierade ofta så mycket som 50 poäng på samma uppgift, även när ingenting nytt lades till, vilket tyder på att prestandaförsämringen inte berodde på brist på färdighet, utan på att modellen blev alltmer instabil över turordningar.

Rapporten förklarar^†:

‘[Även om] bättre modeller tenderar att ha något högre multi-turn-lämplighet, tenderar alla modeller att ha liknande nivåer av otillförlitlighet. Med andra ord, i multi-turn, underspecificeerade inställningar, visar alla modeller vi testar mycket hög otillförlitlighet, med prestanda som försämras 50 poäng i genomsnitt mellan det bästa och sämsta simulerade företaget för en fast instruktion.’

För att testa om prestandaförsämringen var kopplad till antalet turordningar, körde författarna ett gradvis sharding-experiment, där varje instruktion delades upp i ett till åtta fragment (se högersta kolumnen i bilden ovan).

När antalet fragment ökade, ökade otillförlitligheten stadigt, vilket bekräftar att även små ökningar i turordningsantal gjorde modellerna mer instabila. Lämpligheten förblev i stort sett oförändrad, vilket förstärkte att problemet ligger i konsekvens, inte förmåga.

Temperaturreglering

En separat uppsättning experiment testade om otillförlitlighet enbart var en biprodukt av slumpmässighet. För att göra detta, varierade författarna temperaturinställningen för både assistenten och användarsimulatoren över tre värden: 1,0, 0,5 och 0,0.

I single-turn-format som full och concat förbättrades tillförlitligheten avsevärt när assistentens temperatur minskades, vilket minskade variationen med så mycket som 80 procent; men i sharded inställningen hade samma ingrepp liten effekt:

Otillförlitlighetspoäng för olika kombinationer av assistent- och användartemperatur över full, concat och sharded inställningar, med lägre värden som indikerar större svarskonsekvens.

Även när både assistenten och användaren ställdes in på noll temperatur, förblev otillförlitligheten hög, med GPT-4o som visade variation runt 30 procent, vilket tyder på att instabiliteten som observerades i multi-turn-samtal inte enbart var slumpmässig brus, utan en strukturell svaghet i hur modeller hanterar fragmenterad inmatning.

Konsekvenser

Författarna skriver om konsekvenserna av sina fynd på ett ovanligt långt sätt i rapportens slutsats, och hävdar att stark single-turn-prestanda inte garanterar multi-turn-tillförlitlighet, och varnar för att förlita sig för mycket på fullt specificerade benchmark när man utvärderar verkliga tillämpningar (eftersom sådana benchmark döljer instabilitet i mer naturliga, fragmenterade interaktioner).

De föreslår också att otillförlitlighet inte enbart är en sampelartefakt, utan en grundläggande begränsning i hur nuvarande modeller bearbetar utvecklande inmatning, och de föreslår att detta väcker oro för agentramverk, som förlitar sig på varaktig resonemang över turordningar.

Slutligen hävdar de att multi-turn-förmåga bör behandlas som en kärnförmåga hos LLM:er, inte något som avlastas till externa system.

Författarna noterar att deras resultat sannolikt underskattar den verkliga omfattningen av problemet, och riktar uppmärksamheten mot de idealiska förhållandena i testet: användarsimulatoren i deras inställning hade full tillgång till instruktionen och kunde avslöja fragment i en optimal ordning, vilket gav assistenten en orealistiskt gynnsam kontext (i verklig användning tillhandahåller användare ofta fragmenterade eller tvetydiga promptrar utan att veta vad modellen behöver höra härnäst).

Dessutom utvärderades assistenten omedelbart efter varje turordning, innan det fullständiga samtalet utvecklades, och förhindrade att senare förvirring eller självmotsägelse skulle bestraffas, vilket annars skulle ha försämrat prestandan. Dessa val, som var nödvändiga för experimentell kontroll, innebär att de observerade tillförlitlighetsgapen sannolikt är större än de som rapporteras.

De avslutar:

‘[Vi] tror att genomförda simuleringar representerar en välvillig testmiljö för LLM:ers multi-turn-förmåga. Eftersom de förenklade förhållandena i simuleringen, tror vi att den observerade försämringen i experimenten sannolikt är en underskattning av LLM:ers otillförlitlighet, och hur ofta LLM:er förlorar sig i samtal i verkliga inställningar.‘

Slutsats

Den som har tillbringat en betydande mängd tid med en LLM kommer sannolikt att känna igen de problem som formuleras här, från praktisk erfarenhet; och de flesta av oss, tror jag, har intuitivt övergett ‘förlorade’ LLM-samtal för nya, i hopp om att LLM:n kan ‘starta om’ och sluta fastna i ett långt, vindlande och alltmer irriterande utbyte.

Det är intressant att notera att att kasta mer kontext på problemet kanske inte nödvändigtvis löser det; och faktiskt, att observera att rapporten väcker fler frågor än den tillhandahåller svar (förutom i termer av hur man kan gå runt problemet).

* Förvirrande nog, är detta orelaterat till den konventionella betydelsen av ‘sharding’ i AI.

† Författarnas egna fetstil.

Publicerad första gången måndagen den 12 maj 2025