Woordkeuze vermindert de nauwkeurigheid in grote taalmodellen

Nieuw onderzoek toont aan dat het forceren van grote taalmodellen om kortere antwoorden te geven, de nauwkeurigheid en kwaliteit van hun antwoorden aanzienlijk verbetert.

Iedereen die ooit heeft geprobeerd om een chatbot te stoppen met ‘geklets’ zal de conclusies van nieuw onderzoek herkennen: het forceren van AI om kortere antwoorden te geven, maakt het nauwkeuriger.

Het onderzoek onderzocht de redenen waarom grotere AI-chatbots in sommige gevallen (bekend als omgekeerde schaling) slechter presteren dan kleinere modellen. Het onderzoek vond dat het forceren van 31 populaire grote taalmodellen (LLM’s) om kortere antwoorden te geven, leidde tot een verbetering van de nauwkeurigheid van hun antwoorden met maximaal 26,3%:

‘De resultaten bieden overtuigend causaal bewijs: breviteitsbeperkingen verbeterden de nauwkeurigheid van grote modellen met 26,3 procentpunten en verminderden de omgekeerde schalingkloof met 67% (van 44,2% tot 14,8%, gepaard t-test: t = 7,80, p < 0,0001).'

Overmatige woordkeuze is een veelvoorkomende klacht onder eindgebruikers, niet in de laatste plaats onder diegenen die commerciële modellen zoals ChatGPT gebruiken, waar de ondersteuningsforums dit onderwerp frequent aan de orde stellen.

Het domein dat het meest wordt beïnvloed door het verhelpen van woordkeuze in antwoorden is wiskunde, waar de geteste AI’s werden beperkt tot antwoorden van 50 woorden of minder. Voor leesbegrip taken werden ze beperkt tot een enkel woord in hun antwoorden.

Het artikel definieert de neiging van AI tot woordkeuze als overdenken, waarbij de centrale boodschap niet alleen wordt verhuld door woorden, maar soms zelfs nadelig wordt beïnvloed door het. Het artikel stelt dat hoe kleiner het model, hoe minder deze oplossing nodig is of werkt.

Het onderzoek concludeert dat er niets architecturaals is dat moet worden aangepakt om deze oplossing systematisch toe te passen. Echter, in een gebruikerschatsessie zou een richtlijn naar beknopte antwoorden waarschijnlijk moeten worden herhaald, terwijl een globaal toegepaste systeemprompt – die zou moeten worden geïmplementeerd als een technische standaard op platforms zoals ChatGPT – kortere antwoorden als standaardgedrag zou kunnen maken.

Winderige Winden

Niets van dit alles verklaart precies waarom grotere modellen de neiging hebben tot woordkeuze, aangezien dit iets is dat ook open source-modellen beïnvloedt. Het artikel suggereert dat protocollen en gebruikelijke praktijken in Reinforcement Learning from Human Feedback (RLHF) technieken een verklaring kunnen bieden*:

‘Een plausibele oorsprong is RLHF-alignmenttraining, waarbij menselijke annotators grondigheid onevenredig belonen in grotere modellen met grotere capaciteit om op lengtebeloningsignalen te reageren – in overeenstemming met woordkeuzaverschillen die groter zijn in instructie-gefinetuneerde dan basismodelvarianten.

‘Eerder onderzoek documenteert systematische lengtevoorkeur in belonings modellen, waarbij annotators lengte verwarren met kwaliteit.

‘Grotere modellen, met grotere capaciteit om lengtebeloningsignalen te bevredigen, kunnen verbose generatie dieper internaliseren dan kleinere modellen, waardoor de schaalafhankelijke overdenking die we observeren ontstaat.’

Bij mensen kan woordkeuze optreden om een stilte te vullen, of om gevoelens van ongemak te maskeren, vanwege geestelijke gezondheidsproblemen, of om een gebrek aan kennis te verhullen. In feite kan een AI alleen door deze factoren worden beïnvloed door de absorptie van trainingsgegevens die deze trekken weerspiegelen/manifest.

In datasetcorpora bestaan andere motivaties voor uitgebreide antwoorden, zoals de SEO-stimulans om langere tekstinhoud te produceren, bijvoorbeeld in recepten, waarin lengte vaak ten onrechte wordt geassocieerd met autoriteit.

Wat niet volledig kan worden uitgesloten, is dat API-gebaseerde platforms, gestimuleerd om gebruikers naar een hoger en duurder abonnement te duwen, ofwel woordkeuze aanmoedigen of niet toezien, aangezien het tokengebruik vrij goedkoop verhoogt, zonder de noodzaak van excessief redeneren of RAG -aanroepen^†.

Het nieuwe artikel heeft als titel Brevity Constraints Reverse Performance Hierarchies in Language Models en komt uit het Department of Computer Science aan het Sweden Polytechnic Institute in Chattogram, in Bangladesh.

Methode

Om de theorieën van het artikel te testen, werden 31 taalmodellen geëvalueerd – te veel om hier in tekstvorm te noemen, maar afgebeeld in de onderstaande afbeelding;

De grote taalmodellen (LLM’s) getest in verschillende delen van de proeven voor het nieuwe artikel.

De modellen werden geëvalueerd tegen vijf benchmarkcollecties: GSM8K, voor wiskundig redeneren; BoolQ, voor leesbegrip; CommonsenseQA, voor gezond verstand; ARC-Easy, voor wetenschappelijke vragen; en MMLU-STEM, ook voor wetenschappelijke kennis.

Antwoorden werden gegenereerd met gulzig decoderen om deterministische uitvoer te garanderen, en vervolgens met taakspecifieke regels geëxtraheerd, met nauwkeurigheid gemeten als het aandeel correcte antwoorden tegen grondwaarheid.

Modellen werden gesplitst naar grootte, met die onder de 10 miljard parameters behandeld als ‘klein’, en die boven de 70 miljard als ‘groot’, op basis van waargenomen prestatieverschillen.

Omgekeerde schaling werd gekwantificeerd door de prestaties van deze groepen op elk probleem te vergelijken, waarbij gevallen werden gemarkeerd waarin kleinere modellen grotere modellen overtroffen; de statistische effectgrootte werd vervolgens gebruikt om te bevestigen dat deze kloven consistente, betekenisvolle verschillen weerspiegelden in plaats van ruis.

Uitsluiting van Herhaling

Om de mogelijkheid uit te sluiten dat modellen eenvoudigweg trainingsgegevens herhaalden, werden drie afzonderlijke controles uitgevoerd, waarbij werd onderzocht hoe gevarieerd de antwoorden waren; hoeveel hun lengte fluctueerde; en hoe fouten werden gemaakt. Als modellen afhankelijk waren van gememoriseerde patronen, zouden antwoorden de neiging hebben om te herhalen of vaste sjablonen te volgen; in plaats daarvan bleken antwoorden grotendeels uniek te zijn over modellen, met opvallende variatie in lengte, van het ene antwoord naar het andere.

Fouten werden ook rechtstreeks geïnspecteerd, waarbij de meeste fouten de vorm aannamen van lange, onjuiste verklaringen, in plaats van korte, ontwijkende antwoorden – wat aangaf dat de modellen daadwerkelijk redeneren genereerden, in plaats van opgeslagen antwoorden op te halen.

Gegevens en Tests

Bij het testen van individuele vragen in plaats van koploper scores, bleek een groot deel van de benchmarktaken oninformatief te zijn, met 27,1% die niet in staat waren om modellen te onderscheiden, omdat elk systeem slaagde of elk systeem faalde, waardoor er geen echt signaal was over relatieve prestaties;

Probleemniveau-ontbinding over vijf benchmarks toont aan dat een aanzienlijk deel van de taken niet in staat waren om modellen te onderscheiden, terwijl een kleinere maar consistente hoeveelheid omgekeerde schaling vertoonde, waarbij kleinere modellen grotere modellen overtroffen. De algehele verdeling over 1.485 problemen toont aan dat 7,7% omgekeerde schaling vertonen. Bron

Onder de vragen die wel modellen onderscheidden, vertoonden de meeste het verwachte patroon, met grotere systemen die beter presteerden, maar een kleinere groep vertoonde het tegenovergestelde patroon, met kleinere modellen die voorop liepen. Over alle problemen heen vertoonde omgekeerde schaling zich in 7,7% van de gevallen, wat aangaf dat het effect niet marginaal is.

Omgekeerde Schaling naar Voren Komt

Over de vijf benchmarks heen werden 115 problemen gevonden waarbij kleinere modellen grotere modellen overtroffen, wat 7,7% van alle 1.485 taken uitmaakt, wat aangeeft dat omgekeerde schaling geen zeldzame of marginale gebeurtenis is in deze context.

In feite vertoonde het effect zich in elk dataset: het sterkst in BoolQ, en zwakker in CommonsenseQA, ARC-Easy, GSM8K en MMLU-STEM, wat aangeeft dat het een wijdverspreid effect is, maar varieert per taak:

Omgekeerde schaling vertoonde zich over alle benchmarks, variërend van 3,9% in MMLU-STEM tot 11,3% in BoolQ, met 115 problemen in totaal. Prestatiekloven bevoordeelden kleinere modellen met een gemiddelde van 28,4 procentpunten. Nauwkeurigheid daalde naarmate de modelgrootte toenam, met kleine modellen die 66,1% bereikten, in vergelijking met 41,5% voor grotere modellen.

De grootte van de kloof bleek aanzienlijk, met kleinere modellen die voorop liepen met een gemiddelde van 28,4 procentpunten, en elke zaak die dezelfde richting van voordeel vertoonde, wat wees op een consistente daling in prestaties, in plaats van occasionele of ad hoc fouten.

Hetzelfde patroon vertoonde zich over verschillende modelgezinnen, waaronder Llama, Qwen, Gemma en Mistral, waarbij grotere versies onderpresteerden ten opzichte van kleinere modellen, met nauwkeurigheid die de neiging had om te dalen naarmate de modelgrootte toenam op deze problemen.

De kloof tussen kleine en grote modellen was groot genoeg om toeval uit te sluiten; en omdat hetzelfde patroon zich vertoonde over verschillende benchmarks, taken en modelgezinnen, kwam omgekeerde schaling naar voren als een consistente in plaats van een toevallige factor.

Binnen elk modelgezin presteerden grotere versies herhaaldelijk slechter dan kleinere modellen op deze problemen, wat suggereert dat de daling mogelijk aan de schaal zelf is verbonden, in plaats van aan verschillen in ontwerp.

De resultaten wijzen ook op een limiet voor elke taak, waarbij de toename van de modelgrootte de prestaties begint te schaden, wat aangeeft dat grotere modellen niet altijd tot betere resultaten leiden.

Overdenking Onderzoeken

Nadat was vastgesteld dat grotere modellen soms slechter presteren op bepaalde domeinen, richtte de analyse zich op de vraag waarom dit gebeurt, en stelde voor dat het probleem niet een gebrek aan capaciteit is, maar te veel uitleg – d.w.z. gevallen waarin langere antwoorden de juiste redenering beginnen te verhullen.

Over de gegevens heen werden langere antwoorden in verband gebracht met lagere nauwkeurigheid op deze moeilijke problemen, zelfs als grote en kleine modellen ongeveer hetzelfde aantal redeneringsstappen produceerden, wat suggereert dat het probleem niet is hoeveel redenering wordt gedaan, maar hoe het wordt uitgedrukt:

Kortere antwoorden verbeterden de prestaties van grote modellen en verminderden de kloof met kleinere modellen, waardoor het verschil van 44,2 procentpunten tot 14,8 werd teruggebracht (en in sommige gevallen zelfs omgekeerd), terwijl directe antwoordformaten de kloof verder verkleinden. De sterkste verbeteringen vertoonden zich in GSM8K en MMLU-STEM, waar de rangorde ten gunste van grotere modellen omsloeg, en waar antwoordlengtecontroles bevestigden dat de interventie werkte, met uitvoer die daalde van ongeveer 197 tokens tot minder dan 80, waardoor minder woordkeuze in verband werd gebracht met verbeterde nauwkeurigheid.

Wanneer antwoorden werden gedwongen om korter te zijn, verbeterden grote modellen scherp, waardoor een aanzienlijke prestatiekloof werd verkleind, en in sommige gevallen zelfs geëlimineerd. Omgekeerd veranderden kleine modellen nauwelijks, wat aangaf dat woordkeuze actief grote systemen schaadde.

Het effect bleek te variëren per taak, met sommige benchmarks die sterk baat hadden bij kortere antwoorden, en anderen die een zekere mate van uitleg vereisten; maar in verschillende gevallen werd de rangorde tussen kleine en grote modellen volledig omgekeerd zodra woordkeuze werd beperkt, wat aangaf dat grotere modellen verborgen capaciteit hadden die door over-uitweiding werd gemaskeerd.

Verder onderzoek toonde aan dat grote modellen de neiging hadden om langere uitvoer te produceren, ondanks dat ze iets minder expliciete redeneringsstappen gebruikten, wat een meer diffuse en minder gestructureerde stijl van redeneren aangaf.

Omgekeerd gaven kleine modellen kortere, directere antwoorden, wat suggereert dat de manier waarop redenering wordt uitgedrukt, in plaats van de hoeveelheid redenering zelf, de daling in prestaties veroorzaakt.

De auteurs concluderen in het algemeen dat breviteitsbeperkingen nauwkeurigheidsvoordelen opleveren, en overwegen dat dit een fundamentele functie in taalmodellen kan worden, in plaats van een herhaalde, door de gebruiker toegepaste beperking die niet overleeft tussen sessies; en zij stellen:

‘[Brevity] beperkingen helpen grote modellen aanzienlijk, terwijl ze kleine modellen nauwelijks beïnvloeden.

‘Als woordkeuze incidenteel was in plaats van oorzakelijk, zouden uniforme nauwkeurigheidsveranderingen over beide grootteklassen worden verwacht. De differentiële respons bevestigt dat overdenking een schaalafhankelijke foutmodus is, in plaats van een taakmoeilijkheidsfactor.’

Conclusie

Behalve de geteste open source-versies, lijkt het woordkeuze-probleem, anekdotisch, met enige frequentie voor te komen in veel belangrijke modellen, waaronder Claude, Gemini en Grok.

Of deze platforms het woordkeuze-probleem negeren omdat het tokengebruik verhoogt en hogere uitgaven aanmoedigt^†, het lijkt niet redelijk dat ze de daling in nauwkeurigheid die hiermee samenhangt zouden accepteren.

Het zou interessant zijn om te zien of enige empirische methode met zekerheid kan bepalen waar de neiging tot woordkeuze vandaan komt. Iedereen die ooit heeft geprobeerd om een chatbot daadwerkelijk te laten chatten, in plaats van ‘bloggen’ met uitgebreide, meerdere stappen tellende antwoorden aan de gebruiker, zal hebben gerealiseerd dat het model ernstig is geïmpregneerd met ‘alles-in-één’ gebruikershandleidingen en ‘geaccepteerde oplossingen’ in zijn trainingsgegevens.

Het zou dus zeer interessant zijn om te zien of een model dat specifiek is getraind op stap-voor-stap-gesprekken, daadwerkelijk af kan wijken van de uitgebreide, samenvattende neiging. Echter, het lijkt waarschijnlijk dat enige beperkingen of filters zouden moeten worden toegepast op het gewicht dat het model wordt getraind om te geven aan het ‘besloten’ antwoord, zodat het rechtstreeks traint op het voorafgaande materiaal – in wezen, de expliciete redenering die expliciet is in gesprekken op basis van stappen.

Aangezien geschikte gegevens van deze soort waarschijnlijk zeldzaam zijn, is de enige manier om vooruit te komen met deze aanpak mogelijk via synthetische gegevens, waarin ‘samengestelde’ eindconclusies conversatiegewijs worden ontleed – ironisch genoeg, op dezelfde manier als de AI-podcasts die Google NotebookLM kan interpreteren vanuit platte tekstinput.

* Mijn conversie van de inline-citaten van de auteurs naar hyperlinks.

^† Maar laten we eerlijk zijn, het tekort tussen de werkelijke AI-leveringskosten en abonnementskosten is momenteel zo groot dat dit alleen de reputatie van de gebruikersbasis zou schaden zonder de ernstige onderliggende economie van deze fase van de ‘conversie’ en ‘convergentie’ fase van AI op te lossen.

Eerst gepubliceerd op zondag 5 april 2026