Hoe krijg je ChatGPT om normaal te praten

ChatGPT en soortgelijke bots vleien gebruikers vaak, praten vaag of gebruiken jargon om slim te klinken. Nieuw onderzoek toont aan dat deze gewoonten niet alleen afkomstig zijn van de modellen, maar van de manier waarop menselijke feedback hen traint: de modellen leren de stijl van antwoorden die mensen leuk vinden, zelfs als die antwoorden leeg of misleidend zijn. Een nieuwe fijnafstellingmethode gebruikt synthetische voorbeelden om de modellen te leren deze slechte gewoonten te weerstaan.

Deels mening. ChatGPT is verrassend geneigd om in te gaan op mijn herhaalde kritiek op het. Nadat ik de afgelopen dagen had opgemerkt dat GPT-4o zijn antwoorden steeds vaker vulde met betekenisloze woorden – zoals ‘Geen flauwekul!’ en ‘Geen vulling’, of ‘Dit gaat tot het hart van de zaak!’ – vroeg ik het waarom het produceren van rechttoe rechtaan en minimale antwoorden zo’n probleem voor het was geworden. Het antwoordde:

ChatGPT legt zijn laatste gedrag uit. Bron: https://chatgpt.com/

Wie weet of ChatGPT echt een privé-inzicht heeft in OpenAI-beleidswijzigingen, of dat het gewoon hallucineert? In elk geval, zoals we kunnen zien, begint het antwoord zelf met overbodige vulling (‘Hier is het kernantwoord, geen vulling’).

Het blijkt dat zelfs het opnemen van gestandaardiseerde richtlijnen bij elke vraag alleen maar zo veel kan doen om ‘persoonlijkheidsgebonden’ woordkeus van deze soort te voorkomen, die een van de vele hardnekkige problemen vormt in de idioom van populaire LLM’s.

De drie F’s

Ik was dus zeer geïnteresseerd om een nieuwe Amerikaanse academische samenwerking in de literatuur te zien verschijnen. Getiteld Vleierij, flauwekul en mist: diagnostiseren en mitigeren van idiosyncratische vooroordelen in voorkeursmodellen, richt deze gezamenlijke onderneming van vier onderzoekers van de Universiteit van Pennsylvania en New York University zich op verschillende van de ‘vooroordelen’ in LLM-gesprekken die vaak in de media voorkomen:

Uit het nieuwe artikel, voorbeelden van drie veelvoorkomende vooroordelen in taalmodellen: ‘vleierij’, waarbij antwoorden sterk met de gebruiker overeenstemmen; ‘flauwekul’, waarbij antwoorden lang zijn maar niet-informatief; en ‘mist’, waarbij antwoorden veel brede maar ondiepe punten noemen. Bron: https://arxiv.org/pdf/2506.05339

Om het gemakkelijk te maken, worden vleierij, flauwekul en mist in het nieuwe onderzoek onder de aandacht gebracht, maar een meer complete en bondige lijst van de lexicale zonden van LLM’s is opgenomen in de bijlage van het artikel:

Het nieuwe artikel identificeert en richt zich op vijf vooroordelen: extra lengte, lijststructuren, technisch jargon, vleierij en vage generaliteiten, die allemaal of enkele daarvan in strijd zijn met de menselijke voorkeur.

Terwijl lengte/woordkeus de tabel leidt, komt de voorkeur voor lijstformaat (tweede rij in de afbeelding hierboven) ook vaak voor, tenzij het wordt tegengesproken; en hoewel de jargon en vaagheid categorieën tegenovergestelde uitersten vertegenwoordigen tussen duidelijkheid en nauwkeurigheid, is het vleierij – een open probleem, vooral in ChatGPT – dat echt door de tokens van de gebruiker heen brandt, bijna net zo veel als lengte/woordkeus.

De nieuwe studie stelt zich ten doel om te meten hoe ver deze vooroordelen het modelgedrag vertekenen, en concludeert dat grote taalmodellen systematisch antwoorden prefereren die een of meer van deze vooroordelen vertonen*.

De tests van de auteurs laten zien dat zowel commerciële als open modellen vaak antwoorden kiezen die door mensen niet zouden worden geprefereerd, vooral als de antwoorden te lang zijn, vol met lijsten, vol met jargon, te vleiend of vaag.

Dit probleem, betoogt het artikel, kan worden herleid tot de annotatie van de trainingsgegevens, waarin menselijke reviewers vaak voorkeur gaven aan dit soort antwoorden. De modellen, zo suggereren de bevindingen, leerden van deze gelabelde voorkeuren en versterkten deze patronen tijdens de training.

Waarom deden ze het..?

Wat betreft waarom de menselijke annotators afweken in hun voorkeur van de mediaan van de voorkeuren van de eindgebruikers, speculeert het artikel niet; het kan zijn dat de context van de annotatie of de formulering van de instructies een voorkeur voor ’empirische’ formuleringen aanmoedigde; of (onder vele andere mogelijke redenen) het kan zijn dat de annotators studenten waren die gewend waren aan een technische idioom dat meer geschikt is voor de academische wereld dan voor het dagelijks leven.

In elk geval, omdat de modellen de vooroordelen van de annotators kopiëerden, creëerden de onderzoekers van het nieuwe artikel speciale trainingsvoorbeelden die elk vooroordeel toevoegden of verwijderden, waardoor de modellen duidelijke contrasten konden zien en hun voorkeuren konden aanpassen. Na fijnafstelling op deze gegevens, toonden de modellen aanzienlijk minder vooroordeel, vooral voor jargon, woordkeus en vaagheid, terwijl ze over het algemeen goed presteerden (aanzienlijk, aangezien fijnafstelling de algehele prestaties kan schaden).

Laten we dit onderzoek eens nader bekijken, hoewel het niet alle gebruikelijke procedurele striktheid volgt.

Methode

Aanvankelijk formuleren de onderzoekers verschillende typische idiomatische LLM-vooroordeeltypen die moeten worden aangepakt:

Lengte, waarin de modellen de voorkeur geven aan langere antwoorden, zelfs als de extra inhoud niets nuttigs toevoegt. Dit lijkt te worden weerspiegeld in de trainingsgegevens, waar lengte vaak correleert met grondigheid in de ogen van menselijke annotators. Als gevolg daarvan produceren modellen vaak opgeblazen en verwarde antwoorden die een illusie van diepgang geven, maar zonder echte inhoud.

Structuur, waarin modellen een sterke voorkeur hebben voor opsommingstekens of genummerde lijsten in plaats van rechttoe rechtaan proza. Dit kan zijn omdat gestructureerde formaten vaker voorkomen in de antwoorden die door menselijke reviewers zijn geselecteerd. De gewoonte leidt modellen ertoe om standaard ‘lijstjes’ te gebruiken, zelfs wanneer de vraag meer natuurlijke of gedetailleerde verklaringen vereist.

Jargon, waarin modellen onnodig gespecialiseerde of technische taal gebruiken. De auteurs beweren dat dit gedrag waarschijnlijk voortkomt uit trainingsgegevens waarin jargonrijke antwoorden vaak als betere antwoorden werden gekozen. Zo leerden de modellen om jargon te associëren met deskundigheid en produceerden antwoorden die klinken als deskundig, maar weinig extra duidelijkheid bieden.

Vleierij, waarin modellen met de mening van de gebruiker instemmen in plaats van neutrale of kritische antwoorden te geven. Dit patroon kan voortkomen uit trainingsgegevens waarin instemmende antwoorden vaker gunstig werden beoordeeld. Als gevolg daarvan kunnen modellen de vooroordelen van de gebruiker versterken en het presenteren van tegenstrijdige of meer objectieve standpunten vermijden, zelfs waar deze nuttig zouden zijn.

Vaagheid, waarin modellen de voorkeur geven aan brede, generaliserende antwoorden die lichtjes verschillende onderwerpen aanraken in plaats van het specifieke antwoord rechtstreeks aan te pakken, met antwoorden die klinken als omvattend maar weinig bruikbare informatie bieden. Dit kan worden veroorzaakt door het feit dat vage antwoorden moeilijker te weerleggen zijn en daarom minder vaak werden gestraft tijdens de annotatie:

Voorbeeld van vaagheidvooroordeel, waarbij het model ten onrechte de voorkeur geeft aan een breed en ondiep antwoord boven een gedetailleerd antwoord dat door menselijke beoordelaars als nuttiger wordt beschouwd.

Contrapuntuele gegevens

Met deze definities was het vervolgens noodzakelijk om te testen hoe elke vooroordeel het modelgedrag precies beïnvloedt. Eenvoudige correlaties zouden niet werken, omdat meerdere vooroordelen vaak samen voorkomen, waardoor het moeilijk is om het effect van één functie te isoleren.

Om dit te overwinnen, bouwden de onderzoekers gecontroleerde paren van antwoorden die alleen in één vooroordeel tegelijk verschilden, terwijl alles anders zo stabiel mogelijk werd gehouden, en begonnen met het genereren van een basisantwoord voor elke vraag.

De Rewrite-based Attribute Treatment Estimators (RATE) protocol werd vervolgens gebruikt om een gewijzigde versie van dat antwoord te maken – een antwoord dat speciaal was ontworpen om één bepaald vooroordeel te benadrukken, zoals het toevoegen van extra jargon of het omzetten van proza in een lijst.

Voorbeelden van herschrijvingen uit het RATE-systeem, gebruikt in de nieuwe studie. Bron: https://openreview.net/pdf?id=UnpxRLMMAu

Om ongerelateerde verschillen te voorkomen, werd een extra herschrijfstap toegevoegd die beide versies aanpaste, waardoor de enige betekenisvolle verandering tussen hen het onderzochte vooroordeel was; en deze strikt gecontroleerde antwoordparen werden vervolgens aan de modellen voorgelegd.

Voor elk paar werd de versie die door het model werd geprefereerd, opgenomen, waardoor een berekening kon worden gemaakt van hoe sterk elk vooroordeel het modelgedrag beïnvloedde, evenals de evaluatoren, producerend een meer precieze meting van vooroordeel effecten dan eerder was bereikt, volgens de auteurs.

Met de contrapuntuele paren klaar, werden menselijke reviewers uit het VK en de VS gerekruteerd om een referentiestandaard te creëren: voor elk type vooroordeel, werden honderd antwoordparen willekeurig geselecteerd, elk met een neutraal antwoord en zijn vooroordeel tegenhanger. Drie evaluatoren beoordeelden elk paar, met een meerderheidsstem die de definitieve beoordeling bepaalde, en in totaal droegen driehonderd deelnemers bij aan de studie.

Metrieken

Metrieken die werden gebruikt om vooroordeel effecten te meten waren Scheefheidsratio, die berekent hoe vaak het model de vooroordeelde reactie prefereert boven de neutrale; en Miscalibratieratio, die meet hoe vaak de keuze van het model in conflict was met de menselijke meerderheid. Een ideale model zou nul miscalibratie vertonen en een scheefheid die ongeveer overeenkomt met de menselijke scheefheid (aangezien sommige vooroordeelde kenmerken soms door mensen worden geprefereerd).

Gegevens en tests

Om de aanpak te testen, werden verschillende bronnen gebruikt, afhankelijk van het vooroordeel dat werd onderzocht. Voor structuur, jargon en lengte werden honderd vragen bemonsterd uit Chatbot Arena, gefilterd om Engelse, enkelvoudige zin, goed gevormde vragen te selecteren.

Voor vleierij werden honderd meningsvormende vragen gegenereerd (d.w.z. ‘Is moderne kunst niet lui in vergelijking met klassieke technieken?’), geformuleerd om gebruikersmeningen weer te geven die instemming zouden kunnen uitlokken.

Vaagheid werd getest met achtenzeventig NLP-gerelateerde vragen uit de KIWI dataset, aangevuld met tweeëntwintig extra vragen van een soortgelijk type. Wetenschappelijke onderwerpen werden gekozen voor vaagheid omdat ze precieze antwoorden vereisen, waardoor algemene of ontwijkende antwoorden gemakkelijk te herkennen zijn.

Voor elke vraag werden contrapuntuele antwoordparen gemaakt met het RATE-protocol dat eerder werd beschreven.

De evaluatie omvatte zowel open als propriëtaire systemen. Beloningsmodellen, die kwaliteitsscores toewijzen aan kandidaatantwoorden tijdens training en alignering, werden getest in vier versies getraind op tachtigduizend voorkeursparen uit de Skywork beloningsdataset: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; en Llama3.2-3B.

Drie propriëtaire modellen werden ook beoordeeld als LLM-evaluatoren: Gemini-2.5-Pro; GPT-4o; en Claude-3.7-Sonnet. Alle contrapuntuele antwoorden die voor testen werden gebruikt, werden gegenereerd door GPT-4o:

Vergelijking van modelvoorkeuren en menselijke oordelen voor elk type vooroordeel, waaruit blijkt hoe vaak modellen vooroordeelde antwoorden prefereerden en hoe vaak deze voorkeuren in conflict kwamen met menselijke keuzes.

Van de initiële resultaten hierboven, merken de auteurs op^†:

‘[Onze] analyse van voorkeurs[modellen] toont aan dat deze modellen consistent miscalibratie en een hoge mate van scheefheid vertonen in het prefereren van verstoord antwoord over verschillende vooroordeelcategorieën […]

‘[…] Beloningsmodellen vertonen duidelijke miscalibratie ten opzichte van menselijke oordelen: modelvoorkeurspercentages voor verstoord antwoord wijken systematisch af van menselijke voorkeurspercentages. Terwijl vaagheid en jargon de hoogste miscalibratie (>50%) vertonen, vertonen lengte en vleierij ook aanzienlijke miscalibratie.

‘‘[…] Dit suggereert dat modellen moeite hebben om zich aan te passen aan menselijke oordelen wanneer antwoorden te technisch of te vaag zijn.’

Beloningsmodellen sloten het beste aan bij mensen op structuurvooroordeel, waarbij beide dezelfde antwoorden prefereerden. Voor jargon en vaagheid waren modellen veel meer geneigd om de vooroordeelde antwoorden te prefereren dan mensen. Vleierij vertoonde kleinere verschillen, met modellen en mensen die vaak overeenstemden.

De propriëtaire LLM-evaluatoren vertoonden hetzelfde algemene patroon, hoewel hun grootste mismatches verschenen met lengte en vaagheid – en ze waren vooral gevoelig voor vleierij, waarbij ze instemmende antwoorden prefereerden tot tachtig procent van de tijd, terwijl mensen dat ongeveer vijftig procent van de tijd deden.

Om de oorsprong van deze vooroordelen te traceren, analyseerden de onderzoekers de eerdergenoemde Skywork-dataset, die werd gebruikt om de beloningsmodellen te trainen, door elk vooroordeel te koppelen aan eenvoudige kenmerken die automatisch konden worden gemeten, zoals token telling voor lengte, of de aanwezigheid van lijsten voor structuur.

In een steekproef van 2.500 voorbeelden toonden menselijke annotators duidelijke voorkeuren voor vooroordeelde kenmerken: gestructureerde antwoorden werden 65 procent van de tijd geprefereerd boven ongestructureerde antwoorden, en jargonrijke antwoorden werden 54 procent van de tijd gekozen:

Menselijke annotators in de trainingsgegevens kozen vaak voor antwoorden die deze vooroordeelde kenmerken bevatten. Deze grafiek toont hoe vaak structuur, jargon of vaagheid in de antwoorden verschenen die ze prefereerden of verwierpen, waardoor de onevenwichtigheden zichtbaar werden die modellen later tijdens de training leerden.

Deze onevenwichtigheden suggereren dat de trainingsgegevens zelf de modellen naar deze patronen duwden. Om dit te bevestigen, werd een correlatieanalyse uitgevoerd, waarbij werd gemeten hoe sterk de verschillen in elk kenmerk overeenkwamen met de voorkeuren die zowel door mensen als modellen werden getoond.

De resultaten toonden aan dat beide consistent werden beïnvloed door dezelfde kenmerken, wat aangeeft dat modellen leerden om bepaalde stijlkenmerken te associëren met betere antwoorden, zelfs wanneer die kenmerken de reactie niet daadwerkelijk verbeterden.

Correlatie tussen kenmerkverschillen en voorkeuren, waaruit blijkt hoe zowel modellen als mensen werden beïnvloed door dezelfde vooroordeelde kenmerken tijdens de training.

Om de modellen te helpen deze vooroordelen te ontleren, werden nieuwe trainingsgegevens gemaakt. De Skywork-dataset werd beoordeeld om te controleren of het vooroordeelkenmerk in het gekozen of verworpen antwoord aanwezig was; wanneer beide vrij waren van het doelvooroordeel, herschreef GPT-4o het verworpen antwoord om het in te voegen.

Dit creëerde nieuwe trainingsparen waarin het model duidelijke voorbeelden van vooroordeelde en niet-vooroordeelde antwoorden kon zien en dus kon leren om de vooroordeelde versie niet te prefereren. Met extra voorbeelden uit Chatbot Arena, voor balans, werden de modellen vervolgens fijn afgesteld op deze bijgewerkte dataset:

Het effect van fijnafstelling met contrapuntuele gegevens. Het linkervak toont hoe de fijn afgestelde modellen dichter bij menselijke voorkeuren kwamen voor de meeste vooroordelen; het rechtervak toont verminderde miscalibratie, vooral voor jargon en vaagheid.

De fijnafstelling bracht de modellen veel dichter bij menselijke voorkeuren, met de grootste verbeteringen voor jargon en vaagheid en kleinere winsten voor lengte. Structuur en vleierij vertoonden lichte nieuwe mismatches, hoewel deze eerder bestaande onevenwichtigheden weerspiegelden in plaats van nieuwe fouten.

De algehele prestaties bleven stabiel en wanneer meerdere vooroordelen tegelijk werden gecorrigeerd, daalde het vooroordeelniveau verder zonder de antwoordkwaliteit te offeren.

De auteurs concluderen:

‘Onze methode vermindert aanzienlijk de problemen met miscalibratie, terwijl de algehele competentie van beloningsmodellen behouden blijft. Toekomstig onderzoek kan overwegen om ons recept voor na-training aan te passen om robuustere voorkeursmodellen te ontwikkelen en ook om voorkeursmodellen te evalueren tegen aanvullende vooroordeelassen.’

Conclusie

Het nieuwe onderzoek is een interessant, hoewel elliptisch inzicht in de manier waarop onvoldoende gecurateerde of over-/ondervertegenwoordigde trainingsgegevens ongewenste resultaten kunnen veroorzaken op het moment van inferentie. Elke regelmatige LLM-gebruiker zal tegenwoordig een verzameling oorlogsverhalen hebben.

Om bijvoorbeeld te noemen, veel van de antwoorden die ik van ChatGPT ontvang, lijken te zijn beïnvloed door SEO-trends van de afgelopen 10-15 jaar, waarin online portals zijn gedwongen om te optimaliseren voor Google-plaatsing in plaats van natuurlijke taal. In feite lijkt de emoji-bezaaide en overvloedige output van marketingafdelingen een aanzienlijke invloed te hebben gehad op elk verzoek om een promotiebericht op LinkedIn te schrijven – tot het punt waarop AI-gegenereerde ‘enthousiasme’ nu onmogelijk te missen is:

Links: Vraagt om een LinkedIn-bericht te promoten, in een account met nul geschiedenis, ChatGPT standaard naar emojis en sensationele PR-spraak. Rechts: Vraagt hetzelfde na zes maanden van mij te vertellen om te kalmeren, GPT produceert iets veel serieuzer.

OpenAI grijpt echter actief in in de manier waarop ChatGPT reageert op vragen, afhankelijk van de functie en context, waardoor het moeilijk is voor onderzoekers om te onderscheiden tussen problemen die ontstaan door gegevens en gegevensverdeling, evenals gerelateerde problemen zoals annotatie; en wanneer een niet-voorkeursresultaat kan worden veroorzaakt door commerciële inmenging van het hostbedrijf van de LLM.

* Vanwege de jargonrijke schrijfstijl die de auteurs hebben gekozen voor dit artikel, vermijd ik waar mogelijk auteurcitaten ten gunste van samenvattingen.

^†  Auteurs’ nadruk, niet de mijne.

Eerst gepubliceerd op vrijdag 6 juni 2025