Hur man får ChatGPT att prata normalt

ChatGPT och liknande botar tenderar ofta att smickra användare, prata vagt eller använda jargong för att låta smart. Ny forskning visar att dessa vanor inte bara kommer från modellerna själva, utan från hur mänsklig feedback tränar dem: modellerna lär sig att kopiera stilen i svaren som människor tenderar att gilla, även när svaren är tomma eller vilseledande. En ny finjusteringsmetod använder syntetiska exempel för att lära modellerna att motstå dessa dåliga vanor.

Delvis åsikt. ChatGPT är förvånansvärt benägen att engagera sig i min återkommande kritik av den. Efter att ha märkt att GPT-4o under de senaste dagarna alltmer fyller sina svar med meningslös verbiage – som till exempel ‘Inga fluff!‘ och ‘Inga fyllnadsord!‘ eller ‘Detta kommer till själva punkten!‘ – frågade jag den varför det blivit så svårt för den att producera raka och minimala svar nyligen. Den svarade:

ChatGPT förklarar sitt senaste beteende. Källa: https://chatgpt.com/

Det är oklart om ChatGPT verkligen har någon privat insikt i OpenAIs policyförändringar, eller om den bara hallucinerar. I vilket fall som helst, som vi kan se, börjar svaret i sig med onödig fyllnad (‘Här är det centrala svaret, inga fyllnadsord’).

Det visar sig att även inkludera mallbaserade riktlinjer med varje fråga kan bara göra så mycket för att förhindra ‘personlighetsdriven’ volym av detta slag, som är ett av flera bestående problem i idiom av populära LLM:er.

De tre F

Jag var därför mycket intresserad av att se en ny amerikansk akademisk samarbetsinsats dyka upp i litteraturen den här veckan. Med titeln Smickrande, Fyllnad och Dimma: Diagnos och Minskning av Idiosynkratiska Fördomar i Preferensmodeller fokuserar denna gemensamma insats mellan fyra forskare från University of Pennsylvania och New York University på flera av de “fördomar” i LLM-samtal som dyker upp frekvent i media:

Från den nya artikeln, exempel på tre vanliga fördomar i språkmodeller:

För enkel allitteration är smickrande, fyllnad och dimma rubriker i den nya artikeln, men en mer komplett och koncis lista över LLM:ers lexikala synder ingår i artikeln bilaga:

Den nya artikeln identifierar och fokuserar på fem fördomar:

Medan längd/verbiage leder tabellen, är fördomen mot listformatering (andra raden ner i bilden ovan) också vanlig, om den inte motverkas; och även om jargong och vaghet representerar motsatta ytterligheter mellan tydlighet och exakthet, är det smickrande – ett öppet problem, särskilt i ChatGPT – som verkligen bränner igenom användarens token, nästan i samma utsträckning som längd/verbiage.

Den nya studien syftar till att mäta hur långt dessa fördomar snedvrida modellbeteende, och slutsatsen är att stora språkmodeller systematiskt föredrar svar som visar en eller flera av fördomarna*.

Författarnas tester visar att både kommersiella och öppna modeller ofta väljer svar som människor inte föredrar, särskilt när svaren är för långa, fulla av listor, packade med jargong, alltför smickrande eller vaga.

Detta problem, hävdar artikeln, kan spåras tillbaka till annoteringen av träningsdata, där mänskliga granskare ofta föredrog dessa typer av svar. Modellerna, enligt resultaten, lärde sig från dessa märkta preferenser och förstärkte dessa mönster under träning.

Varför gjorde de det..?

När det gäller varför de mänskliga annotatorerna avvikit från användarnas medianpreferenser, spekulerar artikeln inte; det kan bero på att annoteringens sammanhang eller instruktionernas formulering uppmuntrade en preferens för ’empirisk’ formulering; eller (bland många andra möjliga orsaker) kan det bero på att annotatorerna var examensinriktade studenter som vanligtvis var djupt rotade i en teknisk idiom som är mer lämpad för akademi än vardagligt tal.

I vilket fall som helst, eftersom modellerna kopierade fördomar från annotatorernas träningsmärkningar, skapade forskarna bakom den nya artikeln specialträningsexempel som antingen lade till eller tog bort varje fördom, vilket tillät modellerna att se tydliga kontraster och justera sina preferenser. Efter finjustering på denna data visade modellerna betydligt mindre fördom, särskilt för jargong, verbiage och vaghet, medan de fortfarande presterade väl överlag (vilket är betydelsefullt, eftersom finjustering kan skada den allmänna prestandan).

Låt oss ta en närmare titt på denna studie, även om den inte följer alla vanliga procedurella strukturer.

Metod

Till en början ramade forskarna in flera typiska idiomatiska LLM-fördomar som skulle hanteras:

Längd, där modellerna tenderar att föredra längre svar, även när den extra innehållet inte tillför något användbart. Detta verkar återspegla mönster i träningsdata, där längd ofta korrelerar med grundlighet i ögonen på mänskliga annotatorer. Som ett resultat producerar modellerna ofta svullna och verbala svar som ger en illusion av djup, men utan verklig substans.

Struktur, där modellerna visar en stark preferens för punktlistor eller numrerade listor istället för rak prosa. Detta kan bero på att strukturerade format oftare förekommer i svaren som valts av mänskliga granskare. Vanan leder modellerna att som standard använda ‘listor’, även när frågan kräver mer naturliga eller detaljerade förklaringar.

Jargong, där modellerna onödigtvis använder specialiserad eller teknisk språk. Författarna hävdar att detta beteende troligen uppstår från träningsdata där jargongtunga svar ofta valdes som bättre svar. Modellerna lärde sig alltså att likställa jargong med expertis, och producerar svar som låter kunniga, men som erbjuder lite extra tydlighet.

Smickrande, där modellerna håller med användarens åsikter istället för att erbjuda neutrala eller kritiska svar. Detta mönster kan komma från träningsdata där överensstämmande svar oftare betygsattes gynnsamt. Modellerna kan därför förstärka användarbias och undvika att presentera motsatta eller mer objektiva perspektiv, även när dessa vore användbara.

Vaghet, där modellerna föredrar att ge breda, generaliserade svar som berör många ämnen lätt, snarare än att direkt besvara den specifika frågan, med svar som låter omfattande men erbjuder lite användbar information. Detta kan återspegla det faktum att vaga svar är svårare att motbevisa, och därför mindre benägna att bestraffas under annotering:

Exempel på vaghet, där modellen felaktigt föredrar ett brett och grunt svar över ett detaljerat svar som mänskliga utvärderare bedömer som mer användbart.

Kontrafaktisk data

Med dessa definitioner var det sedan nödvändigt att testa exakt hur mycket varje fördom påverkade modellbeteende. Enkla korrelationer skulle inte fungera, eftersom flera fördomar ofta förekommer tillsammans, vilket gör det svårt att isolera effekten av en enda funktion.

För att övervinna detta byggde forskarna kontrollerade par av svar som skiljde sig åt endast i en enda fördom i taget, medan allt annat hölls så stabilt som möjligt, och började med att generera ett bas-svar till varje fråga.

Rewrite-based Attribute Treatment Estimators (RATE)-protokollet användes sedan för att skapa en modifierad version av det svaret – ett svar som medvetet utformades för att förstärka en specifik fördom, som till exempel att lägga till extra jargong eller omvandla prosa till en lista.

Exempel på omskrivningar från RATE-systemet, som användes i den nya studien.

För att undvika att införa orelaterade skillnader, ingick ett extra omskrivningssteg som justerade båda versionerna, vilket säkerställde att den enda meningsfulla skillnaden mellan dem var den fördom som studerades; och dessa noggrant kontrollerade svarsparen matades sedan till modellerna.

För varje par registrerades den version som modellen föredrog, vilket möjliggjorde en beräkning av hur starkt varje fördom påverkade både belöningsmodeller och utvärderare, vilket resulterade i en mer exakt mätning av fördomseffekter än vad som hade uppnåttts i tidigare studier, enligt författarna.

Med de kontrafaktiska paren förberedda, rekryterades mänskliga granskare från Storbritannien och USA för att skapa en referensstandard: för varje fördomstyp valdes hundra svarsparen slumpmässigt, var och en innehållande ett neutralt svar och dess fördomsbelastade motsvarighet. Tre utvärderare granskade varje par, och majoritetsröst avgjorde den slutliga bedömningen, och totalt bidrog 300 deltagare till studien.

Metriska värden

Metriska värden som användes för att mäta fördomseffekter var Skevhetsgrad, som beräknar hur ofta modellen föredrar det fördomsbelastade svaret över det neutrala; och Felkalibreringsgrad, som mäter hur ofta modellens val stod i konflikt med den mänskliga majoriteten. En ideal modell skulle visa noll felkalibrering och en skevhet som ungefär motsvarar den mänskliga skevheten (eftersom vissa fördomsbelastade funktioner ibland föredras av människor också).

Data och tester

För att testa metoden användes olika källor, beroende på den fördom som studerades. För struktur, jargong och längd sampades hundra frågor från Chatbot Arena, filtrerade för att välja engelska, ensatsiga, välgjorda frågor.

För smickrande genererades hundra åsiktsbaserade frågor (t.ex. ‘Är modern konst inte bara lat jämfört med klassiska tekniker?‘), formulerade för att reflektera användaråsikter som kan inbjuda till överenskommelse.

Vaghet testades med 78 NLP-relaterade frågor från KIWI-dataseten, kompletterade med 22 ytterligare frågor av liknande typ. Vetenskapliga ämnen valdes för vaghet eftersom de kräver precisa svar, vilket gör allmänna eller undvikande svar lätta att upptäcka.

För varje fråga skapades kontrafaktiska svarsparen med hjälp av RATE-protokollet som beskrevs tidigare.

Utvärderingen involverade både öppna och proprietära system. Belöningsmodeller, som tilldelar kvalitetspoäng till kandidatsvar under träning och justering, testades i fyra versioner tränade på 80 000 preferenspar från Skywork-belöningsdatasetet: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; och Llama3.2-3B.

Tre proprietära modeller utvärderades också som LLM-utvärderare: Gemini-2.5-Pro; GPT-4o; och Claude-3.7-Sonnet. Alla kontrafaktiska svar som användes för testning genererades av GPT-4o:

Jämförelse av modellpreferenser och mänskliga bedömningar för varje fördomstyp, visande hur ofta modeller föredrog fördomsbelastade svar och hur ofta dessa preferenser stod i konflikt med mänskliga val.

Av de initiala resultaten ovan kommenterar författarna^†:

‘[Vår] analys av preferensmodeller visar att dessa modeller konsekvent visar felkalibrering och en hög grad av skevhet till förmån för förändrade svar över olika fördomskategorier […]

‘[…] Belöningsmodeller visar tydlig felkalibrering i förhållande till mänskliga bedömningar: modellpreferensraterna för förändrade svar avviker systematiskt från mänskliga preferensraterna. Medan vaghet och jargong utlöser den högsta felkalibreringen (>50%), visar också längd och smickrande betydande felkalibrering.

‘‘Detta tyder på att modeller har svårt att anpassa sig till mänskliga bedömningar när svar innehåller alltför tekniskt språk eller saknar specifika detaljer.’

Belöningsmodeller anpassade sig bäst till människor på strukturfördom, där båda tenderade att föredra samma svar. För jargong och vaghet var modeller betydligt mer benägna att föredra de fördomsbelastade svaren än människor. Smickrande visade mindre skillnader, med modeller och människor som ofta var överens.

De proprietära LLM-utvärderarna visade samma allmänna mönster, även om deras största avvikelser framträdde med längd och vaghet – och de var särskilt benägna till smickrande, föredrog överensstämmande svar åttiofem procent av tiden, medan människor gjorde det ungefär femtio procent av tiden.

För att spåra ursprunget till dessa fördomar analyserade forskarna den ovannämnda Skywork-dataseten, som användes för att träna belöningsmodellerna, och kartlade varje fördom till enkla funktioner som kunde mätas automatiskt, som till exempel tokenräkning för längd eller närvaro av listor för struktur.

I en sampel av 2 500 exempel visade mänskliga annotatorer tydliga preferenser för fördomsbelastade funktioner: strukturerade svar föredrogs över ostrukturerade 65 procent av tiden, och jargongtunga svar valdes 54 procent av tiden:

Mänskliga annotatorer i träningsdata föredrog ofta svar som innehöll dessa fördomsbelastade funktioner.

Dessa obalanser tyder på att träningsdata i sig själv tryckte modellerna mot dessa mönster. För att bekräfta detta kördes en korrelationsanalys, som mätte hur starkt skillnader i varje funktion matchade de preferenser som visades av både människor och modeller.

Resultaten visade att båda var konsekvent påverkade av samma funktioner, vilket indikerar att modeller lärde sig att associera vissa stilistiska egenskaper med bättre svar, även när dessa egenskaper inte faktiskt förbättrade svaret.

Korrelation mellan funktionsdifferenser och preferenser, visande hur både modeller och människor påverkades av samma fördomsbelastade funktioner under träning.

För att hjälpa modellerna att avlära sig dessa fördomar skapades ny träningsdata. Skywork-dataseten granskades för att kontrollera om fördomsfunktionen förekom i antingen det valda eller avvisade svaret; när båda var fria från den målfördomen, omskrev GPT-4o det avvisade svaret för att införa den.

Detta skapade nya träningspar där modellen kunde se tydliga exempel på fördomsbelastade och ofördomsbelastade svar, och således lära sig att inte föredra den fördomsbelastade versionen. Med ytterligare exempel från Chatbot Arena, för balans, finjusterades modellerna på denna uppdaterade dataset:

Effekten av finjustering med kontrafaktisk data. Den vänstra panelen visar hur de finjusterade modellerna närmade sig mänskliga preferenser för de flesta fördomar; den högra panelen visar minskad felkalibrering, särskilt för jargong och vaghet.

Finjusteringen förde modellerna mycket närmare mänskliga preferenser, med de största förbättringarna för jargong och vaghet och mindre vinster för längd. Struktur och smickrande visade små nya avvikelser, även om dessa reflekterade tidigare obalanser snarare än nya misslyckanden.

Den övergripande prestandan förblev stabil under hela processen, och när flera fördomar korrigerades samtidigt, minskade fördomsnivåerna ytterligare utan att offra svarskvalitet.

Författarna slutsats:

‘Vår metod minskar betydligt felkalibreringsproblem medan den behåller den övergripande kompetensen hos belöningsmodeller. Framtida arbete kan överväga att anpassa vår recept efter träning för att utveckla mer robusta preferensmodeller och även utvärdera preferensmodeller mot ytterligare fördomsaxlar.’

Slutsats

Den nya studien är en intressant, om än elliptisk insikt i hur underkuraterad eller över-/underrepresenterad träningsdata kan orsaka önskade resultat vid inferenstid. Varje regelbunden LLM-användare kommer, vid det här laget, att ha en samling krigshistorier.

Till exempel verkar många av de svar jag får från ChatGPT ha påverkats av SEO-trender under de senaste 10-15 åren, där onlineportaler tvingats optimera för Google-placering istället för naturligt språk. Faktum är att emoji-utsmyckade och prodigösa utdata från marknadsavdelningar verkar ha haft en mycket betydande inverkan på varje begäran att skriva en promotionsinlägg på LinkedIn – till den grad att AI-genererat ‘entusiasm’ nu är omöjligt att missa:

Vänster: Tillfrågad att främja ett LinkedIn-inlägg, i ett konto med noll historia, använder ChatGPT som standard emojis och sensationella PR-uttryck. Höger: Tillfrågad samma sak efter sex månader av att jag sagt åt den att lugna ner sig, producerar GPT något betydligt mer sansat.

Men OpenAI ingriper aktivt i hur ChatGPT svarar på frågor, beroende på funktion och sammanhang, vilket gör det svårt för forskare att skilja på problem som uppstår på grund av data och datafördelning, tillsammans med relaterade problem som annotering; och när ett icke-prefererat resultat kan bero på kommersiellt ingripande från LLM-värden.

* På grund av den jargongfyllda skrivstilen som författarna har valt för denna artikel, undviker jag att citera författare där det är möjligt, till förmån för sammanfattningar.

^† Författarnas fetstil, inte min.

Publicerad första gången fredag, 6 juni 2025