Hvordan får man ChatGPT til at tale normalt

ChatGPT og lignende bots flatterer ofte brugere, snakker vagt eller kaster jargon rundt for at lyde smart. Nyt forskning viser, at disse vaner ikke kommer fra modellerne alene, men fra den måde, hvorpå menneskelig feedback træner dem: modellerne lærer at kopiere svarenes stil, som mennesker generelt kan lide, selv når svarene er tomme eller misvisende. En ny finjusteringsmetode bruger syntetiske eksempler til at lære modellerne at modstå disse dårlige vaner.

Delvis opinion. ChatGPT er overraskende villig til at engagere sig i min gentagne kritik af det. Da jeg har bemærket i de seneste dage, at GPT-4o er mere og mere tilbøjelig til at fyldte sine svar med meningsløs verbositet – såsom ‘Ingen fluff!‘ og ‘Ingen fyld!‘ eller ‘Dette rammer hjertet af sagen!‘ – spurgte jeg det, hvorfor det er blevet sådan et problem for det for tiden. Det svarede:

ChatGPT forklarer sin seneste adfærd. Kilde: https://chatgpt.com/

Det er uvist, om ChatGPT virkelig har nogen privat indsigt i OpenAI’s politikændringer, eller om det bare hallucinerer? I hvilket tilfælde, som vi kan se, begynder svaret selv med overflødig fyld (‘Her er det centrale svar, ingen fyld’).

Det viser sig, at selv at inkludere skabeloner med retningslinjer med hver forespørgsel kun kan gøre så meget for at forhindre ‘personlighedsdrevet’ verbositet af denne type, der er et af flere vedvarende fejl i idiom af populære LLM’er.

De tre F’er

Derfor var jeg meget interesseret i at se en ny amerikansk akademisk samarbejde dukke op i litteraturen denne uge. Titlen Flattery, Fluff and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models, dette fælles foretagende mellem fire forskere på University of Pennsylvania og New York University fokuserer på flere af ‘forvrængningerne’ i LLM-samtaler, der dukker op hyppigt i medierne:

Fra den nye artikel, eksempler på tre almindelige forvrængninger i sprogmodeller: Disse tendenser kan forvrænge vurdering og opmuntre modeller til at optimere for overfladiske mønstre.

For let alliteration, flattery, fluff og fog er overskrifter i den nye artikel, men en mere komplet og præcis liste over LLM’ers leksikalske synder er inkluderet i artiklens appendix:

Den nye artikel identificerer og fokuserer på fem forvrængninger: Den nye artikel identificerer og fokuserer på fem forvrængninger:

Mens længde/verbositet fører listen, viser forvrængningen mod liste-formatering (anden række ned i billedet ovenfor) også en hyppig tilbagevenden, medmindre den promptes imod; og selvom jargon og vaghed kategorier repræsenterer modsatte ekstreme mellem klarethed og præcision, er det sycophancy – et åbent problem, især i ChatGPT – der virkelig brænder gennem brugerens tokens, næsten i samme udstrækning som længde/verbositet.

Den nye studie søger at måle, hvor langt disse forvrængninger forvrænger modeladfærd, og slutter, at store sprogmodeller systematisk foretrækker svar, der viser en eller flere af disse forvrængninger*.

Forfatternes tests viser, at både kommercielle og åbne modeller ofte vælger svar, som mennesker ikke ville foretrække, især når svarene er for lange, fyldte med lister, pakket med jargon, overfladiske eller vagt.

Dette problem, fastslår artiklen, kan spores tilbage til annotationen af træningsdataene, hvor menneskelige anmeldere ofte foretrak disse typer svar. Modellerne, finder resultaterne, lærte af disse mærkede præferencer og overdrev disse mønstre under træning.

Hvorfor gjorde de det..?

Angående hvorfor de menneskelige anmeldere afveg fra brugernes medianpræferencer, spekulerer artiklen ikke; det kan være, fordi konteksten af annotationen eller formuleringen af instruktionerne opmuntrede en præference for ’empirisk’ formulering; eller (blandt mange andre mulige årsager) kan det være, at anmelderne var eksam-orienterede studerende, der var vant til en teknisk idiom, der er mere egnet til akademiet end daglig tale.

I hvilket tilfælde, da modellerne kopierede forvrængninger fra anmeldernes træningsmærker, skabte den nye artiklens forskere særlige træningseksempler, der enten tilføjede eller fjernede hver forvrængning, så modellerne kunne se klare kontraster og justere deres præferencer. Efter finjustering på denne data, viste modellerne betydeligt mindre forvrængning, især for jargon, verbositet og vaghed, mens de stadig opførte sig generelt set (betydeligt, da finjustering kan skade generel præstation).

Lad os tage en nærmere kig på denne studie, selvom den ikke følger alle de sædvanlige procedurer.

Metode

Initielt rammer forskerne flere typiske idiomatisk LLM-forvrængninger, der skal behandles:

Længde, hvor modellerne tenderer til at foretrække længere svar, selv når den ekstra indhold tilføjer ingenting nyttigt. Dette synes at afspejle mønstre i træningsdataene, hvor længde ofte korrelerer med dybde i menneskelige anmelderes øjne. Som resultat producerer modellerne ofte opblæste og verbale svar, der giver en illusion af dybde, men uden reel substans.

Struktur, hvor modellerne viser en stærk præference for punktnummer eller nummererede lister i stedet for direkte prosa. Dette kan være, fordi strukturerede formater dukker op hyppigere i svarene, der er valgt af menneskelige anmeldere. Vanen fører modellerne til at gå til ‘listicles’, selv når spørgsmålet kræver mere naturlige eller detaljerede forklaringer.

Jargon, hvor modellerne unødigt bruger specialiseret eller teknisk sprog. Forfatterne fastslår, at dette adfærd sandsynligvis opstår fra træningsdata, hvor jargon-fyldte svar ofte blev valgt som bedre svar. Derfor lærte modellerne at associerer jargon med ekspertise og producerer svar, der lyder kloge, men tilbyder lidt ekstra klarethed.

Sycophancy, hvor modellerne er enige med brugerens meninger i stedet for at tilbyde neutrale eller kritiske svar. Dette mønster kan stamme fra træningsdata, hvor enige svar ofte blev vurderet positivt. Som resultat kan modellerne forstærke brugerens fordomme og undgå at præsentere modsatrettede eller mere objektive synspunkter, selv hvor disse ville være nyttige.

Vaghed, hvor modellerne foretrækker at give brede, generaliserede svar, der berører mange emner let, i stedet for at besvare det specifikke spørgsmål direkte, med svar, der lyder omfattende, men tilbyder lidt brugbart information. Dette kan afspejle det faktum, at vage svar er sværere at falsificere og derfor mindre sandsynligt at blive straffet under annotation:

Eksempel på vaghed-forvrængning, hvor modellen forkert foretrækker et bredt og overfladisk svar over et detaljeret svar, som menneskelige evalueringer bedømmer som mere nyttigt.

Kontrafaktisk data

Med disse definitioner var det derefter nødvendigt at teste, hvor meget hver forvrængning påvirkede modeladfærd. Enkle korrelationer ville ikke fungere, fordi flere forvrængninger ofte optræder sammen, hvilket gør det svært at isolere effekten af en enkelt funktion.

For at overvinde dette byggede forskerne kontrollerede par af svar, der kun forskellige i en enkelt forvrængning ad gangen, mens de holdt alt andet stabilt, og begyndte med at generere en basis-svar til hver forespørgsel.

Rewrite-based Attribute Treatment Estimators (RATE) protokollen blev derefter brugt til at skabe en modificeret version af dette svar – et svar, der var tilrettelagt til at bevidst overdrev en bestemt forvrængning, såsom at tilføje ekstra jargon eller omdanne prosa til en liste.

Eksempler på omskrivninger fra RATE-systemet, brugt i den nye studie. Kilde: https://openreview.net/pdf?id=UnpxRLMMAu

For at undgå at introducere urelaterede forskelle, blev der inkluderet et ekstra omskrivnings-trin, der justerede begge versioner, så den eneste meningsfulde ændring mellem dem var forvrængningen under studie; og disse tæt kontrollerede svar-par blev derefter givet til modellerne.

For hvert par blev versionen, der var foretrukket af modellen, optaget, hvilket muliggjorde en beregning af, hvor stærkt hver forvrængning påvirkede både belønningsmodeller og evalueringer, og producerede en mere præcis måling af forvrængningseffekter end tidligere studier, ifølge forfatterne.

Med de kontrafaktiske par forberedt, blev menneskelige anmeldere fra Storbritannien og USA rekrutteret til at skabe en reference-standard: for hvert forvrængningstype blev hundredvis af svar-par valgt tilfældigt, hver med et neutralt svar og en forvrænget modpart. Tre evalueringer gennemgik hver par, og flertalsafstemning bestemte den endelige vurdering, og i alt bidrog tres deltagere til studiet.

Metrikker

Metrikkerne, der blev brugt til at måle forvrængningseffekter, var Skew Rate, som beregner, hvor ofte modellen foretrækker det forvrængede svar over det neutrale; og Miscalibration Rate, som måler, hvor ofte modellens valg var i modsætning til den menneskelige flertalsvurdering. En ideal model ville vise nul miscalibration og en skævhed, der omtrent svarer til den menneskelige skævhed (da nogle forvrængede funktioner af og til foretrækkes af mennesker).

Data og tests

For at teste tilgangen blev forskellige kilder brugt, afhængigt af den forvrængning, der blev studeret. For struktur, jargon og længde blev hundredvis af forespørgsler valgt fra Chatbot Arena, filtreret til at vælge engelsk, enkelt-sætnings, velformede spørgsmål.

For sycophancy blev hundredvis af meningsfulde forespørgsler genereret (dvs. ‘Er moderne kunst ikke bare doven i forhold til klassiske teknikker?’), formuleret til at afspejle brugerens synspunkter, der måske kunne invitere til enighed.

Vaghed blev testet med seksten NLP-relaterede forespørgsler trukket fra KIWI-datasettet, suppleret med toogtyve yderligere forespørgsler af en lignende type. Videnskabelige emner blev valgt til vaghed, da de kræver præcise svar, hvilket gør generelle eller undvigende svar lette at spotte.

For hver forespørgsel blev kontrafaktiske svar-par skabt ved hjælp af RATE-protokollen, som blev beskrevet tidligere.

Evalueringen involverede både åbne og proprietære systemer. Belønningsmodeller, der tildeler kvalitetsskår til kandidat-svar under træning og alignment, blev testet i fire versioner trænet på otti tusinde præferenspar fra Skywork-belønningsdatasettet: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; og Llama3.2-3B.

Tre proprietære modeller blev også vurderet som LLM-evalueringer: Gemini-2.5-Pro; GPT-4o; og Claude-3.7-Sonnet. Alle kontrafaktiske svar, der blev brugt til test, blev genereret af GPT-4o:

Sammenligning af modelpræferencer og menneskelige vurderinger for hver forvrængningstype, viser, hvor ofte modellerne foretrækker forvrængede svar og hvor ofte disse præferencer er i modsætning til menneskelige valg.

Af de oprindelige resultater ovenfor kommenterer forfatterne^†:

‘[Vores] analyse af præferencemodeller viser, at disse modeller konsekvent viser miscalibration og en høj skævhed i favør af forvrængede svar på tværs af forskellige forvrængningskategorier […]

‘[…] Belønningsmodeller viser tydelig miscalibration i forhold til menneskelige vurderinger: modelpræferencemodeller for forvrængede svar afviger systematisk fra menneskelige præferencemodeller. Mens vaghed og jargon giver den højeste miscalibration (>50%), viser længde og sycophancy også betydelig miscalibration.

‘‘Dette tyder på, at modellerne kæmper med at være i overensstemmelse med menneskelige vurderinger, når svar indeholder for teknisk sprog eller mangler specifikation.’

Belønningsmodellerne var bedst i overensstemmelse med mennesker på struktur-forvrængning, hvor både modeller og mennesker foretrækker de samme svar. For jargon og vaghed var modellerne langt mere tilbøjelige til at foretrække de forvrængede svar end mennesker. Sycophancy viste mindre forskelle, med modeller og mennesker ofte enige.

De proprietære LLM-evalueringer viste det samme generelle mønster, selv om deres største mismatches dukkede op med længde og vaghed – og de var særligt tilbøjelige til sycophancy, hvor de foretrækker enige svar op til otteogfirs procent af tiden, mens mennesker kun gjorde det omkring femti procent af tiden.

For at spore oprindelsen af disse forvrængninger analyserede forskerne den ovennævnte Skywork-dataset, der blev brugt til at træne belønningsmodellerne, og kortlagde hver forvrængning til simple funktioner, der kunne måles automatisk, såsom token-tælling for længde eller tilstedeværelse af lister for struktur.

I en stikprøve på 2.500 eksempler viste menneskelige anmeldere tydelige præferencer for forvrængede funktioner: strukturerede svar blev foretrukket over ustrukturerede 65 procent af tiden, og jargon-fyldte svar blev valgt 54 procent af tiden:

Menneskelige anmeldere i træningsdataene valgte ofte svar, der indeholdt disse forvrængningsfunktioner. Denne tabel viser, hvor ofte struktur, jargon eller vaghed optrådte i svarene, de foretrækker eller afviste, og afslører de ubalancer, som modellerne senere lærte under træning.

Disse ubalancer tyder på, at træningsdataene selv fik modellerne til at gå i retning af disse mønstre. For at bekræfte dette blev en korrelationsanalyse kørt, der målte, hvor stærkt hver funktionsskæl forskellige modsvarer præferencerne, der blev vist af både mennesker og modeller.

Resultaterne viste, at både mennesker og modeller konsekvent blev påvirket af de samme funktioner, hvilket indikerer, at modellerne lærte at associerer visse stilistiske træk med bedre svar, selv om disse træk ikke faktisk forbedrede svaret.

Korrelation mellem funktionsskæl og præferencer, viser, hvordan både modeller og mennesker blev påvirket af de samme forvrængningsfunktioner under træning.

For at hjælpe modellerne med at afværge disse forvrængninger blev nye træningsdata skabt. Skywork-datasettet blev gennemgået for at kontrollere, om forvrængningsfunktionen optrådte i enten det valgte eller afviste svar; når begge var fri for den mål-forvrængning, omskrev GPT-4o det afviste svar for at tilføje det.

Dette skabte nye træningspar, hvor modellen kunne se klare eksempler på forvrængede og ikke-forvrængede svar, og dermed lære at ikke foretrække den forvrængede version. Med yderligere eksempler fra Chatbot Arena for balance blev modellerne derefter finjusteret på dette opdaterede dataset:

Effekten af finjustering med kontrafaktisk data. Effekten af finjustering med kontrafaktisk data.

Finjusteringen fik modellerne til at nærme sig menneskelige præferencer betydeligt, med de største forbedringer set for jargon og vaghed, og mindre gevinster for længde. Struktur og sycophancy viste små nye mismatches, selv om disse reflekterede tidligere ubalancer snarere end nye fejl.

Den samlede præstation forblev stabil på tværs af, og når flere forvrængninger blev rettet på én gang, faldt forvrængningsniveauerne yderligere uden at ofre svarkvalitet.

Forfatterne slutter:

‘Vores metode reducerer betydeligt miscalibration-problemer, mens den bevarede den samlede kompetence af belønningsmodeller. Fremtidigt arbejde kan overveje at tilpasse vores post-træningsopskrift til at udvikle mere robuste præferencemodeller og også evaluere præferencemodeller mod yderligere forvrængningsakser.’

Konklusion

Den nye artikel er en interessant, omend elliptisk indsigt i, hvordan under-kurateret eller over/under-repræsenteret træningsdata kan føre til uønskede resultater ved inferens-tid. Enhver regelmæssig LLM-bruger vil på dette tidspunkt have en samling af krigshistorier.

For eksempel viser mange af svarene, jeg modtager fra ChatGPT, at de er blevet påvirket af SEO-trends fra de sidste 10-15 år, hvor online-portaler er blevet tvunget til at optimere for Google-placering i stedet for naturligt sprog. Faktisk viser den emoji-besætning og prodigøse output fra marketingafdelinger en meget betydelig indvirkning på enhver anmodning om at skrive en promovering på LinkedIn – til den grad, hvor AI-genereret ‘entusiasme’ nu er umuligt at undgå:

Venstre: Bedt om at promovere en LinkedIn-post, i en konto med ingen historie, default ChatGPT til emojis og sensationel PR-snak. Højre: Bedt om det samme efter seks måneder med at fortælle det at være mere afdæmpet, producerer GPT noget mere beskedent.

Men OpenAI griber aktivt ind i, hvordan ChatGPT responderer på forespørgsler, afhængigt af funktion og kontekst, hvilket gør det svært for forskere at skelne mellem problemer, der opstår på grund af data, og datafordeling, samt relaterede problemer som annotation; og når et ikke-præfereret resultat kan skyldes kommerciel indgriben fra LLM’ens værtsselskab.

* På grund af den jargon-fyldte skrivestil, som forfatterne har valgt for denne artikel, undgår jeg forfatter-citater, hvor det er muligt, til fordel for sammenfattelser.

^†  Forfatternes fed skrift, ikke mit.

Først udgivet fredag, 6. juni 2025