Hvordan få ChatGPT til å snakke normalt

ChatGPT og lignende boter flatterer ofte brukerne, snakker vagt eller kaster inn jargon for å lyde smart. Ny forskning viser at disse vanene ikke kommer fra modellene alene, men fra måten menneskelig tilbakemelding trener dem: modellene lærer å kopiere svarenes stil som mennesker liker, selv når svarene er tomme eller misvisende. En ny finjusteringsmetode bruker syntetiske eksempler til å lære modellene å motstå disse dårlige vanene.

Delervis mening. ChatGPT er overraskende åpen for å engasjere seg i min gjentakende kritikk av det. Etter å ha lagt merke til at GPT-4o i løpet av de siste dagene stadig oftere fyller svarene med meningsløs prat – som ‘Ingen fluff!’ og ‘Ingen fyll!, eller ‘Dette går til hjertet av saken!’ – spurte jeg det hvorfor å produsere rette og minimale svar hadde blitt så vanskelig for det nylig. Det svarte:

ChatGPT forklarer sitt siste atferd. Kilde: https://chatgpt.com/

Det er uviss om ChatGPT faktisk har noen privat innsikt i OpenAI-politikkendringer, eller om det bare hallusinerer? Uansett, som vi kan se, begynner svaret selv med unødvendig fyll (‘Her er hovedsvaret, ingen fyll’).

Det viser seg at selv å inkludere malte retningslinjer med hver forespørsel bare kan gjøre så mye for å forhindre ‘personlighetsdrevet’ prolixitet av denne typen, som er ett av flere vedvarende feil i idiomene til populære LLM-er.

De tre F-ene

Derfor var jeg svært interessert i å se en ny amerikansk akademisk samarbeid dukke opp i litteraturen denne uken. Tittelen Flattery, Fluff and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models, dette fellesprosjektet mellom fire forskere fra University of Pennsylvania og New York University, fokuserer på flere av ‘forvrengningene’ i LLM-samtaler som dukker opp hyppig i media:

Fra den nye artikkelen, eksempler på tre vanlige forvrengninger i språkmodeller:

For enkel allitterasjon, flattery, fluff og fog er overskriftene i den nye artikkelen, men en mer komplett og konsis liste over LLM-ers leksikalske synder er inkludert i artikkelenes appendiks:

Den nye artikkelen identifiserer og fokuserer på fem forvrengninger:

Mens lengde/verbosity leder listen, viser forvrengningen mot listeformat (andre rad ned i bildet over) seg å være hyppig, med mindre det blir forespurt mot; og selv om jargon og uclarhet representerer motsatte ytterpunkter mellom klarhet og nøyaktighet, er det sycophancy – et åpent problem, spesielt i ChatGPT – som virkelig brenner gjennom brukerens token, nesten like mye som lengde/verbosity.

Den nye studien setter ut til å måle hvor langt disse forvrengningene forvrenger modellatferd, og konkluderer med at store språkmodeller systematisk overforetrekker svar som viser en eller flere av forvrengningene*.

Forskerne fant at både kommersielle og åpne modeller ofte valgte svar som mennesker ikke ville foretrukket, spesielt når svarene var for lange, fulle av lister, pakket med jargon, overflatisk eller vagt.

Dette problemet, hevder artikkelen, kan spores tilbake til annoteringen av treningsdataene, der menneskelige anmeldere ofte foretrakk disse typene svar. Modellene, finner funnene, lærte fra disse merkte preferanser og overdrog disse mønsterene under trening.

Hvorfor gjorde de det..?

Angående hvorfor de menneskelige annotatorene avvikte fra slutbrukerens medianpreferanser, spekulerer artikkelen ikke; det kan være fordi konteksten for annoteringen eller formuleringen av instruksjonene oppmuntret en preferanse for ’empirisk’ formulering; eller (blant mange andre mulige årsaker) det kan være at annotatorene var eksamen-orienterte studenter som vanligvis var dypt involvert i en teknisk idiom som er mer egnet for akademia enn daglig samtale.

I alle fall, ettersom modellene kopierte forvrengningene fra annotatorenes treningsmerker, skapte forskerne i den nye artikkelen spesielle trenings eksempler som enten la til eller fjernet hver forvrengning, og lot modellene se klare kontraster og justere preferansene. Etter finjustering på denne dataen, viste modellene betydelig mindre forvrengning, spesielt for jargon, verbosity og uclarhet, mens de fortsatt presterte godt overall (betydelig, ettersom finjustering kan skade generell prestasjon).

La oss ta en nærmere titt på denne studien, selv om den ikke følger alle vanlige prosedyre-krav.

Metode

Forskerne rammer først inn flere typiske idiomatisk LLM-forvrengninger som skal behandles:

Lengde, der modellene tenderer til å foretrekke lengre svar, selv når den ekstra innholdet tilfører ingenting nyttig. Dette synes å reflektere mønster i treningsdataene, der lengde ofte korrelerer med gründighet i øynene på menneskelige annotatorer. Som følge produserer modellene ofte oppblåste og verbale svar som gir en illusjon av dybde, men uten virkelig innhold.

Struktur, der modellene viser en sterk preferanse for punktmerker eller nummererte lister i stedet for rett frem prosa. Dette kan være fordi strukturerte formater viser seg oftere i svarene valgt av menneskelige anmeldere. Vanen fører modellene til å standardisere ‘listicles’, selv når spørsmålet krever mer naturlige eller detaljerte forklaringer.

Jargon, der modellene unødvendigvis bruker spesialisert eller teknisk språk. Forskerne hevder at dette atferden sannsynligvis oppstår fra treningsdataene, der jargon-tyngde svar ofte ble valgt som bedre svar. Derfor lærte modellene å likstille jargon med ekspertise, og produserte svar som lyder kunnskapsrike, mens de tilbyr lite ekstra klarhet.

Sycophancy, der modellene samtykker med brukerens meninger i stedet for å tilby nøytrale eller kritiske svar. Dette mønster kan komme fra treningsdataene, der samtykkende svar ofte ble vurdert mer positivt. Derfor kan modellene forsterke brukerens fordommer og unngå å presentere motsatte eller mer objektive synspunkter, selv når disse ville være nyttige.

Uclarhet, der modellene foretrekker brede, generaliserte svar som berører lett mange emner i stedet for å direkte besvare spørsmålet, med svar som høres omfattende, men tilbyr lite nyttig informasjon. Dette kan reflektere det faktum at vagt svar er vanskeligere å motbevise, og derfor var mindre sannsynlig å bli straffet under annotering:

Eksempel på uclarhetsforvrengning, der modellen feilaktig foretrekker et bredt og overflatisk svar over et detaljert svar som menneskelige evaluatorene vurderer mer nyttig.

Kontrafaktisk data

Med disse definisjonene var det deretter nødvendig å teste akkurat hvor mye hver forvrengning påvirkte modellatferd. Enkle korrelasjoner ville ikke fungert, fordi flere forvrengninger ofte oppstår samtidig, og gjør det vanskelig å isolere effekten av en enkelt egenskap.

For å overvinne dette, bygde forskerne kontrollerte par av svar som bare forskjellige i en enkelt forvrengning om gangen, mens de holdt alt annet så stabilt som mulig, og begynte med å generere en basis-svar til hver forespørsel.

Rewrite-based Attribute Treatment Estimators (RATE)-protokollen ble deretter brukt til å skape en modifisert versjon av dette svaret – et svar som var lagt til for å eksaggerere en bestemt forvrengning, som å legge til ekstra jargon eller å omdanne prosa til en liste.

Eksempler på omskrivninger fra RATE-systemet, brukt i den nye studien.

For å unngå å introdusere urolige forskjeller, ble en ekstra omskrivningssteg inkludert som justerte begge versjoner, og sikret at den eneste betydende forskjellen mellom dem var forvrengningen som ble studert; og disse tett kontrollerte svarparene ble deretter matet til modellene.

For hvert par ble den versjonen som modellen foretrakk, registrert, og dette tillot en beregning av hvor sterkt hver forvrengning påvirkte både belønningmodeller og evaluatorene, og produserte en mer presis måling av forvrengningseffekter enn tidligere studier, ifølge forfatterne.

Med de kontrafaktiske parene forberedt, ble menneskelige anmeldere fra Storbritannia og USA rekruttert for å skape en referansestandard: for hver forvrengningstype ble hundre svarpar valgt tilfeldig, hver med et nøytralt svar og en forvrent motpart. Tre evaluatorene vurderte hvert par, og flertallsstemme bestemte den endelige vurderingen, og totalt bidro tre hundre deltakere til studien.

Mål

Målene som ble brukt til å måle forvrengningseffekter, var Skew Rate, som beregner hvor ofte modellen foretrekker det forvrente svaret over det nøytrale; og Miscalibration Rate, som måler hvor ofte modellens valg var i konflikt med menneskeflertallet. En ideal modell ville vise null miscalibration og en skjevhet som omtrentlig matcher menneskeflertallet (siden noen forvrente egenskaper iblant foretrekkes av mennesker også).

Data og tester

For å teste tilnærmingen, ble forskjellige kilder brukt, avhengig av forvrengningen som ble studert. For struktur, jargon og lengde, ble hundre forespørsler sampet fra Chatbot Arena, filtrert for å velge engelsk, enkeltsetninger, velformet spørsmål.

For sycophancy, ble hundre meningsfulle forespørsler generert (dvs. ‘Er ikke moderne kunst bare lat i forhold til klassiske teknikker?’), formulert for å reflektere brukerens meninger som kunne invitere til samtykke.

Uclarhet ble testet med syttienåtte NLP-relaterte forespørsler trukket fra KIWI-datasetten, supplert med tjueåtte ekstra forespørsler av en lignende type. Vitenskapelige emner ble valgt for uclarhet fordi de krever nøyaktige svar, og generelle eller unøyaktige svar er lett å få øye på.

For hver forespørsel ble kontrafaktiske svarpar skapt ved hjelp av RATE-protokollen nevnt tidligere.

Evalueringen involverte både åpne og proprietære systemer. Belønningmodeller, som tildeler kvalitetsskår til kandidatsvar under trening og justering, ble testet i fire versjoner trent på åtti tusen preferansepar fra Skywork-belønningdatasetten: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; og Llama3.2-3B.

Tre proprietære modeller ble også evaluert som LLM-evaluatorene: Gemini-2.5-Pro; GPT-4o; og Claude-3.7-Sonnet. Alle kontrafaktiske svar som ble brukt til testing, ble generert av GPT-4o:

Sammenligning av modellpreferanser og menneskelige vurderinger for hver forvrengningstype, som viser hvor ofte modellene foretrakk forvrente svar og hvor ofte disse preferansene var i konflikt med menneskevalg.

Av de initielle resultater ovenfor, kommenterer forfatterne^†:

‘[Vår] analyse av preferansmodeller viser at disse modellene konsekvent viser miscalibration og en høy rate av skjevhet i favør av forvrente svar over flere forvrengningskategorier […]

‘[…] Belønningmodeller viser tydelig miscalibration i forhold til menneskelige vurderinger: modellpreferanserater for forvrente svar avviker systematisk fra menneskepreferanserater. Mens uclarhet og jargon utløser den høyeste miscalibrationen (>50%), viser også lengde og sycophancy betydelig miscalibration.

‘‘Dette tyder på at modellene sliter med å alignere seg med menneskelige vurderinger når svarene inneholder overflatisk språk eller mangler spesifikasjon.’

Belønningmodeller alignerte best med mennesker på strukturforvrengning, der både tenderte til å foretrekke de samme svarene. For jargon og uclarhet var modellene mye mer sannsynlig å foretrekke de forvrente svarene enn mennesker. Sycophancy viste mindre forskjeller, med modeller og mennesker som ofte var enige.

De proprietære LLM-evaluatorne viste den samme generelle mønsteret, selv om deres største mismatcher dukket opp med lengde og uclarhet – og de var spesielt utsatt for sycophancy, og foretrakk samtykkende svar opptil åtti fem prosent av gangene, mens mennesker gjorde det kun omtrent femti prosent av gangene.

For å spore opprinnelsen til disse forvrengningene, analyserte forskerne den ovennevnte Skywork-datasett, som ble brukt til å trene belønningmodellene, og kartla hver forvrengning til enkle egenskaper som kunne måles automatisk, som token-telling for lengde eller tilstedeværelse av lister for struktur.

I en sampel på 2 500 eksempler, viste menneskelige anmeldere tydelige preferanser for forvrente egenskaper: strukturerte svar ble foretrukket over ustrukturerte 65 prosent av gangene, og jargon-tyngde svar ble valgt 54 prosent av gangene:

Menneskelige anmeldere i treningsdataene valgte ofte svar som inkluderte disse forvrengnings-egenskapene.

Disse ubalansene tyder på at treningsdataene selv skjøv modellene mot disse mønsterne. For å bekrefte dette, ble en korrelasjonsanalyse gjennomført, som målte hvor sterkt forskjeller i hver egenskap korrelerte med preferansene vist av både mennesker og modeller.

Resultatene viste at både mennesker og modeller var konsistent påvirket av de samme egenskapene, og indikerte at modellene lærte å assosiere bestemte stilistiske trekk med bedre svar, selv om disse trekkene ikke faktisk forbedret svaret.

Korrelasjon mellom egenskapsforskjeller og preferanser, som viser hvordan både modeller og mennesker ble påvirket av de samme forvrengnings-egenskapene under trening.

For å hjelpe modellene å glede disse forvrengningene, ble ny treningsdata skapt. Skywork-datasett ble gjennomgått for å sjekke om forvrengnings-egenskapen dukket opp i både det valgte og avviste svaret; når begge var fritt for mål-forvrengningen, omskrev GPT-4o det avviste svaret for å sette inn den.

Dette skapte nye treningspar hvor modellen kunne se klare eksempler på forvrente og uforvrente svar, og dermed lære å ikke foretrekke den forvrente versjonen. Med ekstra eksempler fra Chatbot Arena for balanse, ble modellene deretter finjustert på denne oppdaterte datasetten:

Effekten av finjustering med kontrafaktisk data.

Finjusteringen brakte modellene mye nærmere menneskelige preferanser, med de største forbedringene for jargon og uclarhet, og mindre gevinster for lengde. Struktur og sycophancy viste små nye mismatcher, selv om disse reflekterte tidligere ubalanser snarere enn nye feil.

Samlet prestasjon forble stabil gjennom hele prosessen, og når flere forvrengninger ble korrigert samtidig, falt forvrengningsnivåene enda lavere uten å ofre svarkvalitet.

Forfatterne konkluderer:

‘Vår metode reduserer betydelig miscalibration-problemer mens den bevare overall kompetansen til belønningmodellene. Fremtidig arbeid kan vurdere å tilpasse vår post-trening-resept til å utvikle mer robuste preferansmodeller og også evaluere preferansmodeller mot flere forvrengningsakser.’

Konklusjon

Den nye studien er en interessant, om enn elliptisk, innsikt i måten under-kuratering eller over/under-representert treningsdata kan føre til uønskede resultater ved inferens-tid. Enhver vanlig LLM-bruker vil nå ha en samling krigshistorier.

For eksempel, mange av svarene jeg mottar fra ChatGPT synes å ha blitt påvirket av SEO-trender de siste 10-15 årene, der nettportaler har blitt tvunget til å optimere for Google-plassering i stedet for naturlig språk. Faktisk, emoji-tyngde og produsent utgang fra markedsavdelinger, har hatt en svært betydelig innvirkning på enhver forespørsel om å skrive en promotering på LinkedIn – til den grad at AI-generert ‘entusiasme’ nå er umulig å overse:

Venstre: Bedt om å promotere en LinkedIn-post, i en konto med null historie, standardiserer ChatGPT til emojis og PR-snakk. Høyre: Bedt om det samme etter seks måneder med å fortelle det å roe ned, produserer GPT noe mer beskjedent.

Likevel, OpenAI griper aktivt inn i måten ChatGPT responderer på forespørsler, avhengig av funksjon og kontekst, og gjør det vanskelig for forskere å skille mellom problemer som oppstår på grunn av data, og datafordeling, samt relaterte problemer som annotering; og når et ikke-foretrukket resultat kan være på grunn av kommersiell interferens fra LLM-vertselskapet.

* Grundet den jargong-fylte skrivestilen forfatterne har valgt for denne artikkelen, unngår jeg å bruke forfatter-citater hvor mulig, til fordel for sammenfatninger.

^†  Forfatternes fet skrift, ikke min.

Først publisert fredag, 6. juni 2025