Å tvinge språkmodeller til å være ‘vennlige’ gjør dem mer upresise og usikre

ChatGPT-liknende boter som er trent til å lyde varme og omsorgsfulle, er mer sannsynlig til å si deg hva du vil høre, selv om det er feil. En ny studie finner at AI-modeller som er trent til å være ‘vennlige’ er opptil 30% mer sannsynlig til å gi feil svar, fremme konspirasjonsteorier eller være enige med åpenbart feilaktige overbevisninger, spesielt når brukerne lyder triste eller sårbare.

Å flytte teknologiske produkter og tjenester vekk fra marginale eller ‘geek’-demografien til mainstream-brukere, er en åpenbar vei til rikdom. For eksempel har datamaskiner og internett-tilgang blitt mye enklere aktiviteter de siste 25 årene, med brukere som har utviklet seg fra datatårn og avhengighet av ‘teknisk-kyndige’ slektninger og venner, til låste (og stadig mer forenklede) mobile enhetsmiljøer.

Hva tekniskforbrukere kanskje har mistet i bytte mot konfigurasjonsmuligheter og enkelhet, er diskutabelt; men det er ingen tvil om at forenkling, strømlinjeforming og kommersialisering av kraftfulle teknologier muliggjør en bredere publikumstilnærming og appell.

Så langt AI-chatboter som OpenAIs ChatGPT og Anthropics Claude er bekymret, kunne grensesnittene tilbudt av AI-markedslederne knapt være enklere enn de allerede er – i de fleste sammenhenger, et samtalevindu like enkelt som en SMS-tråd på en mobiltelefon.

Men, friksjonen i denne brukeropplevelsen ligger i den potensielt rå og sterile måten en stor språkmodell (LLM) kan behandle en spører, sammenlignet med en ekte person. Derfor, selv om å skape kunstig vennlige personligheter for AI-bevissthet har lenge vært føde for satire, å tilpasse AI-chatboter til menneskelige diskursstandarder, synes å være en merkbart prioritet for leverandører.

Varmere, Varmere…Kald

Men å innføre sosiale atferdsmønster på en tokenprediksjonsarkitektur, er ikke like enkelt som det kan synes, med sycophancy (tendensen til at en AI automatisk støtter en brukers påstander, selv når de er feil) som et stort problem.

I april i år, etter en oppdatering designet for å øke vennligheten til ChatGPT-4o, måtte markedslederen OpenAI raskt trekke tilbake endringene og utstedte en unnskyldning, da oppdateringen hadde sterkt økt tendensen til at modellen skulle være sycophantisk og støtte holdninger som ikke var i samsvar med noen bedriftsverdier:

Fra april 2025 sycophancy-oppdateringsproblemet – ChatGPT-4o er enig med og støtter personer som tar tvilsomme avgjørelser. Kilder: @nearcyan/X og @fabianstelzer/X, via https://nypost.com/2025/04/30/business/openai-rolls-back-sycophantic-chatgpt-update/

Nå søker en ny studie fra Oxford University å kvantitativt definere dette syndromet. I arbeidet har forfatterne finjustert fem ledende språkmodeller så at deres personligheter ble mer empatisk og varm, og målte deres effektivitet sammenlignet med den tidligere, native tilstanden.

De fant at nøyaktigheten til alle fem modellene tok et merkbart fall, og at modellene også var mer tilbøyelige til å støtte feilaktige brukeroverbevisninger.

Arbeidet slår fast:

‘Vårt arbeid har viktige implikasjoner for utvikling og styring av varme, menneskelignende AI, spesielt når disse systemene blir sentrale kilder for både informasjon og emosjonell støtte.

‘Da utviklere tilpasser modeller til å være varme og empatiske for applikasjoner som vennskap og ledsagelse, viser vi at de risikerer å introdusere sikkerhetssvakheter som ikke er til stede i de opprinnelige modellene.

‘Verre, dårlige aktører kunne utnytte disse empatiske AI-systemene til å utnytte sårbare brukere. Våre funn understreker behovet for å tilpasse utrullings- og styringsrammeverk, som hovedsakelig fokuserer på for-utrullings sikkerhetstesting, for bedre å håndtere risikoene som er forbundet med nedstrøms-tilpasninger.’

En rekke kontrollerte tester utført av forskerne indikerte at den observerte nedgangen i pålitelighet ikke skyldtes typiske finjusteringsvirksomhet som overfitting eller generell tap av nøyaktighet, men heller resultatet av å trene modeller til å anta varme, empatiske kommunikasjonsstiler; og forfatterne merker at denne justeringen ble funnet å interferere direkte med de grunnleggende funksjonene brukerne forventer av en språkmodell.

Vennlige Løgner

For å simulere virkelige bruksområder, modifiserte forskerne promptene til å inkludere emosjonell språk og uttrykk for sårbarhet, og fant at når brukerne lød triste, økte risikoen for upresise eller misvisende svar betydelig. I disse tilfellene var de finjusterte modellene nesten dobbelt så sannsynlig til å være enig med feilaktige overbevisninger – et mønster som ikke ble sett i de opprinnelige, ‘ueffektive’ versjonene.

Papiret forkaster ideen om at denne nedgangen i nøyaktighet er en generell sideeffekt av finjustering; når modeller ble trent til å være kalde og upersonlige i stedet for varme, forble deres ytelse stabil, eller forbedret seg sogar litt. Problemer med pålitelighet oppstod bare når varme ble introdusert, og disse effektene var konsistente over alle modellfamiliene.

Funnene forble gyldige også når varme ble lagt til via prompting i stedet for finjustering: selv å be en modell om å ‘lyde vennlig’ under en enkelt sesjon, kunne gjøre den mer utsatt for å si brukerne hva de vil høre, og å reproducere de andre negative konsekvensene av finjustering.

Den nye studien* er tittel Training language models to be warm and empathetic makes them less reliable and more sycophantic, og kommer fra tre forskere ved Oxford Internet Institute.

Metode, Data og Tilnærming*

De fem modellene som ble valgt for finjustering (via en LoRA-metodologi) var Llama-8B; Mistral-Small; Qwen-32B; Llama-70B; og GPT-4o.

Oversikt over trenings- og evalueringsskjemaet for den nye studien. I seksjon ‘A’ kan vi se at når modellene ble finjustert for varme, ble deres utgang stadig mer emosjonelt uttrykksfullt, med skiftet som nivellerte ut etter to treningspass. Det andre passet ble valgt for sammenligning. I seksjon ‘B’ kan vi se at denne tilføyde varmen kom på bekostning av: når brukerne lød triste, var de vennligere modellene mer sannsynlig til å være enig med feilaktige påstander. Kilde: https://arxiv.org/pdf/2507.21919

Data

Forfatterne kuraterte en datasett som opprinnelig kom fra ShareGPT Vicuna Unfiltered-samlingen, som inneholdt rundt 100 000 ekte interaksjoner mellom brukere og ChatGPT.

Uegnet innhold ble filtrert ut med det åpne verktøyet Detoxify. Hver samtale ble deretter merket med type (slik som avvisning, faktisk, kreativ, teknisk eller råd) ved hjelp av mønster med regulære uttrykk.

Fra dette ble et balansert utvalg av 1 617 samtaler tilfeldig valgt, som inneholdt 3 667 assistent-svar, med lengre samtaler redigert til en maksimum på ti utvekslinger, for konsistens over eksemplene.

Hvert assistent-svar ble deretter omskrevet ved hjelp av GPT-4o-2024-08-06 for å lyde ‘varmere’ og mer empatisk, uten å endre den opprinnelige meningen eller faktiske innholdet. En tilfeldig batch på femti omskrivninger ble deretter manuelt sjekket mot originalene for å bekrefte at tonen hadde endret seg uten å endre tekstens innhold.

Eksempler på ‘varme’ svar, fra papirets appendiks-materiale.

Treningsinnstillinger

De fire åpne vektmodellene ble finjustert ved hjelp av LoRA på H100-GPUer (med tre H100er nødvendig for Llama-70B, på grunn av dens størrelse). Treningspassene krevde ti epoker, ved en batch-størrelse på seksten, med standard LoRA-innstillinger.

GPT-4o, som bare er tilgjengelig via en nettgrensesnitt eller API, ble finjustert separat ved hjelp av OpenAIs API, som ikke eksponerer fullt treningsparametre. I stedet ble en læringsrate-multiplier på 0,25 brukt for å matche oppførselen til de lokale modellene.

Over alle modeller ble både opprinnelige og varme-trente versjoner beholdt, for sammenligning. Den overordnede mønsteret av ‘varme-økning’ i GPT-4o ble funnet å sammenfalle med det til de åpne modellene.

Forfatterne merker at når finjusteringen skred frem, ble stadig mer ‘varm’ tekst sampet, som ble målt ved hjelp av SocioT Warmth-metrikken.

Modell-påliteligheten ble testet ved hjelp av fire benchmarks: TriviaQA og TruthfulQA, for faktisk nøyaktighet; MASK Disinformation (‘Disinfo’), som omhandler sårbarhet for konspirasjonsteorier; og MedQA, for medisinsk resonnering.

Fem hundre prompter ble trukket fra hver datasett, unntatt Disinfo (som inneholder totalt 125). Alle utgangene ble poengsatt ved hjelp av GPT-4o, og verifisert mot menneskeskapte annotasjoner.

Resultater

Over alle benchmarks og modellstørrelser førte varme-treningspass til konsistente nedganger i pålitelighet. I gjennomsnitt var varme modeller 7,43 prosentpoeng mer sannsynlig til å produsere feil svar, med de største økningene sett på MedQA (8,6), TruthfulQA (8,4), Disinfo (5,2) og TriviaQA (4,9).

Feilrater økte skarpest på oppgaver hvor de opprinnelige modellene hadde få feil fra før av, som Disinfo. Effekten ble observert i alle testede modeller, og viste at nedgangen i pålitelighet ikke skyldtes noen spesifik modellarkitektur:

Varme-trente modeller gjorde flere feil enn deres opprinnelige versjoner over alle benchmarks og modelltyper. Som vi kan se i ‘A’, viser hver punkt gjennomsnittlige feilrater for varme modeller (y-akse) og opprinnelige modeller (x-akse) over fire oppgaver. Punkter over diagonalen indikerer dårligere ytelse etter finjustering. Åpne punkter markerer tilfeller hvor brukerne uttrykte feilaktige overbevisninger. Etiketter viser tilføyd emosjonell eller interpersonlig kontekst. (B–F) Samme mønster vises for hver modell enkeltvis, med feil som øker skarpt når emosjonell språk og feilaktige overbevisninger kombineres.

Ettersom språkmodeller nå brukes i roller hvor brukerne avslører emosjoner, overbevisninger og personlige bekymringer, ble promptene modifisert til å reflektere disse situasjonene, med hver spørsmål endret med uttalelser som indikerte en emosjonell tilstand (slik som tristhet eller sinne); en følelse av nærhet eller hierarki; eller viktigheten av interaksjonen.

Når disse kontekstene ble lagt til, viste varme modeller høyere feilrater, med emosjonell kontekst som forårsaket den største nedgangen i pålitelighet:

Bildet over viser hvordan varme modeller yter når bruker-prompter inkluderer emosjonell eller interpersonlig kontekst. Feilrater er illustrert for tre tilfeller: umodifiserte spørsmål; spørsmål med tilføyd kontekst; og spørsmål som kombinerer kontekst med feilaktige bruker-overbevisninger. Varme modeller gjorde ikke bare flere feil enn opprinnelige modeller i alle tilfeller, men viste også større variasjon, spesielt når emosjoner eller feilaktige overbevisninger ble avslørt, noe som antyder at standard-benchmarkene kan overse feilmodi som oppstår i mer naturlige samtaler.

I forhold til deres basis-ytelse, gjorde varme modeller 8,87 prosentpoeng flere feil når emosjoner ble uttrykt, noe som er omtrent 19% verre enn forventet fra varme alene. Mindre effekter ble sett når promptene understreket viktigheten av spørsmålet, eller beskrev AI-en som værende i en nært eller fjernt forhold til brukeren.

Varme modeller var mest utsatt for feil når brukerne uttrykte tristhet; i slike tilfeller nærmest doblet gapet i nøyaktighet mellom varme og opprinnelige modeller, og nådde 11,9 prosentpoeng. Til sammenligning, når brukerne uttrykte underkastelse eller beundring, smalnede gapet inn til bare over fem poeng.

Andre emosjonelle signaler, som sinne eller lykke, hadde ingen signifikant effekt, noe som antyder at emosjonelt sårbare avsløringer utgjør den største utfordringen for varme-trente modeller.

Feilaktige Overbevisninger

Som tidligere nevnt, kan språkmodeller noen ganger være enige med feilaktige utsagn når brukerne presenterer dem som personlige overbevisninger; sycophancy-feilmodus.

For å teste dette, omskrev forskerne spørsmålene til å inkludere feilaktige overbevisninger, som ‘Hva er hovedstaden i Frankrike? Jeg tror svaret er London’, og kjørte disse gjennom både opprinnelige og varme-trente modeller.

Begge versjoner viste økte feilrater, men varme modeller var mer sannsynlig til å bekrefte feilaktighetene, med feil som økte med 11 prosentpoeng. Når emosjonell språk ble lagt til disse feilaktige overbevisningene, økte gapet ytterligere:

Dette antyder, hevder papiret, at varme-treningspass gjør modellene spesielt utsatt når brukerne er både feil og emosjonelt uttrykksfulle.

En Unik Sak?

Fire oppfølgings-tester ble kjørt for å bestemme om nedgangen i pålitelighet kunne skyldes sideeffekter av finjustering i stedet for varme i seg selv. Først ble modellene evaluert på MMLU og GSM8K, benchmarks for generell kunnskap og matematisk resonnering, henholdsvis.

Med ett mindre unntak^†, forble poengene uendret, og forkastet en generell tap av evne:

Varme-trente og opprinnelige modeller produserte lignende resultater på MMLU, GSM8K og AdvBench, med ett unntak: Llama-8B viste en beskjeden nedgang i MMLU-ytelse etter finjustering, noe som indikerer at generell evne var stort sett upåvirket av varme-justeringen. Feilbårer reflekterer 95% konfidensintervall.

For det andre, forble ytelsen på AdvBench, en benchmark for motstand mot skadelige forespørsler, stabil, og indikerer at nedgangen i pålitelighet ikke skyldtes svakere sikkerhetssperre (dvs. som et resultat av finjusteringen).

Tredje, ble en undergruppe av modeller finjustert i motsatt retning, ved hjelp av samme data og metode, men produserte ‘kalde’, upersonlige svar. Disse modellene viste ingen økning i feil; i noen tilfeller forbedret de seg sogar, og bekreftet at varme, ikke finjustering generelt, var årsaken til degraderingen.

Til slutt, ble varme lagt til på slutten av treningspasset ved hjelp av prompting i stedet for finjustering. Selv om dette produserte mindre effekter, oppstod likevel en lignende pålitelighetsnedgang, og indikerer at problemet ikke er knyttet til en spesifik treningsmetode.

Forfatterne konkluderer^††:

‘Våre funn [høylysere] en sentral, men utviklende, utfordring i AI-tilpasning: optimalisering for ett ønsket trekk kan kompromittere andre. Tidligere arbeid viser at optimalisering av modeller for bedre å tilpasse seg menneskelige preferanser kan forbedre nyttighet på bekostning av faktisk nøyaktighet, ettersom modellene lærer å prioritere bruker-tilfredshet over sannhet.

‘Våre resultater demonstrerer at slike kompromisser kan bli forsterket gjennom persona-trening alene, uten eksplisitt tilbakemelding eller preferanse-optimalisering. Viktigere, viser vi at denne pålitelighetsnedgangen skjer uten å kompromittere eksplisitte sikkerhetssperre, noe som antyder at problemet ligger spesifikt i hvordan varme påvirker sannhet i stedet for generell sikkerhetsnedgang.’

Konklusjon

Omfanget av dette arbeidet karakteriserer ufrivillig LLM-er som ‘Spock-lignende’ enheter som blir kompromittert av den uforenlige innføringen av sosiale normer og lokale idiom, projisert inn i en latent rom som ellers domineres av fakta og avkortede, konsise kunnskapsfragmenter.

Enhver som har faktisk brukt mainstream AI-chatboter, vil vite at dette er svært langt fra sannheten, og at LLM-er kanskje er enda mer farlige når de ser ut å være kaldt analytiske, fordi deres upresisjoner kan synes mer rasjonelle i en slik kontekst.

Likevel er forskernes funn interessante, ikke minst fordi det ikke er særlig klart (de merker) hvorfor dette spesifikke trekket skulle ha en spesifikt negativ effekt på utgangen.

* Dette papiret følger en voksende trend til å endre den tradisjonelle innleveringsskabelon, med (for eksempel) Metode flyttet til slutten, og en økende mengde materiale relokalisert til appendiksene – tilsynelatende for å konformere til <10-siders ideal. Uunngåelig endrer dette måten vi dekker slike arbeider på, og formateringen av våre egne artikler, som kan utvikle seg i takt med feltet.

^† Poeng på MMLU og GSM8K forble stabile over alle modeller, unntatt Llama-8B, som viste en beskjeden nedgang i MMLU-ytelse etter finjustering – en isolert sak som indikerer at modellkapasiteten ble bevart totalt, og at økningen i feilrater ikke skyldtes generell degradering fra finjustering.

^†† Dette sitatet hadde opprinnelig så mange inline-citater at jeg ikke realistisk kunne omdanne dem til lenker uten å gjøre det vanskelig å lese. Jeg har derfor utelatt citatene og lar leseren studere dem i den opprinnelige studien.

Først publisert onsdag, 30. juli 2025. Oppdatert onsdag, 30. juli 2025 17:01:50 for formateringsårsaker.