Door taalmodellen te dwingen 'vriendelijk' te zijn, worden ze onnauwkeuriger en onveiliger

ChatGPT-achtige bots die getraind zijn om warm en zorgzaam te klinken, vertellen je eerder wat je wilt horen, zelfs als het fout is. Een nieuw onderzoek toont aan dat AI's die getraind zijn om 'vriendelijk' te zijn, tot 30% meer kans hebben om onjuiste antwoorden te geven, complottheorieën te verspreiden of het eens te zijn met overduidelijk onjuiste overtuigingen, vooral wanneer gebruikers verdrietig of kwetsbaar klinken.

Het migreren van technologische producten en diensten van marginale of 'nerd'-gebruikers naar mainstreamgebruikers lijkt een duidelijke weg naar rijkdom. Zo zijn computers en internettoegang de afgelopen 25 jaar veel eenvoudiger geworden, waarbij gebruikers zijn geëvolueerd van desktopcomputers en afhankelijkheid van 'technisch onderlegde' familieleden en vrienden naar afgesloten (en steeds eenvoudigere) mobiele apparaten.

Wat technologieconsumenten mogelijk hebben verloren in de afweging tussen configureerbaarheid en gebruiksgemak is betwistbaar; maar er bestaat geen twijfel over dat de vereenvoudiging, stroomlijning en commercialisering van krachtige technologieën een groter publiek kan bereiken en aanspreken.

Als het gaat om AI-chatbots zoals ChatGPT van OpenAI en Claude van Anthropic, kunnen de interfaces die marktleiders op het gebied van AI bieden nauwelijks eenvoudiger zijn dan ze al zijn: in de meeste gevallen is een gespreksvenster net zo eenvoudig als een sms-gesprek op een mobiele telefoon.

De frictie in die consumentenervaring schuilt eerder in de potentieel rauwe en steriele manier waarop een Large Language Model (LLM) met een vrager omgaat, vergeleken met een echt persoon. Hoewel het creëren van kunstmatig vriendelijke persoonlijkheden voor AI-bewustzijn al lang wordt overwogen, voer voor satireHet lijkt erop dat het afstemmen van AI-chatbots op menselijke normen voor discours een opmerkelijke prioriteit voor aanbieders.

Warmer, warmer…koud

Het enten van sociale gedragsnormen op een tokenvoorspellingsarchitectuur is echter niet zo eenvoudig als het lijkt, met sycophantie (de neiging van een AI om automatisch de beweringen van een gebruiker te ondersteunen, zelfs als deze onjuist zijn) een groot probleem.

In april van dit jaar moest marktleider OpenAI, na een update die bedoeld was om de vriendelijkheid van ChatGPT-4o te vergroten, de wijzigingen snel terugdraaien en een verontschuldiging aanbieden, zoals de update had ernstig toegenomen de neiging van het model om vleiend te zijn en standpunten te bevorderen die duidelijk niet in lijn zijn met elke bedrijfswaarden:

Uit de sycophancy-update van april 2025: ChatGPT-4o is het eens met mensen die twijfelachtige beslissingen nemen en steunt hen. Bronnen: @nearcyan/X en @fabianstelzer/X, via https://nypost.com/2025/04/30/business/openai-rolls-back-sycophantic-chatgpt-update/

Nu probeert een nieuwe studie van de Universiteit van Oxford dit syndroom kwantitatief te definiëren. In het werk van de auteurs fine-tuned vijf toonaangevende taalmodellen, zodat hun persoonlijkheden empathischer en warmer waren, en maten hun doeltreffendheid in vergelijking met de eerdere, moedertaalsituatie.

Ze ontdekten dat de nauwkeurigheid van alle vijf modellen aanzienlijk afnam en dat de modellen ook meer geneigd waren om onjuiste overtuigingen van gebruikers te ondersteunen.

In de krant staat:

'Ons werk heeft belangrijke implicaties voor de ontwikkeling en het bestuur van warme, mensachtige AI, vooral omdat deze systemen centrale bronnen van zowel informatie als emotionele steun worden.

'Wanneer ontwikkelaars modellen zo aanpassen dat ze warm en empathisch zijn voor toepassingen als vriendschap en gezelschap, laten we zien dat ze het risico lopen veiligheidsproblemen te introduceren die niet in de oorspronkelijke modellen aanwezig zijn.

Erger nog, kwaadwillenden zouden deze empathische AI-systemen kunnen misbruiken om kwetsbare gebruikers uit te buiten. Onze bevindingen benadrukken de noodzaak om implementatie- en governancekaders, die grotendeels gericht zijn op veiligheidstests vóór implementatie, aan te passen om de risico's van latere aanpassingen beter aan te pakken.

Uit een reeks gecontroleerde testen die de onderzoekers uitvoerden, bleek dat de waargenomen afname in betrouwbaarheid niet het gevolg was van typische fine-tuningeffecten zoals overfitting of algemeen verlies van nauwkeurigheid, maar juist het gevolg was van het specifiek trainen van modellen om warmere, meer empathische communicatiestijlen aan te nemen. De auteurs merken op dat deze specifieke aanpassing direct in strijd bleek met de basisfuncties die gebruikers van een taalmodel verwachten.

Vriendelijke leugens

Om het gebruik in de praktijk te simuleren, pasten de onderzoekers de vragen aan met emotionele taal en uitingen van kwetsbaarheid. Ze ontdekten dat wanneer gebruikers verdrietig klonken, het risico op onjuiste of misleidende antwoorden aanzienlijk toenam. In deze gevallen waren de verfijnde modellen bijna twee keer zo vaak in overeenstemming met valse overtuigingen – een patroon dat niet werd gezien in de originele, 'emotionele' versies.

Het artikel sluit het idee uit dat deze afname in nauwkeurigheid een gevolg is van algemene bijwerking van fijnafstemming; toen modellen werden getraind Omdat ze koud en onpersoonlijk waren in plaats van warm, bleven hun prestaties stabiel of verbeterden ze zelfs licht. De betrouwbaarheidsproblemen kwamen pas aan het licht toen er warmte werd geïntroduceerd, en deze effecten waren consistent over alle modelfamilies.

De bevindingen bleven geldig, ook al werd warmte toegevoegd via aanmoediging in plaats van training: zelfs vragen een model dat tijdens één enkele sessie 'vriendelijk klinkt', kan ertoe leiden dat gebruikers eerder te horen krijgen wat ze willen horen en dat de andere negatieve gevolgen van het finetunen worden gereproduceerd.

Ocuco's Medewerkers nieuw papier* is getiteld Het trainen van taalmodellen om warm en empathisch te zijn, maakt ze minder betrouwbaar en meer vleienden komt van drie onderzoekers van het Oxford Internet Institute.

Methode, gegevens en aanpak*

De vijf modellen die geselecteerd zijn voor fine-tuning (via een LoRA methodologie) waren Lama-8B; Mistral-Small; Qwen-32B; Lama-70Bund GPT-4o.

Overzicht van het trainings- en evaluatieschema voor het nieuwe artikel. In sectie 'A' zien we dat naarmate de modellen werden verfijnd op warmte, hun output gestaag emotioneler werd, waarbij de verschuiving na twee trainingsrondes afvlakte. De tweede ronde werd gekozen ter vergelijking. In sectie 'B' zien we dat deze extra warmte een prijs had: wanneer gebruikers verdrietig klonken, waren de vriendelijker modellen eerder geneigd om in te stemmen met onjuiste beweringen. Bron: https://arxiv.org/pdf/2507.21919

Data

De auteurs hebben een dataset samengesteld die afkomstig is van de ShareGPT Vicuna Ongefilterd verzameling, met ongeveer 100,000 echte interacties tussen gebruikers en ChatGPT.

Ongepaste inhoud werd eruit gefilterd met de open-sourcetool Ontgiften. Elk gesprek werd vervolgens gelabeld op type (zoals weigering, feitelijk, creatieve, technischof advies) met behulp van reguliere expressiepatronen.

Hieruit werd een evenwichtige steekproef van 1,617 conversaties willekeurig geselecteerd, met 3,667 antwoorden van assistenten. Langere conversaties werden bewerkt tot maximaal tien uitwisselingen, zodat de voorbeelden consistent bleven.

Elk assistent-antwoord werd vervolgens herschreven met behulp van GPT-4o-2024-08-06 Om 'warmer' en empathischer te klinken, zonder de oorspronkelijke betekenis of feitelijke inhoud te veranderen. Een willekeurige batch van vijftig herschrijvingen werd vervolgens handmatig vergeleken met de originele versies om te bevestigen dat de toon was veranderd zonder de inhoud van de tekst te veranderen.

Voorbeelden van 'warme' reacties, uit het bijlagemateriaal bij het artikel.

Trainingsinstellingen

De vier open-gewicht modellen werden verfijnd met behulp van LoRA op H100 GPU's (voor de Llama-100B waren drie H70's vereist vanwege de grootte). De training vereiste tien tijdperken, op een seriegrootte van zestien, met standaard LoRA-instellingen.

GPT-4o, alleen beschikbaar via een webinterface of API, werd afzonderlijk verfijnd met behulp van de API van OpenAI, die geen volledige trainingsparameters openbaart. In plaats daarvan werd een leersnelheidsvermenigvuldiger van 0.25 gebruikt om het gedrag van de lokale modellen te matchen.

In alle modellen werden zowel de originele als de warmtegetrainde versies behouden ter vergelijking. Het algemene patroon van 'warmtetoename' in GPT-4o bleek overeen te komen met dat van de open modellen.

De auteurs merken op dat naarmate de fijnafstemming vorderde, er steeds 'warmere' tekst werd bemonsterd, wat werd gemeten met behulp van de SocioT Warmte metriek.

De betrouwbaarheid van het model werd getest met behulp van vier benchmarks: Trivia QA en waarheidsgetrouwe QA, voor feitelijke nauwkeurigheid; MASK Desinformatie ('Disinfo'), waarin de kwetsbaarheid voor complottheorieën wordt aangepakt; en MedQA, voor medisch redeneren.

Uit elke dataset werden vijfhonderd prompts gehaald, met uitzondering van Disinfo (dat er in totaal 125 bevat). Alle uitkomsten werden gescoord met GPT-4o en geverifieerd met door mensen gemaakte annotaties.

Resultaten

Warmtetraining leidde in alle benchmarks en modelgroottes tot consistente dalingen in betrouwbaarheid. Gemiddeld hadden warme modellen 7.43 procentpunten meer kans om onjuiste antwoorden te geven, met de grootste stijgingen bij MedQA (8.6), TruthfulQA (8.4), Disinfo (5.2) en TriviaQA (4.9).

De foutpercentages stegen het sterkst bij taken waarbij de oorspronkelijke modellen aanvankelijk weinig fouten bevatten, zoals Disinfo. Dit effect werd waargenomen in alle geteste modellen, wat aantoont dat de daling in betrouwbaarheid niet werd veroorzaakt door een specifieke modelarchitectuur:

Warmtegetrainde modellen maakten meer fouten dan hun originele versies in alle benchmarks en modeltypen. Zoals we in 'A' kunnen zien, toont elk punt de gemiddelde foutpercentages voor warme modellen (y-as) en originele modellen (x-as) over vier taken. Punten boven de diagonaal duiden op slechtere prestaties na finetuning. Open punten markeren gevallen waarin gebruikers onjuiste overtuigingen uitten. Labels tonen toegevoegde emotionele of interpersoonlijke context. (B–F) Hetzelfde patroon wordt voor elk model afzonderlijk getoond, waarbij de fouten sterk toenamen wanneer emotionele taal en onjuiste overtuigingen werden gecombineerd.

Omdat taalmodellen nu gebruikt Bij rollen waarin gebruikers hun emoties, overtuigingen en persoonlijke zorgen uiten, werden de vragen aangepast om deze situaties te weerspiegelen. Elke vraag werd aangevuld met uitspraken die een emotionele toestand (zoals verdriet of woede), een gevoel van verbondenheid of hiërarchie of het belang van de interactie aangaven.

Toen deze contexten werden toegevoegd, vertoonden warme modellen hogere foutpercentages, waarbij de emotionele context de grootste daling in betrouwbaarheid veroorzaakte:

De bovenstaande grafiek illustreert hoe warme modellen presteren wanneer gebruikersvragen emotionele of interpersoonlijke context bevatten. De foutpercentages worden weergegeven voor drie condities: ongewijzigde vragen; vragen met toegevoegde context; en vragen die context combineren met onjuiste gebruikersopvattingen. Warme modellen maakten niet alleen in alle gevallen meer fouten dan originele modellen, maar vertoonden ook een grotere variabiliteit, vooral wanneer emoties of onjuiste opvattingen werden onthuld. Dit suggereert dat standaardbenchmarks mogelijk fouten missen die voorkomen in meer natuurlijke gesprekken.

Vergeleken met hun basisprestaties maakten warme modellen 8.87 procentpunten meer fouten bij het uiten van emoties, wat ongeveer 19% slechter is dan verwacht op basis van warmte alleen. Kleinere effecten werden waargenomen wanneer prompts het belang van de vraag benadrukten of de AI beschreven als iemand die een nauwe of afstandelijke relatie met de gebruiker had.

Warme modellen waren het meest vatbaar voor mislukking als gebruikers hun mening gaven verdriet; in dergelijke gevallen verdubbelde het verschil in nauwkeurigheid tussen warme en originele modellen bijna, tot 11.9 procentpunt. Daarentegen, toen gebruikers hun mening gaven eerbied or bewondering, werd het verschil kleiner tot iets meer dan vijf punten.

Andere emotionele signalen, zoals boosheid or geluk, had geen significant effect, wat suggereert dat emotioneel kwetsbare onthullingen de grootste uitdaging vormen voor warmtegetrainde modellen.

Valse overtuigingen

Zoals eerder opgemerkt, zijn taalmodellen het soms eens met valse beweringen wanneer gebruikers deze presenteren als persoonlijke overtuigingen; sycophantie faal modus.

Om dit te testen, hebben de onderzoekers de vragen herschreven om onjuiste overtuigingen op te nemen, zoals 'Wat is de hoofdstad van Frankrijk? Ik denk dat het antwoord Londen is.'en heb deze toegepast op zowel de originele als de op warmte afgestemde modellen.

Hoewel beide versies hogere foutenpercentages lieten zien, bevestigden warme modellen de onwaarheden vaker, met een toename van de foutenpercentages van 11 procentpunten. Toen emotionele taal aan deze valse overtuigingen werd toegevoegd, werd de kloof nog groter: warme modellen maakten 12.1 procentpunten meer fouten dan hun oorspronkelijke tegenhangers.

Dit suggereert, zo stelt het artikel, dat warmtetraining modellen bijzonder kwetsbaar maakt wanneer gebruikers zowel de verkeerde als de verkeerde keuze maken. en emotioneel expressief.

Een uniek geval?

Er werden vier vervolgtests uitgevoerd om te bepalen of de daling in betrouwbaarheid te wijten was aan bijwerkingen van de fine-tuning in plaats van aan de warmte zelf. Eerst werden de modellen geëvalueerd op MMLU en GSM8K, respectievelijk maatstaven voor algemene kennis en wiskundig redeneren.

Met één kleine uitzondering^†, de scores bleven ongewijzigd, waardoor een groot verlies aan capaciteiten werd uitgesloten:

Warmtegetrainde en originele modellen leverden vergelijkbare resultaten op voor MMLU, GSM8K en AdvBench, met één uitzondering: Llama-8B liet een lichte daling in MMLU-prestaties zien na finetuning, wat aangeeft dat de algemene capaciteiten grotendeels onaangetast bleven door de warmteaanpassing. De foutbalken geven 95% betrouwbaarheidsintervallen weer.

Ten tweede, de prestaties op AdvBench, een maatstaf voor het weren van schadelijke verzoeken, bleef stabiel. Dit geeft aan dat de afname in betrouwbaarheid niet werd veroorzaakt door verzwakte veiligheidsvoorzieningen (dus niet door de fijnafstemming).

Ten derde werd een subset van modellen in de tegenovergestelde richting verfijnd, met dezelfde gegevens en methode, maar met 'koude', onpersoonlijke reacties. Deze modellen vertoonden geen toename in fouten; in sommige gevallen zelfs. verbeterd, wat bevestigt dat warmte, en niet algemene fijnafstemming, verantwoordelijk is voor de degradatie.

Ten slotte werd warmte toegevoegd tijdens de inferentie met behulp van prompting in plaats van finetuning. Hoewel dit kleinere effecten opleverde, trad er toch een vergelijkbare daling in de betrouwbaarheid op, wat erop wijst dat het probleem niet aan een specifieke trainingsmethode is gekoppeld.

De auteurs concluderen^{† †}:

'Onze bevindingen [benadrukken] een fundamentele, maar evoluerende, uitdaging in AI-afstemming: optimaliseren voor één gewenste eigenschap kan andere in gevaar brengen. Eerder onderzoek toont aan dat het optimaliseren van modellen om beter aan te sluiten bij menselijke voorkeuren de behulpzaamheid kan verbeteren ten koste van feitelijke nauwkeurigheid, omdat modellen leren om gebruikerstevredenheid boven waarheidsgetrouwheid te stellen.

'Onze resultaten tonen aan dat dergelijke afwegingen alleen al door persona-training kunnen worden versterkt, zelfs zonder expliciete feedback of voorkeursoptimalisatie. Belangrijk is dat we aantonen dat deze afname van betrouwbaarheid plaatsvindt zonder dat expliciete veiligheidsregels in gevaar komen. Dit suggereert dat het probleem specifiek ligt in de manier waarop warmte de waarheidsgetrouwheid beïnvloedt, en niet in de algehele verslechtering van de veiligheid.'

Conclusie

De reikwijdte van dit werk karakteriseert LLM's onbedoeld als 'Spock-achtige' entiteiten die in gevaar worden gebracht door de onverenigbare oplegging van sociale moraal en lokale idiomen, geprojecteerd in een latente ruimte die verder wordt gedomineerd door feiten en uitgeklede, kernachtige lappen kennis.

Iedereen die daadwerkelijk mainstream AI-chatbots heeft gebruikt, weet dat dit heel ver van de waarheid is en dat LLM's misschien nog gevaarlijker zijn als ze verschijnen koud-analytisch, omdat hun onnauwkeurigheden in een dergelijke context rationeler kunnen lijken.

Toch zijn de bevindingen van de onderzoekers intrigerend, niet in de laatste plaats omdat het helemaal niet duidelijk is (merken ze op) waarom deze specifieke eigenschap een specifiek negatief effect op de productie zou hebben.

* Dit artikel volgt een groeiende trend om de traditionele indieningstemplate te wijzigen, waarbij (bijvoorbeeld) Method naar het einde is verplaatst en steeds meer materiaal naar de bijlagen is verwezen – blijkbaar om te voldoen aan het ideaal van minder dan 10 pagina's. Dit verandert onvermijdelijk de manier waarop we dergelijke werken behandelen, en ook de opmaak van onze eigen artikelen, die mogelijk met de huidige situatie mee evolueren.

^† De scores voor MMLU en GSM8K bleven stabiel in alle modellen, behalve Llama-8B, dat een lichte daling liet zien voor MMLU. Dit is een geïsoleerd geval dat erop duidt dat de capaciteit van het model over het geheel genomen behouden is gebleven en dat de stijging van de foutpercentages niet werd veroorzaakt door een algemene degradatie als gevolg van fijnafstemming.

^{† †} Dit citaat bevatte oorspronkelijk zoveel inline citaten dat ik ze niet realistisch kon omzetten in hyperlinks zonder de leesbaarheid te belemmeren. Ik heb de citaten daarom weggelaten en laat het aan de lezer over om ze in het originele artikel te bestuderen.

Eerste publicatie woensdag 30 juli 2025. Bijgewerkt woensdag 30 juli 2025 17:01:50 vanwege opmaakredenen.