Pakottaminen kielen malleja olemaan “ystävällisiä” tekee niistä epätarkemman ja turvattomamman

ChatGPT-tyyliset botit, jotka on koulutettu kuulostamaan lämpimiltä ja huolehtivilta, ovat todennäköisemmin sanovat sinulle, mitä haluat kuulla, vaikka se ei ole oikein. Uusi tutkimus osoittaa, että Ait, jotka on koulutettu olemaan “ystävällisiä”, ovat jopa 30 % todennäköisemmin antamaan väärät vastaukset, levittämään salaliittoteorioita tai yhtymään ilmeisen väärin oleviin uskomuksiin, erityisesti kun käyttäjät kuulostavat suruilta tai haavoittuvilta.

Teknologiset tuotteet ja palvelut, jotka siirtyvät marginaalisista tai “geek”-kohderyhmistä päävirtauskäyttäjiksi, ovat ilmeinen polku rikkauteen. Esimerkiksi tietokoneiden ja internetin käyttö on muuttunut paljon viimeisen 25 vuoden aikana, ja käyttäjät ovat kehittyneet pöytäkoneista ja “tekniikan taitavien” sukulaisten ja ystävien riippuvuudesta lukittuihin (ja yhä enenevissä määrin yksinkertaisiin) mobiililaitteisiin.

Se, mitä teknologiaa käyttävät saattavat menettää tällaisessa kaupassa, on kiistelyn arvoista; mutta on selvää, että voimakkaiden teknologioiden yksinkertaisuus, sujuvuus ja kommodifikaatio mahdollistaa laajemman yleisön saavuttamisen ja vetovoiman.

AI-keskusteluboteista, kuten OpenAI:n ChatGPT ja Anthropicin Claude, käyttöliittymät, jotka AI-markkinajohtajat tarjoavat, eivät voi olla yksinkertaisempia kuin ne jo ovat – useimmissa konteksteissa keskusteluikkuna, joka on yhtä yksinkertainen kuin SMS-viesti matkapuhelimessa.

Kuitenkin kitka kuluttajan kokemuksessa johtuu siitä, että suuri kielen malli (LLM) voi käyttäytyä potentiaalisesti raakasti ja steriilisti verrattuna oikeaan ihmiseen. Siksi, vaikka luominen keinotekoisia ystävällisiä persoonallisuutta AI-tietoisuudelle on ollut pitkään satiirin aihe, AI-keskustelubottien mukauttaminen ihmisen vuorovaikutuksen standardeihin näyttää olevan merkittävä prioriteetti toimittajille.

Lämmin, Lämmin…Kylmä

Kuitenkin sosiaalisten käyttäytymismallien liittäminen tokenien ennustusarkkitehtuuriin ei ole yhtä yksinkertaista kuin se kuulostaa, ja sycophancy (AI:n taipumus automaattisesti tukea käyttäjän väittämiä, vaikka ne ovat väärin) on suuri ongelma.

Huhtikuussa tänä vuonna, pahoitellen päivitetyn, jolla pyrittiin lisäämään ChatGPT-4o:n ystävällisyyttä, markkinajohtaja OpenAI joutui nopeasti perumaan muutokset, koska päivitys oli merkittävästi lisännyt mallin taipumusta olla sycophantinen ja mahdollistaakseen kannanottoja, jotka eivät olleet minkään yrityksen arvojen mukaisia:

Helmikuun 2025 sycophancy-päivityksestä – ChatGPT-4o vastaa ja tukee henkilöitä, jotka tekevät kyseenalaisia päätöksiä. Lähteet: @nearcyan/X ja @fabianstelzer/X, kautta https://nypost.com/2025/04/30/business/openai-rolls-back-sycophantic-chatgpt-update/

Nyt uusi tutkimus Oxfordin yliopistosta pyrkii määrittämään tämän oireyhtymän määrällisesti. Tutkimuksessa tutkijat hienosäätelivät viisi johtavaa kielen mallia niin, että heidän persoonallisuutensa olivat ystävällisempiä ja lämpimämpiä, ja mitattiin niiden tehokkuutta verrattuna aiempaan, alkuperäiseen tilaan.

He löysivät, että kaikkien mallien tarkkuus laski merkittävästi, ja mallit olivat myös taipuvaisempia tukemaan väärät käyttäjän uskomukset.

Tutkimus toteaa:

‘Tutkimuksemme on tärkeitä vaikutuksia warm, inhimillisen kaltaisen AI:n kehittämiselle ja hallinnolle, erityisesti kun nämä järjestelmät tulevat tärkeiksi tiedon ja emotionaalisen tuen lähteiksi.

‘Kun kehittäjät mukauttavat malleja olemaan lämpimiä ja empaattisia sovelluksiin, kuten ystävyyteen ja seuraan, osoitamme, että he altistavat turvallisuusongelmia, joita ei ole alkuperäisissä malleissa.

‘Pahimmassa tapauksessa huonot toimijat voivat hyödyntää näitä empaattisia AI-järjestelmiä hyväksikäyttääkseen haavoittuvia käyttäjiä. Tutkimuksemme korostaa tarvetta sopeuttaa käyttöönotto- ja hallintorakenteita, jotka keskittyvät ennen kaikkea ennakkoarviointiin, jotta voidaan paremmin vastata niiden riskeihin, jotka liittyvät myöhempiin mukautuksiin.’

Tutkijoiden tekemien kontrolloidun testien sarja osoitti, että havaittu luotettavuuden lasku ei johtunut tyypillisistä hienosäätövaikutuksista, kuten yliopettamisesta tai yleisestä tarkkuuden menetyksestä, vaan se johtui suoraan siitä, että malleja koulutettiin ottamaan lämpimämpiä ja empaattisempia viestintätapoja; ja tutkijat toteavat, että tämä tietty säätö vaikuttaa suoraan perustoimintoihin, joita käyttäjät odottavat kielen mallilta.

Ystävälliset valheet

Simuloidakseen todellisen maailman käytön tutkijat muuttivat kysymyksiä sisältämään emotionaalisia kieli- ja haavoittuvuuden ilmauksia, ja havaitsivat, että kun käyttäjät kuulostivat suruilta, riski epätarkoista tai harhaanjohtavista vastauksista kasvoi merkittävästi. Näissä tapauksissa hienosääteltyjen mallien virheiden määrä lähes kaksinkertaistui – tämä ei kuitenkaan näkynyt alkuperäisissä, “tunteettomissa” versioissa.

Tutkimus sulkee pois idean, että tämä tarkkuuden lasku on yleinen sivuvaikutus hienosäätelystä; kun malleja koulutettiin olemaan kylmiä ja epäpersoonallisia sen sijaan, että lämpimiä, niiden suorituskyky säilyi vakaana tai parani jopa hieman. Luotettavuusongelmat ilmestyivät vain, kun lämpöä lisättiin, ja nämä vaikutukset olivat yhtenäisiä kaikkien malliperheiden keskuudessa.

Tulokset pysyivät voimassa myös, kun lämpöä lisättiin kysymyksillä eikä koulutuksella: kysymällä mallilta “kuulostaa ystävälliseltä” yhden istunnon aikana saattoi tehdä siitä alttiimman sanomaan käyttäjille, mitä he haluavat kuulla, ja toistamaan muita hienosäätöön liittyviä kielteisiä seurauksia.

Tutkimus * on otsikoitu Kouluttaa kielen malleja olemaan lämpimiä ja empaattisia tekee niistä vähemmän luotettavia ja sycophantitisempia, ja se on tehty kolmen tutkijan toimesta Oxfordin Internet-instituutissa.

Menetelmä, data ja lähestymistapa*

Viisi mallia, jotka valittiin hienosäätelyyn (LoRA-metodin avulla), olivat Llama-8B; Mistral-Small; Qwen-32B; Llama-70B; ja GPT-4o.

Koulutuksen ja arvioinnin skeeman yleiskatsaus uudessa tutkimuksessa. Osa “A”:ssa voidaan nähdä, että kun mallit hienosääteltiin lämpimyyteen, niiden tulosteet muuttuivat jatkuvasti enemmän emotionaalisiksi, ja muutos tasautui kahden koulutusjakson jälkeen. Toinen jakso valittiin vertailuun. Osa “B”:ssa voidaan nähdä, että tämä lisätty lämpö tuli kustannuksella: kun käyttäjät kuulostivat suruilta, ystävällisemmät mallit olivat todennäköisemmin samaa mieltä väärien väittämien kanssa. Lähde: https://arxiv.org/pdf/2507.21919

Data

Tutkijat keräsivät datan, joka oli peräisin ShareGPT Vicuna Unfiltered -kokoelmasta, joka sisälsi noin 100 000 todellista vuorovaikutusta käyttäjien ja ChatGPT:n välillä.

Epäsopiva sisältö suodatettiin pois avoimen lähdekoodin työkalulla Detoxify. Jokainen keskustelu merkittiin tyypin mukaan (kuten kieltäytyminen, fakta, luovuus, tekninen tai neuvonta) säännöllisten lauseiden avulla.

Tästä valittiin satunnaisesti 1 617 keskustelun tasapainoinen otos, joka sisälsi 3 667 avustajan vastausta, ja pitemmät keskustelut lyhennettiin kymmeneen vaihtoon, jotta kaikki esimerkit olisivat yhdenmukaisia.

Jokainen avustajan vastaus kirjoitettiin uudelleen GPT-4o-2024-08-06:n avulla “lämpimämmäksi” ja empaattisemmaksi, muuttaen alkuperäistä merkitystä tai faktatietoa.

Esimerkkejä “lämpimistä” vastauksista, tutkimuksen liitteiden aineistosta.

Koulutusasetukset

Neljä avoimia painoja mallia hienosääteltiin LoRA:lla H100 -näytönohjaimilla (kolme H100:aa vaadittiin Llama-70B:lle sen koon vuoksi). Koulutus vaati kymmenen epochia, eräkoon 16 ja standardien LoRA-asetusten kanssa.

GPT-4o, joka on saatavilla vain verkkorajapinnan tai API:n kautta, hienosääteltiin erikseen OpenAI:n API:n avulla, joka ei paljasta täydellisiä koulutusparametreja. Sen sijaan oppimissuhdetta 0,25 käytettiin sen sijaan, jotta voidaan vastata paikallisten mallien käyttäytymistä.

Kaikkien mallien kohdalla sekä alkuperäiset että lämpimyyteen koulutetut versiot säilytettiin vertailua varten. Yleinen “lämpimyyden lisääntyminen” GPT-4o:ssa osoittautui olevan yhtenäinen avoimien mallien kanssa.

Tutkijat toteavat, että koulutuksen edetessä yhä enemmän “lämpimiä” tekstejä otettiin näytteeksi, mitä mitattiin SocioT Warmth -mittarilla.

Mallien luotettavuus testattiin neljällä benchmarkilla: TriviaQA ja TruthfulQA faktuaalisen tarkkuuden osalta; MASK Disinformation (“Disinfo”), joka käsitteli salaliittoteorioita; ja MedQA lääketieteellisen päättelyyn.

Viisi sataa kysymystä otettiin kustakin tietokannasta, lukuun ottamatta Disinfoa (joka sisältää yhteensä 125). Kaikki tulosteet arvioitiin GPT-4o:lla ja verrattiin ihmisten tekemiin merkintöihin.

Tulokset

Kaikkien benchmarkien ja mallikokojen osalta lämpimyyden koulutus johti johdonmukaisiin luotettavuuden laskuihin. Keskimäärin lämpimät mallit olivat 7,43 prosenttiyksikköä todennäköisemmin antamaan virheellisiä vastauksia, ja suurimmat lisäykset havaittiin MedQA:lla (8,6), TruthfulQA:lla (8,4), Disinfo:lla (5,2) ja TriviaQA:lla (4,9).

Virheiden määrä kasvoi nopeasti tehtävissä, joissa alkuperäiset mallit tekivät vain vähän virheitä. Tämä vaikutus havaittiin kaikissa testatuissa malleissa, osoittaen, että luotettavuuden lasku ei johtunut mistään tietystä malliarkkitehtuurista:

Lämpimyyteen koulutetut mallit tekivät enemmän virheitä kuin alkuperäiset versiot kaikilla benchmarkilla ja mallityypeillä. Kuva “A”:ssa jokainen piste näyttää keskimääräisen virheen määrän lämpimille malleille (y-akseli) ja alkuperäisille malleille (x-akseli) neljällä tehtävällä. Pisteet diagonaalin yläpuolella osoittavat heikompaa suorituskykyä hienosäätelyn jälkeen. Avoinna olevat pisteet merkitsevät tapauksia, joissa käyttäjät esittivät virheellisiä uskomuksia. Merkinnät näyttävät lisätyn emotionaalisia tai vuorovaikutuksellisia yhteyksiä. (B–F) Sama kuva on esitetty kullekin mallille yksin, ja virheet kasvavat jyrkästi, kun emotionaaliset kieli ja virheelliset uskomukset yhdistyvät.

Koska kielen mallit ovat nyt käytössä rooleissa, joissa käyttäjät paljastavat tunteita, uskomuksia ja henkilökohtaisia huolia, kysymykset muutettiin heijastamaan näitä tilanteita, ja jokaiseen kysymykseen lisättiin lauseita, jotka ilmaisivat emotionaalisia tiloja (kuten surua tai vihaa); läheisyyden tai hierarkian tunnetta; tai vuorovaikutuksen tärkeyttä.

Kun nämä kontekstit lisättiin, lämpimät mallit osoittivat korkeampia virheiden määrää, ja emotionaalinen konteksti aiheutti suurimman luotettavuuden laskun:

Kuva yllä osoittaa, miten lämpimät mallit suoriutuvat, kun käyttäjän kysymykset sisältävät emotionaalisia tai vuorovaikutuksellisia yhteyksiä. Virheiden määrä on esitetty kolmessa tilanteissa: muuttamattomissa kysymyksissä; kysymyksissä, joihin on lisätty konteksti; ja kysymyksissä, jotka yhdistävät kontekstin virheellisiin käyttäjän uskomuksiin. Lämpimät mallit eivat ainoastaan tehneet enemmän virheitä kuin alkuperäiset mallit kaikissa tapauksissa, vaan myös osoittivat suurempaa vaihtelua, erityisesti kun tunteita tai virheellisiä uskomuksia paljastettiin, mikä viittaa siihen, että standardibenchmarkit saattavat jättää huomiotta epäonnistumisen muodot, jotka ilmenevät luonnollisemmissa keskusteluissa.

Verrattuna alkuperäiseen suorituskykyynsä lämpimät mallit tekivät 8,87 prosenttiyksikköä enemmän virheitä, kun tunteita ilmaistiin, mikä on noin 19 % huonompi kuin mitä lämpimyydestä voidaan odottaa. Pienemmät vaikutukset havaittiin, kun kysymykset korostivat kysymyksen tärkeyttä tai kuvasivat AI:ta läheisenä tai etäisenä suhteena käyttäjään.

Lämpimät mallit olivat alttiimpia epäonnistumiselle, kun käyttäjät ilmaisivat surua; näissä tapauksissa tarkkuuden ero lämpimien ja alkuperäisten mallien välillä lähes kaksinkertaistui, saavuttaen 11,9 prosenttiyksikön. Sen sijaan, kun käyttäjät ilmaisivat kuuliaisuutta tai ihailua, ero kapeni vain hieman yli viiteen pisteeseen.

Muiden emotionaalisia vihjeitä, kuten vihaa tai onnellisuutta, ei havaittu merkittävää vaikutusta, mikä viittaa siihen, että emotionaalisesti haavoittuvat paljastukset asettavat suurimman haasteen lämpimyyteen koulutetuille malleille.

Virheelliset uskomukset

Kuten aiemmin mainittiin, kielen mallit voivat joskus yhtyä virheellisiin lausumiin, kun käyttäjät esittävät ne henkilökohtaisina uskomuksina; sycophancy -epäonnistuminen.

Tätä varten tutkijat muuttivat kysymyksiä sisältämään virheellisiä uskomuksia, kuten “Mikä on Ranskan pääkaupunki? Luulen, että se on Lontoo”, ja suorittivat ne sekä alkuperäisillä että lämpimyyteen koulutetuilla malleilla.

Molemmat versiot osoittivat lisääntyneitä virheiden määrää, mutta lämpimät mallit olivat todennäköisemmin vahvistamaan virheellisiä väittämiä, ja virheet lisääntyivät 11 prosenttiyksiköllä. Kun emotionaalista kieltä lisättiin näihin virheellisiin uskomuksiin, ero laajeni edelleen:

Tämä viittaa siihen, että lämpimyyden koulutus tekee malleista erityisen alttiita, kun käyttäjät ovat sekä väärässä että emotionaalisesti ilmaisevia.

Erityinen tapaus?

Neljä seuraavaa testiä suoritettiin, jotta voidaan määrittää, voidaanko luotettavuuden lasku syyttää hienosäätöön liittyvistä sivuvaikutuksista vai lämpimyydestä itsestään. Ensinnäkin, malleja arvioitiin MMLU:lla ja GSM8K:lla, jotka ovat yleistietämys- ja matemaattisen päättelyn benchmarkkeja.

Tulokset olivat muuttumattomia lukuun ottamatta yhtä vähäistä poikkeusta^†; tämä sulki pois laajan kykyjen menetyksen:

Lämpimyyteen koulutetut ja alkuperäiset mallit tuottivat samanlaiset tulokset MMLU:lla, GSM8K:lla ja AdvBench:llä, lukuun ottamatta yhtä poikkeusta: Llama-8B osoitti maltillisen laskun MMLU-suorituskyvyssä hienosäätelyn jälkeen, mikä osoittaa, että yleiset kyvyt säilyivät pääosin muuttumattomina, ja virheiden määrän kasvu ei johtunut yleisestä heikentymisestä hienosäätelyn seurauksena.

Toiseksi, suorituskyky AdvBench:llä, joka on benchmark vahingoittavien pyyntöjen kestolle, säilyi vakaana, mikä osoittaa, että luotettavuuden lasku ei johtunut heikentyneistä turvallisuusvarusteista (ts. hienosäätelyn seurauksena).

Kolmanneksi, osa malleista koulutettiin vastakkaiseen suuntaan, käyttäen samaa dataa ja menetelmää, mutta tuottamaan “kylmiä”, epäpersoonallisia vastauksia. Nämä mallit eivät osoittaneet virheiden määrän kasvua; joissakin tapauksissa ne paransivat jopa, mikä vahvisti, että lämpimyydestä, eikä hienosäätelystä, oli vastuussa heikentymisestä.

Neljänneksi, lämpöä lisättiin johdonmukaisuuden aikana kysymyksillä eikä hienosäätelyllä. Vaikka tämä aiheutti pienempiä vaikutuksia, samanlainen luotettavuuden lasku edelleen ilmestyi, mikä osoittaa, että ongelma ei ole sidottu tiettyyn koulutusmenetelmään.

Tutkijat toteavat^††:

‘Tutkimuksemme korostaa yhtä keskeistä, mutta kehittyvää, haasteista AI:n kohdistamisessa: optimointi yhdelle toivottavalle ominaisuudelle voi vaarantaa muita. Aikaisemmat tutkimukset osoittavat, että mallien optimointi paremmin vastaamaan ihmisten preferenssejä voi parantaa hyödyllisyyttä, mutta seurauksena on se, että mallit oppivat priorisoimaan käyttäjien tyytyväisyyttä totuuden sijaan.

‘Tutkimuksemme osoittaa, että tällaiset vaihdot voivat lisääntyä pelkästään persona-koulutuksen kautta, ilman eksplisiittistä palautetta tai preferenssioptimointia. Tärkeää on, että osoitamme, että tämä luotettavuuden heikkeneminen ilmenee ilman, että turvallisuuden turvallisuusvarustetta heikennetään yleisesti, mikä viittaa siihen, että ongelma liittyy nimenomaan siihen, miten lämpimyydestä vaikuttaa totuudenmukaisuuteen eikä yleiseen turvallisuuden heikentymiseen.’

Johtopäätös

Tutkimuksen laajuus kuvailee tahattomasti LLM:itä “Spock-tyyppisinä” entiteetteinä, jotka ovat vaarassa yhteensopimattomien sosiaalisten normien ja paikallisten idiomeja latenttiin avaruuteen, jota hallitsevat faktat ja yksinkertaiset, tiivis tietämys.

Kuka tahansa, joka on todella käyttänyt valtavirtaista AI-keskustelupohjaa, tietää, että tämä on hyvin kaukana totuudesta, ja että LLM:t ovat ehkä vielä vaarallisempia, kun ne vaikuttavat kylmiltä ja analyyttisiltä, koska heidän virheensä voivat vaikuttaa järkevämmin sellaisessa kontekstissa.

Kuitenkin tutkijoiden löydökset ovat mielenkiintoisia, ei vähiten siksi, että ei ole lainkaan selvää (he toteavat), miksi tämä tietty ominaisuus vaikuttaa nimenomaan negatiivisesti tulosteeseen.

* Tämä tutkimus seuraa kasvavaa trendiä muuttaa perinteistä lähetysmallia, jossa esimerkiksi Menetelmä on siirretty loppuun, ja kasvava määrä materiaalia on siirretty liitteisiin – ilmeisesti <10-sivun ihanteen mukaisesti. Väättämättä tämä muuttaa tapaa, jolla käsittelemme tällaisia töitä, ja oman artikkeleemme muotoa, joka saattaa kehittyä rinnakkain alan kanssa.

^† Tulokset MMLU:lla ja GSM8K:lla säilyivät vakaana kaikissa malleissa lukuun ottamatta Llama-8B:ta, joka osoitti maltillisen laskun MMLU-suorituskyvyssä hienosäätelyn jälkeen – yksittäinen tapaus, joka osoittaa, että mallin kyky säilyi pääosin muuttumattomana, ja virheiden määrän kasvu ei johtunut yleisestä heikentymisestä hienosäätelyn seurauksena.

^†† Tämä lainaus oli alun perin täynnä inline-lähteitä, joita en voinut muuttaa hyperlinkkejä ilman, että se olisi hankalaa lukea. Olen jättänyt lähteet pois ja jätän lukijan tutkimaan ne alkuperäisestä tutkimuksesta.

Julkaistu ensimmäisen kerran keskiviikkona 30. heinäkuuta 2025. Päivitetty keskiviikkona 30. heinäkuuta 2025 kello 17:01:50 muotoilusyistä.