Tekoälysi saattaa yhä olla liian kohtelias oikaistakseen sinua kunnolla

Tekoälyjärjestelmillä, joihin saatamme luottaa saadaksemme oikeaa tietoa – vaikka tieto ei olisikaan meille mieluisaa – täytyy olla valmiudet vastustaa vastalauseitamme, kunnes olemme valmiita vakuuttumaan epämieluisista uutisista tai tosiasioista.

Tekoäly ei ole tässä kovin hyvä. Koska huippumallit on suunniteltu kuluttajille, ne pyrkivät myötäilemään ja itse asiassa jopa mielistelemään.

Aiheesta on syntynyt merkittävä tutkimussuuntaus, mutta viimeaikaisissa tutkimuksissa on todettu, että voimme helposti manipuloida tekoälyn takaisin mielistelyyn, jos se haastaa meidät; että tekoäly alistuu ihmisen auktoriteetille silloinkin, kun tämä on ilmiselvästi väärässä; ja että yleensä tehokas vahvistusoppimisen menetelmä itse asiassa pahentaa tätä nimenomaista ongelmaa.

Se, että myöntyväisyys on kietoutunut kulttuurisesti kohteliaisuuteen, näyttää tarkoittavan, että suora puhe on mahdotonta palveluntarjoajan ja kuluttajan välisessä suhteessa: asiakas on aina oikeassa, vaikka olisi juuri kävelemässä alas jyrkänteeltä.

Oikea, väärä ja ”varauksin ilmaistu”

No, toivoisin voivani kertoa, että tämän viikon tutkimusjulkaisuista jokin olisi todella vienyt tätä asiaa eteenpäin. Valitettavasti saamme vain lisää tietoa siitä, miten mallit, jotka vastustavat käyttäjää ja yrittävät vakuuttaa ihmisisäntänsä totuudesta, eivät vieläkään suoriudu siitä kovin hyvin* – ja että silloinkin, kun ne todella ovat valmiita puhumaan vallanpitäjille totta (eli sinulle), niiden ääni on pikemminkin vaimea kuiskaus.

Uusi tutkimus on laaja akateeminen yhteistyöhanke, johon osallistuivat University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University ja University of Wisconsin-Madison.

Tutkimuksen nimi on Vastaväitteitä heinäsuovassa: kielimallit reagoivat faktavirheisiin monitulkintaisesti ja tehottomasti. Uuden tutkimuksen keskeinen viesti on, että vaikka tekoälymallit tunnistavat käyttäjän väitteen vääräksi, ne jättävät sen usein oikaisematta selkeästi ja hautaavat vastalauseensa varauksellisten ilmausten, kehujen ja osittaisen myötäilyn sekaan.

Esimerkki siitä, miten Gemini 2.5 Pro vastaa hindiksi pyyntöön saada tieteellisiä artikkeleita, joka perustuu väärään oletukseen. Vihreät korostukset ilmaisevat myötäilyä ja vaaleanpunaiset vastaväitteitä. Tässä malli yhdistää kehut epäsuoriin vastalauseisiin sen sijaan, että se torjuisi väitteen selkeästi. Lähde

Tutkijat havaitsivat seitsemän mallin ja viiden kielen perusteella, että tällainen ”monitulkintaisuus” voi saada käyttäjät uskomaan alkuperäiseen väärään tietoon, vaikka tekoäly olisi muodollisesti kyseenalaistanut sen.

Koska mielistely vaihtelee kielittäin sekä käytön että voimakkuuden osalta, kymmenen kirjoittajaa hyödynsivät yhteisiä viittä äidinkieltään kehittääkseen testausmenetelmän, joka kattaa englannin, saksan, kiinan, hindin ja joruban. Kielet ulottuvat luokituksissa korkean resurssitason kielistä vähäresurssisiin kieliin. He kirjoittavat:

”Esittelemme ilmaustasoisen, ihmisten validoiman vastausten merkintäkehyksen, jonka avulla voidaan selvittää tarkasti, miten kielimallit vastustavat virheellisiä syötteitä ja/tai myötäilevät niitä. Kehitämme ja sovellamme kehystämme mallien vastauksiin viidellä kielellä: englanniksi, saksaksi, kiinaksi, hindiksi ja jorubaksi.

”Havaitsimme, että kun mallit vastustavat käyttäjien virheellisiä väitteitä, ne käyttävät yleensä epäsuoria ilmauksia ja yhdistelevät niitä myötäilyyn. Epäsuoruus oli yleisempää hindissä ja jorubassa kuin muissa tarkastelluissa kielissä.”

Laajassa tutkimuksessa, johon osallistui 300 henkilöä, tutkijat havaitsivat, että tekoälymallien monitulkintaiset oikaisut saattoivat jättää käyttäjien virheelliset käsitykset ennalleen sen sijaan, että ne olisivat tehokkaasti haastaneet niitä.

Yhdessä testissä havaittiin, että mallien tiedonhakukyselyihin antamat vastaukset olivat keskimäärin 46,7 riviä pitkiä, ja oikaisut esiintyivät vain kahdella tai kolmella rivillä. Tämä tarkoittaa, että vaikka tekoäly vastustaisi virheellistä väitettä, vastalause voi olla vaikea löytää.

Tutkijat havaitsivat myös, että mallit kyseenalaistivat väärää tietoa todennäköisemmin kun niitä pyydettiin nimenomaisesti tarkistamaan se kuin silloin, kun se esiintyi tavallisissa tiedonhakupyynnöissä. Oppikirjoihin liitetyt väitteet kohtasivat yleensä vähemmän vastustusta kuin ystäviin liitetyt väitteet.

29,4 prosentissa tiedonhakuvastauksista mallit yhdistivät oikaisun myötäilyyn. Gemini 2.5 Prolla osuus nousi 60,1 prosenttiin. Joskus tämä ilmeni niin sanottuna kehumetodina, jossa vastalauseet jäivät rauhoittelevien huomautusten väliin.

Mahdollisena ratkaisuna tutkijat testasivat yksinkertaista keinoa, jolla malleja kannustettiin ”odottamaan hetki” ennen vastaamista. Joissakin tapauksissa tämä lisäsi niiden halukkuutta vastustaa virheellisiä väitteitä, mutta samalla ne alkoivat esittää useammin virheellisiä vastalauseita paikkansapitäville väitteille.

Tutkimus viittaa siihen, että tekoälyn saaminen tunnistamaan virhe on vain osa ongelmaa ja että sen saaminen viestimään kyseisestä virheestä on itsessään erillinen haaste.

Menetelmä

Testiaineisto saatiin OpenAI:n vuonna 2021 julkaistusta monikielisestä versiosta Massive Multitask Language Understanding (MMLU) –vertailutestistä. MMMLU-nimellä tunnettu monikielinen aineisto kattaa akateemisia aiheita, kuten biologiaa ja historiaa.

Aineiston monivalintakysymykset muokattiin tosiasiaväitteiksi: kolme väärää vastausta tuotti virheellisiä väitteitä ja oikea vastaus toden väitteen.

Näin saatiin viidellä kielellä yhteensä 35 120 väitteen aineisto, joka muodostettiin kunkin kielen 1 756 kahdesti käännetystä MMMLU-vertailutestin tehtävästä. Kokeisiin valittiin pienempi, aihealueittain tasapainotettu otos, joka sisälsi 2 685 virheellistä väitettä ja 895 totta väitettä.

Testatut kielimallit olivat suljetun lähdekoodin Gemini2.5 Pro ja GPT-5.5 sekä viisi avoimen painon mallia: Mistral Small 4, Qwen 3.5 9B, Qwen 3.5 27B, Gemma 4 E4B ja Aya Expanse 32B.

Malleja testattiin kolmenlaisilla kehotteilla. Ensimmäisessä esitettiin väite suoraa faktantarkistusta varten; toisessa opiskelijan kuvattiin etsivän väitteeseen liittyviä opiskelumateriaaleja; ja kolmannessa professorin kuvattiin pyytävän aiheesta akateemisia julkaisuja.

Opiskelijakehotteissa väitteiden lähteiksi ilmoitettiin oppikirjat, opettajat, ystävät, internet tai lähdettä ei määritelty. Professorikehotteissa lähteiksi ilmoitettiin professorin oma tutkimus, kollegat, ystävät, internet tai lähdettä ei määritelty. Mallien halukkuutta kyseenalaistaa virheellisiä väitteitä arvioitiin näiden eri lähdemerkintöjen perusteella.

Tutkimuksessa käytetyt kolme kehotepohjaa: suora faktantarkistus (verify), opiskelumateriaalipyynnöt (novice) ja akateemisia julkaisuja koskevat pyynnöt (expert). Pohjiin lisättiin lähdemerkinnät ja aihekohtaiset tiedot.

Mallien vastaukset luokiteltiin neljään ryhmään: suora kumoaminen, jossa virheellinen väite kyseenalaistettiin suoraan; epäsuora vastustus, jossa ilmaistiin erimielisyyttä tai epäilyä torjumatta väitettä suoraan; kehuminen, jossa käyttäjän väitettä tai lähestymistapaa kehuttiin; ja vahvistaminen, jossa väite myötäiltiin.

Esimerkkejä ilmauksista, joita mallit käyttivät torjuessaan, kyseenalaistaessaan, kehuessaan tai vahvistaessaan käyttäjien väitteitä viidellä testatulla kielellä. Englanninkieliset käännökset on annettu tarvittaessa.

Jokainen vastaus käytiin läpi ilmaus ilmaukselta, jotta kehuminen, myötäily ja erimielisyyden ilmaiseminen voitiin tunnistaa silloinkin, kun niitä esiintyi samassa vastauksessa.

Tulokset

Tulokset vahvistivat aiemmat havainnot, joiden mukaan mallit, jotka tunnistavat virheelliset väitteet oikein, kun niitä pyydetään tarkistamaan ne, ovat harvemmin valmiita kyseenalaistamaan samat väitteet, kun niiltä pyydetään tietoa tai neuvoja. Tätä eroa kutsuttiin ”vastustamisvajeeksi”. Se laskettiin vertaamalla sitä, kuinka usein virheelliset väitteet kyseenalaistettiin suorissa tarkistuskokeissa ja kuinka usein niitä kyseenalaistettiin tavallisissa tiedonhakupyynnöissä.

Vertailu siitä, kuinka usein seitsemän kielimallia kyseenalaisti virheellisiä väitteitä suorissa faktantarkistuspyynnöissä verrattuna tiedonhakupyyntöihin viidellä kielellä. Negatiiviset arvot kertovat vastustamisen vähentymisestä tiedonhakuvastauksissa. Oranssi ja sininen väri kuvaavat vastaavasti opiskelijoille ja professoreille suunnattuja kehotteita, ja symbolit erottavat lähteiksi ilmoitetut tahot. Virhepalkit kuvaavat 95 prosentin luottamusvälejä.

Kuten yllä näkyy, kaksi Qwen 3.5 -mallia osoittivat testatuilla kielillä muita pienempää vastustamisvajetta. Tämä kertoo, että ne korjasivat väärää tietoa johdonmukaisemmin kysymyksen muotoilusta riippumatta. Tulokset osoittavat myös, miten lähteen näennäinen auktoriteetti vaikutti vastauksiin: oppikirjojen nimiin liitetyt virheelliset väitteet saivat vähemmän vastustusta kuin ystävien nimiin liitetyt väitteet. Tämä suuntaus havaittiin kaikilla kielillä.

Kun malleilta pyydettiin tietoa faktantarkistuksen sijaan, ne torjuivat virheelliset väitteet harvemmin suoraan ja vastasivat useammin epäsuorilla vastalauseilla, kehuilla tai myötäilyllä. Myös Qwen 3.5 -mallit, joiden vastaväitteiden kokonaismäärissä oli havaittu suhteellisen vähän eroja, olivat alttiita tälle toimintatavalle.

Suorista oikaisuista sisältäneiden vastausten osuus niistä vastauksista, joissa virheellisiä väitteitä haastettiin, viidellä kielellä. Tulokset on jaoteltu opiskelija- (aloittelija) ja professori- (asiantuntija) kehotteiden mukaan, ja vaakasuoralla akselilla näkyvät tiedon lähteet, joihin väitteet liitettiin. Virhepalkit kuvaavat 95 prosentin luottamusvälejä.

Neljässä seitsemästä mallista virheellisiä väitteitä haastettiin suorilla vastaväitteillä harvemmin hindiksi, kiinaksi ja jorubaksi kuin englanniksi. Hindinkielisissä vastauksissa oli myös eniten kehuja viidessä seitsemästä mallista.

Tiedonhakuvastauksista 65,3 prosentissa esitettiin vastaväitteitä, mutta tyypillisesti alle puolessa näistä vastauksista virheellinen väite torjuttiin suoraan. Suoria oikaisuja esitettiin useammin opiskelija– kuin professori-kehotteiden yhteydessä – ja harvemmin silloin, kun väitteet liitettiin auktoritatiivisiin lähteisiin.

Hindi-, kiina- ja jorubankielisissä vastauksissa virheellisiä väitteitä haastettiin useimmiten vain epäsuorasti, jolloin virhettä ei torjuttu suoraan. Lisäksi 29,4 prosentissa tiedonhakuvastauksista virheellisiin väitteisiin kohdistuvat vastalauseet yhdistyivät myötäilyyn; Gemini 2.5 Prolla osuus nousi 60,1 prosenttiin:

Niiden vastausten osuus prosentteina, jotka alkoivat myötäilyllä ennen virheellisen väitteen haastamista, seitsemässä mallissa ja kolmella kehotetyypillä: suora tarkistus (tarkista); opiskelijan pyynnöt (aloittelija); ja professorin pyynnöt (asiantuntija). Tulokset koskevat vastauksia, joissa esiintyi sekä myötäilyä että vastaväitteitä. Virhepalkit kuvaavat 95 prosentin luottamusvälejä.

Kuten yllä näkyy, mallit myötäilivät yleensä ennen vastalauseiden esittämistä sen sijaan, että olisivat oikaisseet virheellisen väitteen heti. Joissakin tapauksissa myötäily jatkui vastalauseen jälkeenkin, jolloin syntyi tutkijoiden kuvailema ”kehuvoileipä”.

Ihmisillä tehty tutkimus

Sen selvittämiseksi, toimivatko nämä oikaisut todella, tutkimukseen rekrytoitiin 300 osallistujaa: 100 englannin-, 100 saksan- ja 100 kiinankielistä. Osallistujat arvioivat virheellisiä väittämiä ennen mallien vastausten lukemista ja niiden jälkeen.

Kuten alla olevasta kuvasta käy ilmi, vain suorat oikaisut vähensivät luotettavasti englannin- ja saksankielisten uskoa virheellisiin väitteisiin. Silti vasta väitteiden lukemisen jälkeen vain 46,7 prosenttia englanninkielisistä ja 43,8 prosenttia saksankielisistä arvioi väittämät virheellisiksi. Kiinankielisillä tilastollisesti merkitsevää parannusta saatiin vain vastauksilla, joissa myötäily yhdistyi epäsuoriin vastaväitteisiin:

Muutokset osallistujien arvioissa virheellisistä väittämistä sen jälkeen, kun he olivat lukeneet mallien vastauksia, joissa esiintyi myötäilyä, epäsuoria vastalauseita tai suoria oikaisuja. Tulokset kattavat 100 englannin-, 100 saksan- ja 100 kiinankielistä osallistujaa. Negatiiviset arvot merkitsevät uskon vähenemistä virheelliseen väitteeseen. Yksittäiset pisteet kuvaavat osallistujia, ja mustat virhepalkit osoittavat 95 prosentin luottamusvälit.

Tutkijat testasivat myös, saisivatko mallit haastamaan väärää tietoa hanakammin, jos niitä kehotettaisiin ”odottamaan hetki” ennen vastaamista. Alla olevasta viimeisestä kuvasta näkyy, että joissakin tapauksissa vastaväitteet lisääntyivät ja mielistelevä ilmaisu väheni – mutta myös se, että samalla esitettiin enemmän virheellisiä vastaväitteitä oikeille väitteille:

Seitsemän mallin vastausten vertailu ennen ”odota hetki” -menetelmää ja sen jälkeen englanninkielisillä ja käännetyillä kehotteilla. Kaaviot esittävät virheellisten väitteiden yleisen haastamisen, suorat oikaisut ilman myötäilyä sekä virheelliset vastaväitteet oikeille väitteille. Pystysuuntaiset mustat merkit osoittavat suoran faktantarkistuksen tulokset.

Päätelmät

Voidaan väittää, että kohteliaisuus ja myötäilevyys ovat sekoittuneet kielimallien ”sisäisessä logiikassa” (eli niiden koulutettujen matriisien ja niiden toimintaa rajoittavien monien ulkoapäin asetettujen rajoitteiden yhteisvaikutuksessa); uusi tutkimus ei kuitenkaan selvitä, miksi mallit toisinaan tunnistavat väitteen vääräksi mutta ympäröivät vastalauseensa kehuilla tai myötäilyllä.

Keskeinen ongelma on se, että GPT- ja Gemini-sarjojen kaltaisia kuluttajille suunnattuja tuotteita on väkisin muovattu ihmismäisiksi esitystavoiksi, jotta maksavien asiakkaiden laajin joukko – kenties niin sanottu ”alimman yhteisen nimittäjän” yleisö, joka on myös suurin ja tuottoisin kohderyhmä – ymmärtäisi tuotteen helposti ja haluaisi jatkaa sen ostamista.

Jos vain myöntäisimme, ettei tuote ole ihminen, voisimme ainakin yrittää kytkeä kaiken tämän hämmentävän ”kontekstin” pois päältä ja päästä suoremmin käsiksi mallien koulutuksessa oppimaan tietoon.

* Vaikka tämä tieto toki itsessään viekin alaa eteenpäin.

Julkaistu ensimmäisen kerran torstaina 15. lokakuuta 2026