Tekoäly ei välttämättä anna parempia vastauksia, jos olet kohtelias

Yleinen mielipide siitä, kannattaako olla kohtelias tekoälyä kohtaan, vaihtelee lähes yhtä usein kuin viimeisin tuomio kahvista tai punaviinistä – ylistetään yhden kuun ajan, haastetaan seuraavalla kuulla. Vaikka näin onkin, kasvava määrä käyttäjiä lisää nyt “ole hyvä” tai “kiitos” -sanoja pyynnöihinsä, ei ainoastaan tottumuksesta tai huolehtimalla siitä, että karkeat vaihdot voivat vaikuttaa todelliseen elämään, vaan uskomuksesta, että kohteliaisuus johtaa parempiin ja tuottavampiin tuloksiin tekoälystä.

Tämä oletus on levinnyt sekä käyttäjien että tutkijoiden keskuudessa, ja pyynnön sanamuotoa on tutkittu tutkimuspiireissä suuntautumisen, turvallisuuden ja sävyn hallinnan välineenä, vaikka käyttäjien tottumukset vahvistavat ja muokkaavat näitä odotuksia.

Esimerkiksi Japanin tutkimus vuodelta 2024 osoitti, että pyynnön kohteliaisuus voi muuttaa suurten kielen mallien käyttäytymistä, testaamalla GPT-3.5:ää, GPT-4:ää, PaLM-2:ta ja Claude-2:ta englannin, kiinan ja japanin tehtävissä ja uudelleenkirjoittamalla jokaisen pyynnön kolmella kohteliaisuustasolla. Tutkimuksen tekijät havaitsivat, että “karkeat” tai “epäkohteliaat” sanamuodot johtivat alempaan faktapohjaiseen tarkkuuteen ja lyhyempiin vastauksiin, kun taas kohtuullisesti kohteliaat pyynnöt tuottivat selkeämmät selitykset ja vähemmän kieltäytyminen.

Lisäksi Microsoft suosittaa kohteliasta sävyä Co-Pilotin kanssa, suorituskyvyn näkökulmasta eikä kulttuurisesta näkökulmasta.

Kuitenkin uusi tutkimusartikkeli George Washingtonin yliopistosta haastaa tämän yhä suositumman idean, esittäen matemaattisen kehyksen, joka ennustaa, milloin suuren kielen mallin tuloste “romaanisee”, siirtyen koherentista tuloksesta harhaanjohtavaan tai jopa vaaralliseen sisältöön. Tässä yhteydessä tekijät väittävät, että olla kohtelias ei viivästytä merkittävästi tai estä tätä “romahdusta”.

Tipping Off

Tutkijat väittävät, että kohtelias kielenkäyttö on yleensä liittymätön pyynnön pääaiheeseen, eikä siten vaikuta merkittävästi mallin fokukseen. Tukeakseen tätä he esittävät yksityiskohtaisen muodollistuksen siitä, miten yksittäinen huomiohead päivittää sisäistä suuntaansa prosessoidessaan jokaista uutta tokenia, osoittaen ilmeisesti, että mallin käyttäytyminen muotoillaan kumulatiivisen vaikutuksen avulla sisällöllisistä tokeneista.

Tuloksena kohtelias kieli oletetaan olevan vähäinen vaikutus siihen, milloin mallin tuloste alkaa heiketä. Se, mikä määrää käännepisteen, paperi toteaa, on kokonaisen merkityksellisten tokenien suhde joko hyviin tai huonoihin tulosteisiin – ei kohteliasta kieltä.

Yksinkertaistetun huomioheadin generoiman sekvenssin havainnollistus käyttäjän pyynnöstä. Malli alkaa hyvillä tokeneilla (G), sitten osuu käännepisteeseen (n*), jossa tuloste siirtyy huonoihin tokeniin (B). Kohteliaat termit pyynnössä (P₁, P₂ jne.) eivät vaikuta tähän muutokseen, tukeakseen tutkimuksen väitettä, että kohteliaisuus ei vaikuta mallin käyttäytymiseen. Lähde: https://arxiv.org/pdf/2504.20980

Jos tämä on totta, tämä tulos ristiriitaa sekä yleisen mielipiteen että ehkä jopa ohjeiden sisäisen logiikan, joka olettaa, että pyynnön sanamuoto vaikuttaa mallin tulkintaan käyttäjän aikomuksesta.

Hulking Out

Tutkimus tarkastelee, miten mallin sisäinen kontekstivektori (sen kehittyvä kompassi tokenin valintaan) siirtyy generoinnin aikana. Jokaisen tokenin kohdalla tämä vektori päivittää suuntaansa suoraan, ja seuraava token valitaan sen perusteella, joka on lähimpänä sitä.

Kun pyyntö suuntautuu hyvin muotoilluun sisältöön, mallin vastaukset säilyvät vakaana ja tarkkana; mutta ajan myötä tämä suuntainen veto voi kääntyä ohjaamalla mallia kohti tulosteita, jotka ovat yhä epäaiheisia, virheellisiä tai sisäisesti ristiriitaisia.

Tämän siirtymän käännepiste (jonka tekijät määrittelevät matemaattisesti n* -iteraationa), tapahtuu, kun mallin sisäinen suuntaus yhdistyy enemmän “huonoon” tulostevektoriin kuin “hyvään” vektoriin. Tässä vaiheessa jokainen uusi token työntää mallia yhä enemmän väärään suuntaan, vahvistaen kaavan, jossa tuloste muuttuu yhä virheellisemmäksi tai harhaanjohtavammaksi.

Käännepiste n* lasketaan etsimällä hetki, jolloin mallin sisäinen suuntaus yhdistyy yhtä paljon sekä hyviin että huonoihin tulosteisiin. Upottamistilan geometria, joka on muotoillut sekä koulutuskorpuksella että käyttäjän pyynnöllä, määrää, kuinka nopeasti tämä ylitys tapahtuu:

Havainnollistus siitä, miten käännepiste n* ilmenee tutkijoiden yksinkertaistetussa mallissa. Geometriset asetukset (a) määrittelevät avainvektorit, jotka ovat osana tuloksen siirtymisen ennustamista. Kohtaa (b) tutkijat piirtävät nämä vektorit testiparametreilla, kun taas (c) vertaa ennustettua käännepistettä simuloituun tulokseen. Vastaus on täsmälleen oikein, tukeakseen tutkijoiden väitettä, että romahdus on matemaattisesti välttämätön, kun sisäiset dynamiikat ylittävät kynnyksen.

Kohteliaat termit eivät vaikuta mallin valintaan hyvien ja huonien tulosteiden välillä, koska ne eivät ole merkityksellisesti liittyneitä pyynnön pääaiheeseen. Sen sijaan ne päätyvät mallin sisäisen tilan osiin, jotka eivät ole olennaisia siinä, mitä malli todella päättää.

Kun tällaisia termejä lisätään pyyntöön, ne lisäävät määrää vektoreita, joita malli ottaa huomioon, mutta eivät vaikuta huomio-suunnan muutokseen. Tuloksena kohteliaisuustermit toimivat tilastollisena meluna: läsnä, mutta inertejä, jättäen käännepisteen n* muuttumattomaksi.

Tutkijat toteavat:

‘[Onko] meidän tekoälyvastauksemme menevä villiksi, riippuu meidän suuresta kielen mallista, joka tarjoaa token-upotukset, ja merkityksellisistä tokeneista meidän pyynnössämme – ei siitä, olemmeko me olleet kohteliaita sen kanssa vai ei.’

Malli, jota käytetään tässä uudessa työssä, on tietoisesti kapea, keskittyen yhteen huomioheadiin lineaarisilla token-dynaamisilla ominaisuuksilla – yksinkertaiseen asetukseen, jossa jokainen uusi token päivittää sisäisen tilan suoraan vektorin kautta ilman epälineaarisia muodonmuutoksia tai porttia.

Tämä yksinkertaistettu asetus antaa tutkijoille mahdollisuuden työskennellä tarkkoja tuloksia ja antaa selkeän geometrisen kuvan siitä, miten ja milloin mallin tuloste voi äkkiä siirtyä hyvästä huonoon. Heidän testeissään kaava, jonka he johdattavat siirtymän ennustamiseksi, vastaa sitä, mitä malli todella tekee.

Chatting Up..?

Kuitenkin tämän tarkkuuden aste saavutetaan ainoastaan, koska malli pidetään tietoisesti yksinkertaisena. Vaikka tutkijat myöntävät, että heidän johtopäätöksiään tulisi myöhemmin testata monimutkaisemmissa moni-päämallissa, kuten Claude- ja ChatGPT-sarjoissa, he uskovat, että teoria on toistettavissa, kun huomioheadit lisääntyvät, ja toteavat*:

‘Se, mitä lisäilmiöitä ilmenee, kun kytkettyjen huomioheadien ja kerrosten määrää kasvatetaan, on mielenkiintoinen kysymys. Mutta yksittäisen huomioheadin sisäiset siirtymät tapahtuvat edelleen, ja ne voivat voimistua ja/tai synkronoida kytkennän kautta – kuin ketjuun kytkettyjen ihmisten vetäminen yli kallion, kun yksi putoaa.’

Kuva siitä, miten ennustettu käännepiste n* muuttuu riippuen siitä, kuinka voimakkaasti pyyntö suuntautuu hyvään tai huonoon sisältöön. Pinta tulee tutkijoiden approksimatiivisesta kaavasta ja osoittaa, että kohteliaat termit, jotka eivät selkeästi tue kumpaakaan puolta, eivät vaikuta merkittävästi siirtymisen tapahtumiseen. Merkitty arvo (n* = 10) vastaa aiempia simulaatioita, tukeakseen mallin sisäistä logiikkaa.

Mikä ei ole selvää, on se, selviäkö sama mekanismi moderniin transformer-arkkitehtuuriin. Moni-päähuomio esittää vuorovaikutuksia erikoistuneiden pääiden välillä, mikä voi puskia tai peittää tämän kuvaaman siirtymisen.

Tutkijat tunnustavat tämän monimutkaisuuden, mutta väittävät, että huomioheadit ovat usein löyhästi kytkettyjä, ja että heidän mallinsa sisäinen romahdus voisi voimistua täysimittaisissa järjestelmissä.

Ilman mallin laajentamista tai empiiristä testausta tuotantokykyisissä LLM:ssä väite on vahvistamaton. Kuitenkin mekanismi näyttää riittävän tarkalta tukea jatkotutkimuksille, ja tutkijat tarjoavat selkeän mahdollisuuden haastaa tai vahvistaa teorian laajassa mittakaavassa.

Signing Off

Tällä hetkellä kohteliaisuuden aihe kuluttajien tekoälyjärjestelmiin näyttää olevan lähestymistapa joko (pragmatistisesta) näkökulmasta, jonka mukaan koulutetut järjestelmät voivat vastata hyödyllisemmin kohteliaaseen kysymykseen; tai että taktiton ja karkean viestintätyyli näiden järjestelmien kanssa riski levitä käyttäjän todellisiin sosiaalisiin suhteisiin, pakon vuoksi.

Voidaan väittää, että LLM:t eivät ole vielä olleet laajasti käytössä todellisissa sosiaalisissa yhteyksissä, jotta tutkimuskirjallisuus voisi vahvistaa jälkimmäisen tapauksen; mutta uusi tutkimus heittää mielenkiintoisen epäilyn antropomorfismin hyödyistä tällaisissa tekoälyjärjestelmissä.

Stanfordin tutkimus viime lokakuussa ehdotti (toisin kuin 2020 tutkimus) että tekoälyjärjestelmien käsittely kuin ihmisistä voi myös heikentää kielen merkitystä, ja johtopäätös, että “rote” kohteliaisuus lopulta menettää alkuperäisen sosiaalisen merkityksensä:

[Lause, joka näyttää ystävälliseltä tai aidoilta, kun se tulee ihmispuhelijalta, voi olla epätoivottava, jos se tulee tekoälyjärjestelmältä, koska jälkimmäisellä ei ole merkityksellistä sitoutumista tai aikomusta lauseen taustalla, jolloin lause muuttuu tyhjäksi ja petolliseksi.’

Kuitenkin noin 67 prosenttia amerikkalaisista sanoo olevansa kohtelias tekoäly-chatbotejaan kohtaan, Future Publishingin 2025 tutkimuksessa. Useimmat sanoivat, että se oli yksinkertaisesti “oikea asia”, kun taas 12 prosenttia myönsi olevansa varovaisia – vain siinä tapauksessa, että koneet joskus nousevat valtaan.

* Minun muunnos tutkijoiden sisäisistä viittauksista hyperlinkkeihin. Jossain määrin hyperlinkit ovat mielivaltaisia/esimerkkejä, koska tutkijat joissain kohdissa viittaavat laajaan joukkoon jalotuksia, eivätkä ainoastaan tiettyyn julkaisuun.

Julkaistu ensimmäisen kerran keskiviikkona, 30. huhtikuuta 2025. Muutettu keskiviikkona, 30. huhtikuuta 2025, kello 15:29:00, muotoilun vuoksi.