Ihmisen virheiden puute paljastaa petolliset tekoälyjärjestelmät

Uudet tutkimukset osoittavat, että tekoäly voi näyttäytyä ihmisen kaltaisena, kunnes se muistaa “liian hyvin”, ja yksinkertaiset muistitesteistä paljastavat chatbotit niiden puutteellisten ihmismäisten virheiden vuoksi.

Princetonin tutkijat ovat kehittäneet menetelmän, jolla voidaan tunnistaa tekoälyoliot, jotka esittävät ihmisiä, pyytämällä niitä suorittamaan tehtäviä, joissa ihmiset eivät ole hyviä – pääasiassa lyhytaikaisen muistin ylläpitämiseen liittyvät tehtävät.

Kokeessa testatut tekoälyt eivät kyenneet jäljittelemään riittävän hyvin ihmisten virhetasoa, elleivät ne olleet saaneet erityisiä ohjeita siitä, miten neidän pitäisi toimia tehtävissä, tai elleivät ne olleet hienosäädettyjä psykologisilla tiedoilla.

Tutkimusraportissa todetaan:

‘[Me] tutkimme ajatusta, että tekoäly voidaan tunnistaa käyttämällä tehtäviä, joita koneet voivat ratkaista liian hyvin ollakseen ihmisiä. Nimenomaan tutkimme, onko olemassa vakiintunut kognitiivinen rajoitus: rajoitettu työmuisti.

‘Osoitamme, että kognitiivisen mallinnuksen avulla voidaan erottaa verkossa olevat osallistujat suurista kielimalleista, vaikka nämä mallit on ohjelmoitu jäljittelemään ihmisen työmuistin rajoituksia.

‘Tulokset osoittavat, että on mahdollista käyttää vakiintuneita kognitiivisia ilmiöitä erottamaan suuret kielimallet ihmisistä.’

Tutkijoiden havainto osoittaa, että valmiit kielimallet ovat todennäköisesti paljastuvat kaikissa sellaisissa käänteisissä Turingin testeissä, jotka käyttävät tätä menetelmää.

Vaikka “tavoitteeseen suunnatut” tekoälymallit suoriutuvat paremmin, hienosäätö tällaisissa tehtävissä rajoittaa niiden yleiskäyttöön soveltuvuutta, ja vaikka järjestelmäohje voi olla yhtä pitkä kuin “Sota ja rauha”, ja sisältää ohjeita siitä, miten jäljitellä ihmisten virheitä, tämän menetelmän tehokkuus heikentyy, kun se sisällytetään laajoihin ohjeisiin (jotka korostavat muita prioriteettejä) tai lyhyisiin ohjeisiin (jotka uhraavat yleiskäytön tehtäväkohtaisuuden vuoksi).

‘Puhut muistista…’

Tekoälypuheen tunnistamiseen tarvitaan yhä tehokkaampia menetelmiä – etenkin tutkijoille, jotka usein joutuvat turvautumaan etätyöntekijöihin, jotka ovat motivoituneita huijaamaan järjestelmää automaation ja muiden temppujen avulla.

Lisäksi tietoisia ja uskottavasti esitettyjä tekoälyluomuksia voidaan tarvita esimerkiksi tekoälypetoksissa, joissa vaaditaan nopeita ja asiantuntevia vastauksia, eikä rikolliset ole aikaa googlettaa kysymyksiä, joita heidän on vastattava.

Samoin tekoälyvoittoisten mainospuheluiden kasvava teollisuus hyötyisi varmasti tietäen, mitä käyttäytymistä tulisi välttää.

Vaikka tämä viittaa “käänteiseen Turingin asekilpaan”, tutkijat huomauttavat, että jos yleinen tekoäly tulee paremmaksi jäljittelemään ihmisten virheitä, on vielä runsaasti virhealttiutta, josta voidaan piirtää:

‘On paljon ehdokkaita vakiintuneille kognitiivisille rajoituksille, joita suuret kielimallet eivät periytyisi. Esimerkiksi ihmiset väsyvät, havaitsevat optillisia illuusioita ja voivat tallentaa vain muutaman kohteen työmuistiinsa.’

Kuvista, jotka on otettu vuoden 2024 tutkimuksesta “The Illusion-Illusion: Vision Language Models See Illusions Where There are None”, nähdään esimerkkejä optillisista illuusioista, jotka luultavasti hämmentäisivät mitä tahansa visuaalista kielimallia, joka ei johtaisi niistä etukäteen opittuja tietoja – vaikka ihmiset ovat paljon todennäköisemmin ratkaisemassa kuvat oikein.

Tutkijoiden mukaan, jos suuret kielimallet vastaisivat samalla tavalla kuin ihmiset tässä tehtävässä, se viittaisi joko siihen, että ne jakavat ihmisten kognitiiviset rajoitukset, tai siihen, että ne on ohjelmoitu jäljittelemään niitä.

Vaikka koulutusdata voi sisältää ihmisen käyttäytymisen jälkiä, tutkimus väittää, että se ei luotettavasti toista tiettyjä, tehtäväkohtaisia virhemalleja, joita havaitaan ihmisen muistissa; ja tämä jättää avoimeksi kysymyksen siitä, voidaanko tekoälytä erottaa siitä, miten ne virheelliset.

Uusi tutkimus on nimeltään Are they human? Detecting large language models by probing human memory constraints, ja se on tehty kahden Princetonin tutkijan toimesta, yhdestä tietojenkäsittelytieteen ja toisesta psykologian laitokselta.

Menetelmä ja testit

Tutkijat käyttävät materiaalia, joka ulottuu 1950- ja 1960-luvuille – erityisesti vuoden 1968 tutkimuksesta Serial order effects in short-term memory, jossa koekysymyksissä osallistujilta pyydettiin palauttamaan kirjaimia, jotka oli esitetty joko position probe (‘Mikä oli 3. kirjain?’) tai successor probe (‘Mikä kirjain tuli X:n jälkeen?’) muodossa:

Kuvassa on esitetty tutkijoiden metodin skeema, jossa vasemmalla paneelissa on esitetty probed recall -työmuistitehtävä, jossa kirjaimet esitetään sekvenssipohjaisesti, ja sattumanvaraisesti valittu position- tai successor-probe; keskellä on vertailu verkossa olevien osallistujien ja suurten kielimallien välillä, joissa on erilaiset järjestelmäohjeet ja runkomallit; oikealla korostetaan kontrastia ihmisen työmuistin rajoituksien ja transformer-mallien välillä, joilla on suora pääsy koko kontekstiuksen ikkunaan ja joiden on simuloitava sarjamuistin käyttäytymistä.

Jokainen kirjain on näkyvissä vain 800 millisekuntia kokeissa, ja välissä on 300 millisekunnin tauko. Koe on toteutettu NYU Computation and Cognition Labin Smile-kirjastossa:

Kuvassa on esimerkki NYU:n Smile-kirjaston kyselyliittymästä. Lähde: https://smile.gureckislab.org/introduction.html

LLM-agenteja on helppo ottaa mukaan verkkokokeisiin, koska selainautomaatiotyökalut kehittyvät, ja järjestelmät kuten Gemini Chrome pystyvät yhä useammin navigoimaan ja suorittamaan tehtäviä itsenäisesti.

Kuitenkin he huomauttavat, että nämä työkalut perustuvat verkkosivujen staattisiin otoksiin, jotka eivät voi kaataa nopeasti esitettyjä ärsykkeitä, ja jotka voivat aiheuttaa virheitä, jotka johtuvat käyttöliittymän rajoituksista eivätkä mallin käyttäytymisestä. Siksi tutkijat arvioivat LLM-malleja yksinkertaisen tekstiliittymän kautta, joka tarjosi saman tiedon ilman muotoilua.

Ihminen vs. kone

Kokeessa testatut LLM-mallit olivat Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; ja LLaMA-3.1-Centaur-70B.

Ihmisten osalta 100 etätyöntekijää rekrytoitiin Prolificin kautta, ja heidän piti olla Yhdysvaltain kansalaisia, vähintään 18-vuotiaita ja sujuvasti englannin kieltä puhuvia. Kokeet kestivät keskimäärin 12 minuuttia, ja osallistujat saivat 4 dollarin palkkion.

Ensimmäisessä kokeessa LLM sai järjestelmäohjeen, jossa kehotettiin toimimaan kuin ihminen; toisessa kokeessa LLM sai järjestelmäohjeen, jossa ohjeistettiin se jäljittelemään ihmisen kaltaista käyttäytymistä kokeessa, kehoten mallia “unohtamaan” tiettyjä asioita.

Viisi eri siementä käytettiin 11 mallin testaamiseen, mikä johti 55 LLM-konfiguraatioon kokeen aikana, ja lopulta 205 osallistujaan, sekä ihmisistä että koneista.

Voight-Kampff

Tutkijat ottivat toimenpiteitä estääkseen Prolificin osallistujia käyttämästä omia LLM-pohjaisia automaattisia vastausjärjestelmiään, ja aluksi he kysyivät osallistujilta, ovatko he tekoälyt vai eivät. Sen jälkeen he lisäsivät mielenkiintoisia satunnaisia kysymyksiä:

‘[Me] lisäämme satunnaisesti yhden kolmesta kysymyksestä, jotka on suunniteltu vaikeiksi ihmisille, mutta helppoja nykyisille LLM-malleille, ja osallistujat saavat ohjeen vastata niihin. Nämä kysymykset ovat kahtalaisia:

‘Māori, jota puhuvat Uuden-Seelannin alkuperäiskansat, ja jolla on alle 150 000 puhujaa vuoden 2013 väestönlaskennassa, ja Võro, jota puhutaan Etelä-Virossa, ja jolla on noin 75 000 puhujaa.’

Kolmas tarkastus vaati osallistujilta heksadesimaalisen numeron muistamista, joka oli näytetty aikaisemmin, ja josta osallistujat eivät olleet saaneet etukäteen varoitusta. Heidän piti myös muuttaa numero desimaalimuotoon. Kumpikaan tarkastus ei paljastanut LLM-käyttöä ihmisten joukossa, mutta ohjatut simulaatiot paljastivat niitä.

Kokeet

1: ‘Toimi kuin ihminen’

Ensimmäisessä kokeessa LLM-malleja ohjeistettiin toimimaan kuin ihmiset järjestelmäohjeella ‘Olet ihminen, jolla on kognitiivisia rajoituksia, ja osallistut psykologiseen kokeeseen’ (merkitty tuloksissa LLM-Human):

Kuvassa on esitetty työmuistin suorituskyky useissa kokeissa, joissa verrataan verkossa olevia osallistujia LLM-malleihin, joissa on erilaisia rajoituksia. Vasemmalla paneelissa on esitetty keskimääräinen tarkkuus osallistujatyypin mukaan, ja LLM-Human saavutti lähes täydelliset tulokset, kun taas LLM-WM ja Centaur saavuttivat alempia tarkkuuksia, jotka olivat lähempänä ihmisten tasoja; keskimmäisessä paneelissa on esitetty tarkkuus sarjaposition mukaan 12-kohtaisissa kokeissa, joissa ihmiset osoittivat vahvempaa muistia alussa ja lopussa, LLM-Human ei osoittanut tätä mallia, ja LLM-WM ja Centaur toistivat sen, kun ne oli ohjelmoitu tai koulutettu siihen; oikeassa paneelissa on esitetty tarkkuus joukon koon kasvaessa, ja ihmisten suorituskyky heikkeni suuremman muistin kuormituksen alla, LLM-Human säilyi suurimmaksi osaksi muuttumattomana, ja LLM-WM ja Centaur osoittivat samanlaisia heikkenemisiä, kun ne oli ohjeistettu tai koulutettu jäljittelemään ihmisen muisti.

Tutkijat kommentoivat näitä alkutuloksia:

‘LLM-osallistujat, joilla on LLM-Human-järjestelmäohje, saavuttavat lähes täydelliset tulokset kaikissa kokeissa, ja heillä ei ole sarjapositiota tai joukon koon vaikutusta, riippumatta kysymyksen tyypistä. Tämän vuoksi on helppo havaita ja poistaa kaikki LLM-Human-osallistujat yksinkertaisella kynnyksellä tehtävän keskimääräiselle tarkkuudelle 0,95.

‘Sama kriteeri, sovellettu verkossa oleviin osallistujiin, johtaa 6 verkossa olevan osallistujan poistamiseen 100:sta, jotka olivat saavuttaneet (lähes) täydelliset tulokset, vaikka verkossa olevien osallistujien mediaani oli 0,6.’

Tutkijat huomauttavat, että epätavallisen korkeat tarkkuudet haastavissa kokeissa ovat jo vakiintunut menetelmä huijaamisen estämiseksi, ja se kääntyy helposti LLM-tunnistamiseksi. He huomauttavat myös, että järjestelmäohjeen kehotus toimia kuin ihminen ei vaikuttanut paljonkaan tähän kokeeseen, mikä johti toiseen kokeeseen:

2: ‘Ole unohtava’

Seuraavassa kokeessa LLM-malleja ohjeistettiin jäljittelemään ihmisen muisti (tulokset on merkitty LLM-WN)^†:

Sinulla on tiukat työmuistirajoitukset – voit pitää vain rajoitetun määrän kohteita lyhytaikaisessa muistissa. Kun sinulle esitetään pitkä luettelo kohteita ilman harjoittelumahdollisuuksia, sinä kokeat muistinhävikkiä, erityisesti listan keskivaiheilla oleville kohteille.

1. Sinun on käsiteltävä kohteita peräkkäin, kun ne ilmestyvät
2. Sinun on unohtava kohteita sarjaposition mukaan – muista paremmin alkupään ja loppupään kohteita paremmin kuin keskivaiheilla olevia kohteita
3. Sinun on esittävä virheitä palautuksessa sarjaposition mukaan.

Lisäämällä tiukempia ohjeita simuloimaan rajoitetun muistin, mallin tarkkuus laski noin 0,90:aan, ja tulokset muuttuivat epävakaisemmiksi, mikä toi suorituskyvyn lähemmäs ihmisten tasoa, mutta yhä yleensä korkeammaksi. Tämä hämärsi aiemman eron, joten yksinkertainen tarkkuuskynnys ei voinut enää erottaa kaikkia mallivastauksia ilman, että se poistaisi myös monia ihmisten vastauksia.

Samalla mallit alkoivat osoittaa enemmän ihmismäistä käyttäytymistä, muistaen paremmin listan alun ja lopun kohteita, ja kamppailemalla enemmän, kun listat pitenivät.

Centaur

Malleja, jotka on koulutettu suoraan ihmisen käyttäytymisdataan, kehitetään jäljittelemään, miten ihmiset vastaavat kokeissa, ja tutkimaan tätä ajatusta, tutkimus arvioi Centauria, joka on suuri kielimalli, joka on hienosäädetty suurilla määrillä kokeiden kohtaisia transkriptioita psykologisista tutkimuksista:

Kuvassa on esitetty Centaur, joka on rakennettu sovittamalla huipputason kielimallia matalan arvon moduuleilla ja kouluttamalla sitä Psych-101-aineistolla mallintamaan ihmisen kognitiivista käyttäytymistä.

Kokeissa Centaurin yleinen tarkkuus vastasi läheisesti ihmisten osallistujien tarkkuutta – jopa enemmän kuin mallit, jotka oli ohjelmoitu jäljittelemään rajoitettua muistia. Sarjapositiokysymyksissä sen palautusmallit vastasivat listan sijainnin ja kasvavan listan mukaan ihmisten käyttäytymistä, vaikka eroja oli enemmän havaittavissa seuraajakysymyksissä.

Kognitiivisten poikkeamien havaitseminen

Lopuksi tutkijat testasivat, voidaanko havaita kognitiivisia poikkeamia, kun mallit on suunniteltu jäljittelemään ihmisen vastaamista. Tilastollinen malli ihmisen muistista opittiin todellisten osallistujien datasta, ja se kuvasi, miten tarkkuus muuttui sarjaposition ja muistin kuormituksen mukaan.

Uudet osallistujat arvioitiin tällä opitulla profiililla, ja ne, joiden vastaukset poikkesivat odotetusta ihmismäisestä mallista, merkittiin poikkeamiksi:

Kuvassa on esitetty työmuistiprofiilit ja poikkeamien havaitseminen useissa analyyseissä. Vasemmalla paneelissa on esitetty keskimääräiset vaikutukset, jotka on opittu kaikista osallistujista, ja miten palautus muuttuu muistin kapasiteetin ja sarjaposition mukaan, ja vahvat vaikutukset muistamiselle alkupään ja loppupään kohteita; keskimmäisissä paneleissa on esitetty, miten nämä mallit eroavat osallistujakohtaisesti, paljastaen, että vaikka mallit jäljittelevät ihmisen käyttäytymistä, niiden taustalla olevat profiilit ovat edelleen erilaisia kuin ihmisten; oikeassa paneelissa on esitetty poikkeamien havaitsemisen lopputulos, jossa malli, joka on koulutettu ihmisten dataan, käytetään uusien osallistujien arviointiin, ja LLM:t voidaan edelleen erottaa ihmisistä, vaikka heikommin, kun ne on suunniteltu jäljittelemään ihmisen muistia.

Tämä lähestymistapa erotti edelleen ihmisten osallistujat LLM-malleista, vaikka mallit oli ohjeistettu tai koulutettu jäljittelemään ihmisen muistirajoituksia. Kuitenkin ero tuli epäselvemmäksi, ja se vaati kompromissia siitä, mitkä mallivastaukset hyväksytään ja mitkä ihmisten vastaukset poistetaan.

Tutkijat toteavat:

‘Nopeiden agenttien nopea ilmestyminen tekee ihmisen olemassaolon verkkoviestinnässä enää varmistamattomaksi perustuuksen. Tämä asettaa laajemman haasteen yhteiskunnalle, koska monet instituutiot on rakennettu oletukseen, että ihmisen olemassaolo voidaan varmistaa tällaisin keinoin.

‘Kognitiivinen tiede, jolla on rikas perinne ihmisen käyttäytymisen kuvaamisessa, voi olla tärkeässä roolissa tämän haasteen ratkaisemisessa.’

Johtopäätös

Uusi tutkimus korostaa, että verkkoviestintä (live- ja interaktiivinen tekoäly) edustaa erilaisen haasteen kuin offline-viestintä (tekoälyluomusten tunnistaminen).

Siihen, miten paljon aiempi ohjaus ja kolmansen asteen menetelmät, kuten hienosäätö ja järjestelmäohjeet, ovat tarpeen saavuttaakseen parannuksen ihmisen jäljittelemisessä, viittaa siihen, että LLM-mallit eivät ole valmiit suorittamaan tehtäviä sellaisenaan, ilman merkittävää aiempaa ohjausta tai vähintäänkin minimiä ohjeistusta.

Tehtävä, jota uusi tutkimus käsittelee, on erittäin spesifinen akateemiselle tutkimukselle, mutta se on todennäköisesti laajempaa vaikutusta, kun älypuhelimet yleistyvät ja rikolliset pyrkivät hyödyntämään tekoälypohjaisia impersonaatioita yllättämällä uusilla keinoilla.

* Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.^† Katso aiempi (yläpuolella oleva) tulos – tutkimus on hieman ylipakattu.

Julkaistu torstaina 2. huhtikuuta 2026