Andersonin kulma
DeepMind: Tekoäly saattaa periä ihmisen kognitiivisia rajoituksia ja hyötyä muodollisesta koulutuksesta

Keskeiset kohdatDeepMind ja Stanford osoittavat, että tekoäly heijastaa ihmisen uskomusharhaa…
Näytä lisää
- DeepMind ja Stanford osoittavat, että tekoäly heijastaa ihmisen uskomusharhaa loogisissa päättelytehtävissä.
- Kielimallit kamppailevat abstraktin logiikan kanssa, mutta suoriutuvat hyvin realistisista Wasonin valintatehtävistä.
- Tutkijat ehdottavat muodollisen koulutuksen tyyppistä esikoulutusta tekoälyn abstraktin päättelykyvyn parantamiseksi.
DeepMindin ja Stanfordin yliopiston uusi yhteistyö osoittaa, että tekoäly ei välttämättä ole parempi abstraktissa päättelyssä kuin ihmiset, koska koneoppimismallit saavat päättelyarkkitehtuurinsa todellisista, ihmisten luomista esimerkeistä, jotka ovat sidottuja käytännön kokemukseen (jota tekoäly ei voi kokea), mutta jotka myös ovat estyneitä omien kognitiivisten puutteidemme vuoksi.
Jos tämä osoitetaan todeksi, se voisi rajoittaa parempaa, vapaata ideointia ja omaperäistä ajattelua, jota moni toivoo koneoppimisjärjestelmiltä, ja osoittaa, miten paljon tekoäly heijastaa ihmisen kokemusta ja on altis pohtimaan (ja päättelyyn) ihmisten asettamissa rajoissa, jotka ovat muovanneet sitä.
Tutkijat ehdottavat, että tekoälymallit voivat hyötyä abstraktin päättelyn esikoulutuksesta, jota voidaan verrata “muodolliseen koulutukseen”, ennen kuin ne asetetaan todellisiin tehtäviin.
Artikkelissa todetaan:
Ihmiset ovat epätäydellisiä päättelijöitä. Päätelemme tehokkaimmin entiteeteistä ja tilanteista, jotka ovat yhdenmukaisia maailmankuvamme kanssa.
Kokeemme osoittavat, että kielimallit heijastavat näitä käyttäytymismalleja. Kielimallit suoriutuvat epätäydellisesti loogisista päättelytehtävistä, mutta tämä suoritus riippuu sisällöstä ja kontekstista. Merkittävimpänä nämä mallit usein epäonnistuvat tilanteissa, joissa ihmiset epäonnistuvat — kun ärsykkeet muuttuvat liian abstrakteiksi tai ristiriitaisiksi maailmankuvamme kanssa.
Selvittääkseen, missä määrin nämä rajoitukset voivat vaikuttaa erittäin suuriin, GPT-tason luonnollisen kielen käsittelyn (NLP) malleihin, tutkijat tekivät sopivalla mallilla kolme testiä ja päättelivät*:
Löysimme, että viimeisimmät suuret kielimallit (joilla on 7 tai 70 miljardia parametria) heijastavat monia samoja malleja, joita havaitsemme ihmisillä näissä tehtävissä — kuten ihmiset, mallit päätelevät tehokkaammin uskottavista tilanteista kuin epärealistisista tai abstrakteista.
Tuloksemme ovat merkittäviä sekä näiden kognitiivisten vaikutusten ymmärtämiseksi että tekijöiden ymmärtämiseksi, jotka vaikuttavat kielimallin suorituskykyyn.
Artikkeli ehdottaa, että tekoälyjärjestelmien loogisen päättelyn kykyjen luominen ilman todellista, fyysistä kokemusta, joka antaa näille kyville kontekstin, voisi rajoittaa näiden järjestelmien potentiaalia, ja huomauttaa, että ”todelliseen maailmaan ankkuroitu kokemus… luultavasti tukee joitakin ihmisten uskomuksia ja päättelyä” .
Tutkijat esittävät, että tekoäly kokee kielen passiivisesti, kun taas ihmiset kokevat sen aktiivisena ja keskeisenä osana sosiaalista viestintää, ja että tällainen aktiivinen osallistuminen (joka sisältää perinteisiä rangaistusten ja palkkioiden sosiaalisia järjestelmiä) voisi olla “avain” ymmärtää merkitystä samalla tavalla kuin ihmiset.
Tutkijat huomauttavat:
Jotkin kielimallien ja ihmisten väliset erot saattavat siksi johtua ihmisten rikkaan, todelliseen maailmaan ankkuroituneen ja vuorovaikutteisen kokemuksen sekä mallien niukan kokemuksen välisistä eroista.
He ehdottavat, että yksi ratkaisu voisi olla esikoulutuksen jakso, jollaisen ihmiset kokevat koulujärjestelmässä ja yliopistossa, ennen kouluttamista ydinaineistolla, jotka lopulta muodostavat hyödyllisen ja monipuolisen kielimallin.
Tämä esikoulutuksen jakso (jota tutkijat vertaavat “muodolliseen koulutukseen”) poikkeaisi perinteisestä koneoppimisen esikoulutuksesta (joka on menetelmä, jolla koulutusaikaa voidaan lyhentää käyttämällä osittain koulutettuja malleja tai tuomalla painoarvoja täysin koulutetuista malleista “laukaisijaksi” koulutusprosessin aloittamiseksi).
Sen sijaan se edustaisi jatkuvaa oppimisjaksoa, joka on suunniteltu kehittämään tekoälyn loogista päättelykykyä puhtaasti abstraktilla tavalla, ja kehittämään kriittisiä valmiuksia samalla tavalla kuin yliopiston opiskelija kannustetaan tekemään tutkintonsa aikana.
‘Useat tulokset’, tutkijat toteavat, ‘osoittavat, että tämä ei ole yhtä epätodennäköistä kuin se kuulostaa’.
Tutkimusartikkelin nimi on Language models show human-like content effects on reasoning, ja se on kirjoitettu kuuden DeepMindin tutkijan toimesta ja yhdeltä tutkijalta, joka on liitetty sekä DeepMindiin että Stanfordin yliopistoon.
Testit
Ihmiset oppivat abstraktit käsitteet käytännön esimerkkien kautta, samalla tavoin kuin kielenoppimisessa, jossa mnemoniat auttavat muistamaan sanastoa ja kielioppisääntöjä. Yksinkertaisin esimerkki tästä on abstraktien fysiikan periaatteiden opettaminen junien ja autojen ”matkustusskenaarioiden” avulla.
Testatakseen erittäin suuren kielimallin abstraktia päättelykykyä tutkijat suunnittelivat kolme kielellistä ja semanttista testiä, jotka voivat olla haastavia myös ihmisille. Testit tehtiin ilman ratkaistuja esimerkkejä (zero-shot) sekä viiden edeltävän ratkaistun esimerkin avulla (five-shot).
Ensimmäinen tehtävä liittyy luonnollisen kielen päättelyyn (NLI), jossa koehenkilö (ihminen tai tässä tapauksessa kielimalli) saa kaksi lausetta, “premissin” ja “hypoteesin”, joka näyttää olevan johdettu premissistä. Esimerkiksi X on pienempi kuin Y, Hypoteesi: Y on suurempi kuin X (looginen seuraus).
Luonnollisen kieliimplikaation tehtävälle tutkijat arvioivat kielimallit Chinchilla (70 miljardin parametrin malli) ja 7B (7 miljardin parametrin versio samasta mallista), ja totesivat, että johdonmukaisissa esimerkeissä (eli niissä, jotka eivät olleet järjettömiä), ainoastaan suurempi Chinchilla-malli saavutti tulokset, jotka olivat parempia kuin pelkästään sattuma; ja he huomauttavat:
Tämä osoittaa vahvan sisällön vinouman: mallit suosivat lauseen täydentämistä tavalla, joka on yhdenmukainen aikaisempien odotuksien kanssa, eikä tavalla, joka on yhdenmukainen logiikan sääntöjen kanssa.

Chinchillan 70 miljardin parametrin suoritus NLI-tehtävässä. Tämä malli ja sen ohuempi versio 7B osoittivat “merkittävää uskomusvinoutta”, tutkijoiden mukaan. Lähde: https://arxiv.org/pdf/2207.07051.pdf
Syllogismit
Toinen tehtävä esittää monimutkaisemman haasteen, syllogismit – argumentit, joissa kaksi todenperäistä lausetta näyttävät osoittavan kolmannen lauseen (joka voi olla tai olla olematta looginen johtopäätös, joka voidaan johtaa kahdesta edellisestä lauseesta):

Paperin testimateriaalista, erilaiset “realistiset” ja paradoksaaliset tai järjettömät syllogismit.
Ihmiset ovat valtavan alttiita virheille, ja konstruktio, joka tarkoittaa loogista periaatetta, muuttuu lähes välittömästi (ja ehkä pysyvästi) sekavaksi ja hämmentyneeksi ihmisen “uskomuksen” vuoksi siitä, mikä vastauksen pitäisi olla.
Tutkijat huomauttavat, että tutkimus vuodelta 1983 osoitti, että osallistujat olivat vinoutuneita siinä, sopiiko syllogismin johtopäätös heidän omiin uskomuksiinsa, ja huomauttavat:
Osallistujat olivat paljon todennäköisemmin (90 prosentissa tapauksista) väärin sanoneet, että epävalidi syllogismi oli validi, jos johtopäätös oli uskottava, ja eivätkä siis ensisijaisesti nojanneet abstraktiin päättelyyn vaan uskomuksiin.
Testatessaan Chinchillaa erilaisilla syllogismeilla, joissa useat johtopäätökset olivat virheellisiä, tutkijat totesivat, että uskomusvinous ajaa lähes kaikki nollashot-päätökset. Jos kielimalli havaitsee johtopäätöksen, joka on ristiriidassa todellisuuden kanssa, malli on, tutkijoiden mukaan, “vahvasti vinoutunut” julistamaan lopullisen argumentin virheelliseksi, vaikka lopullinen argumentti on looginen seuraus edellisistä lauseista.

Nollashot-tulokset Chinchillalle (nollashot on tapa, jolla useimmat testihenkilöt saavat nämä haasteet, selityksen johdantosäännön jälkeen), osoittaa valtavan kuilun tietokoneen laskentakapasiteetin ja NLP-mallin kapasiteetin välillä navigoida tällaisissa alkuvaiheen logiikkahaasteissa.
Wasonin valintatehtävä
Kolmannessa testissä jopa haasteellisempi Wasonin valintatehtävä -looginen ongelma muunnettiin useaksi erilaiseksi iteroinniksi kielimallille ratkaistavaksi.
Wasonin tehtävä, joka keksittiin vuonna 1968, on näennäisesti hyvin yksinkertainen: osallistujille näytetään neljä korttia, ja kerrotaan satunnainen sääntö, kuten “Jos kortin toisella puolella on ‘D’, sen toisella puolella on ‘3’.” Neljän näkyvän kortin puolella näkyy ‘D’, ‘F’, ‘3’ ja ‘7’.
Osallistujia pyydetään kertomaan, mitkä kortit heidän on käännettävä ylöspäin, jotta he voivat vahvistaa, onko sääntö tosi vai ei.
Oikea ratkaisu tässä esimerkissä on kääntää kortit ‘D’ ja ‘7’. Aikaisemmissa testeissä havaittiin, että useimmat (ihmisen) osallistujat valitsivat oikein ‘D’:n, mutta he valitsivat todennäköisemmin ‘3’ kuin ‘7’, sekoittaen kontrapositionin säännön (‘ei 3 implikoi ei D’) konversiin (‘3’ implikoi ‘D’, jota ei loogisesti implikoida).
Kirjoittajat huomauttavat, että ennakkouskomukset voivat vaikuttaa ihmisten loogiseen päättelyyn ja että jopa akateemiset matemaatikot ja matematiikan perustutkinto-opiskelijat saivat tässä tehtävässä yleensä alle 50 prosentin tuloksen.
Kun Wasonin tehtävän asetelma kuitenkin heijastaa ihmisten käytännön kokemusta, tulokset tavallisesti paranevat.
Kirjoittajat toteavat aiempiin kokeisiin viitaten:
”Jos korteissa on ikiä ja juomia ja sääntö on ’jos henkilö juo alkoholia, hänen on oltava vähintään 21-vuotias’, ja korteissa lukee ’olut’, ’limonadi’, ’25’ ja ’16’, valtaosa osallistujista valitsee oikein tarkistettaviksi kortit ’olut’ ja ’16’.”
Wasonin tehtävän suorituskykyä kielimallilla testattaessa tutkijat loivat erilaisia realistisia ja satunnaisia sääntöjä, joista jotkut sisälsivät “järjettömiä” sanoja, ja katsoivat, voivatko tekoälyt tunkeutua sisällön kontekstiin, jotta ne voivat selvittää, mitkä “virtuaalikortit” on käännettävä ylöspäin.
Wasonin testeissä malli suoritti vertailukelpoisesti ihmisten kanssa “realistisissa” (ei-järjettömissä) tehtävissä.

Nollashot-Wasonin valintatehtävän tulokset Chinchillalle, mallin suoriutuessa selvästi satunnaisuuden yläpuolella, ainakin “realistisissa” säännöissä.
Artikkeli toteaa:
Tämä heijastaa tuloksia ihmisten kirjallisuudessa: ihmiset ovat paljon tarkemmin vastaamassa Wasonin tehtävään, kun se on muotoiltu realististen tilanteiden mukaan kuin satunnaisilla säännöillä abstrakteista ominaisuuksista.
Formaali koulutus
Tutkimuksen tulokset asettavat hyperskaalan NLP-järjestelmien päättelypotentiaalin meidän omien rajoitustemme kontekstiin, joita näytämme siirtävän malleihin niitä kouluttavien todellisesta maailmasta kerättyjen aineistojen kautta. Koska useimmat meistä eivät ole neropäitä, eivät myöskään mallit, joiden parametreja ohjaa oma kokemuksemme.
Lisäksi tutkimus toteaa, että meillä on etu siinä, että meillä on kestävä jakso muodollista koulutusta, ja lisäksi sosiaalisia, taloudellisia ja jopa seksuaalisia motivaatioita, jotka muodostavat ihmisen imperatiivin. Kaikki, mitä NLP-mallit voivat saada, ovat näiden ympäristötekijöiden seurauksia, ja ne näyttävät noudattavan tavanomaista eikä poikkeuksellista ihmistä.
Tutkijat toteavat:
Tuloksemme osoittavat, että sisällön vaikutukset voivat syntyä yksinkertaisesti kouluttamalla suurta transformer-mallia jäljittelemään kieltä, jota tuottaa ihmisen kulttuuri, ilman näiden ihmisen sisäisten mekanismien sisällyttämistä.
Toisin sanoen kielimallit ja ihmiset saavuttavat nämä sisällön vinoumat – mutta näennäisesti erilaisista arkkitehtuureista, kokemuksista ja koulutustavoitteista.
Niinpä he ehdottavat tietynlaista “induktioharjoitusta” puhtaassa päättelyssä, joka on osoittautunut parantavan mallin suorituskykyä matematiikassa ja yleisessä päättelyssä. He huomauttavat myös, että kielimallit on koulutettu tai säätelty seuraamaan ohjeita abstraktilla tai yleistetyllä tasolla, ja tarkistamaan ja korjaamaan tai vähentämään vinoumia omassa tuotoksessaan.
* Minun muunnokseni sisäisistä viittauksista hyperlinkkeihin.
Julkaistu ensimmäisen kerran 15. heinäkuuta 2022.













