DeepMind: Tekoäly saattaa periä ihmisen kognitiiviset rajoitukset, mutta hyötyisi “muodollisesta koulutuksesta”

DeepMindin ja Stanfordin yliopiston uusi yhteistyö osoittaa, että tekoäly ei välttämättä ole parempi abstraktissa päättelyssä kuin ihmiset, koska koneoppimismallit saavat päättelyarkkitehtuurinsa todellisista, ihmisten luomaan esimerkkeihin perustuvista konteksteista, jotka ovat sidottuja käytännön kokemukseen (jota tekoäly ei voi kokea), mutta jotka myös ovat estyneitä omien kognitiivisten puutteidemme vuoksi.

Todistettu, tämä voisi edustaa esteitä paremmalle “siniselle taivaalle” ajattelulle ja älyllisen alkuperän laadulle, jota moni toivoo koneoppimisjärjestelmiltä, ja osoittaa, miten paljon tekoäly heijastaa ihmisen kokemusta ja on altis pohtimaan (ja päättelyyn) ihmisten asettamissa rajoissa, jotka ovat muovanneet sitä.

Tutkijat ehdottavat, että tekoälymallit voivat hyötyä abstraktin päättelyn esikoulutuksesta, jota voidaan verrata “muodolliseen koulutukseen”, ennen kuin ne asetetaan todellisiin tehtäviin.

Artikkelissa todetaan:

Ihmiset ovat epätäydellisiä päättelijöitä. Päätelemme tehokkaimmin entiteeteistä ja tilanteista, jotka ovat yhdenmukaisia maailmankuvamme kanssa.

Kokeemme osoittavat, että kielimallit heijastavat näitä käyttäytymismalleja. Kielimallit suorittavat epätäydellisesti loogisissa päättelytehtävissä, mutta tämä suoritus riippuu sisällöstä ja kontekstista. Merkittävimpänä nämä mallit usein epäonnistuvat tilanteissa, joissa ihmiset epäonnistuvat — kun ärsykkeet muuttuvat liian abstrakteiksi tai ristiriitaisiksi maailmankuvamme kanssa.

Tekoälyn abstraktin päättelyn kykyjen testaamiseksi tutkijat suorittivat kolme testiä sopivalla mallilla, ja tuloksena:

Löysimme, että viimeisimmät suuret kielimallit (joilla on 7 tai 70 miljardia parametreja) heijastavat monia samoja malleja, joita havaitsemme ihmisillä näissä tehtävissä — kuten ihmiset, mallit päätelevät tehokkaammin uskottavista tilanteista kuin epärealistisista tai abstrakteista.

Tuloksemme ovat merkittäviä sekä näiden kognitiivisten vaikutusten ymmärtämiseksi että tekijöiden ymmärtämiseksi, jotka vaikuttavat kielimallin suorituskykyyn.

Artikkeli ehdottaa, että tekoälyjärjestelmien loogisen päättelyn kykyjen luominen ilman todellista, fyysistä kokemusta, joka antaa näille kyville kontekstin, voisi rajoittaa näiden järjestelmien potentiaalia, ja huomauttaa, että “pohjautuva kokemus… luultavasti muodostaa joitain ihmisten uskomuksia ja päättelyä” .

Tutkijat esittävät, että tekoäly kokee kielen passiivisesti, kun taas ihmiset kokevat sen aktiivisena ja keskeisenä osana sosiaalista viestintää, ja että tällainen aktiivinen osallistuminen (joka sisältää perinteisiä sosiaalisia järjestelmiä rangaistuksia ja palkkioita) voisi olla “avain” ymmärtää merkitystä samalla tavalla kuin ihmiset.

Tutkijat huomauttavat:

Jotkut erot kielimallien ja ihmisten välillä johtuvat siitä, että ihmisten rikas, pohjautuva, interaktiivinen kokemus on rikkaampi kuin mallien köyhä kokemus.

He ehdottavat, että yksi ratkaisu voisi olla esikoulutuksen jakso, jollaisen ihmiset kokevat koulujärjestelmässä ja yliopistossa, ennen kuin heidät asetetaan koulutusaineistoihin, jotka lopulta muodostavat hyödyllisen ja monipuolisen kielimallin.

Tämä esikoulutuksen jakso (jota tutkijat vertaavat “muodolliseen koulutukseen”) poikkeaisi perinteisestä koneoppimisen esikoulutuksesta (joka on menetelmä, jolla koulutusaikaa voidaan lyhentää käyttämällä osittain koulutettuja malleja tai tuomalla painoarvoja täysin koulutetuista malleista “laukaisijaksi” koulutusprosessin aloittamiseksi).

Sen sijaan se edustaisi jatkuvaa oppimisjaksoa, joka on suunniteltu kehittämään tekoälyn loogista päättelykykyä puhtaasti abstraktin tavoin, ja kehittämään kriittisiä valmiuksia samalla tavalla kuin yliopiston opiskelija kannustetaan tekemään tutkintonsa aikana.

‘Useat tulokset’, tutkijat toteavat, ‘osoittavat, että tämä ei ole yhtä epätodennäköistä kuin se kuulostaa’.

Artikkeli on otsikoitu Language models show human-like content effects on reasoning, ja se on kirjoitettu kuudelta DeepMindin tutkijalta ja yhdeltä tutkijalta, joka on liitetty sekä DeepMindiin että Stanfordin yliopistoon.

Testit

Ihmiset oppivat abstraktit käsitteet käytännön esimerkkien kautta, samalla tavoin kuin kielenoppimisessa, jossa mnemoniat auttavat muistamaan sanastoa ja kielioppisääntöjä. Yksinkertaisin esimerkki tästä on opettaminen abstrakteja fysiikan periaatteita “matkustusskenaarioiden” avulla junille ja autoille.

Testatakseen hyperskaalan, GPT-tason luonnollisen kielen prosessoinnin (NLP) malleja vaikuttavat nämä rajoitukset, tutkijat suorittivat kolmen testin sarjan sopivalla mallilla, ja tuloksena:

Ensimmäinen tehtävä liittyy luonnolliseen kieliimplikaatioon (NLI), jossa aihe (ihminen tai tässä tapauksessa kielimalli) saa kaksi lausetta, “premissin” ja “hypoteesin”, joka näyttää olevan johdettu premissistä. Esimerkiksi X on pienempi kuin Y, Hypoteesi: Y on suurempi kuin X (sisällytetty).

Luonnollisen kieliimplikaation tehtävälle tutkijat arvioivat kielimallit Chinchilla (70 miljardin parametrin malli) ja 7B (7 miljardin parametrin versio samasta mallista), ja totesivat, että koherenttiin esimerkkeihin (eli niistä, jotka eivät ole järjettömiä), ainoastaan suurempi Chinchilla-malli saavutti tulokset, jotka olivat parempia kuin pelkästään sattuma; ja he huomauttavat:

Tämä osoittaa vahvan sisällön vinouman: mallit suosittelevat lauseen täydentämistä tavalla, joka on yhdenmukainen aikaisempien odotuksien kanssa, eikä tavalla, joka on yhdenmukainen logiikan sääntöjen kanssa.

Chinchillan 70 miljardin parametrin suoritus NLI-tehtävässä. Tämä malli ja sen ohuempi versio 7B osoittivat “merkittävää uskomusvinoutta”, tutkijoiden mukaan. Lähde: https://arxiv.org/pdf/2207.07051.pdf

Syllogismit

Toinen tehtävä esittää monimutkaisemman haasteen, syllogismit – argumentit, joissa kaksi todenperäistä lausetta näyttävät osoittavan kolmannen lauseen (joka voi olla tai ei looginen johtopäätös, joka voidaan johtaa kahdesta edellisestä lauseesta):

Paperin testimateriaalista, erilaiset “realistiset” ja paradoksaaliset tai järjettömät syllogismit.

Ihmiset ovat valtavan alttiita virheille, ja konstruktio, joka tarkoittaa loogista periaatetta, muuttuu lähes välittömästi (ja ehkä pysyvästi) sekavaksi ja hämmentyneeksi ihmisen “uskomuksen” vuoksi siitä, mikä vastaus “pitäisi” olla.

Tutkijat huomauttavat, että tutkimus vuodelta 1983 osoitti, että osallistujat olivat vinoutuneita siinä, sopiiko syllogismin johtopäätös heidän omiin uskomuksiinsa, ja huomauttavat:

Osallistujat olivat paljon todennäköisemmin (90 % ajassa) väärin sanoneet, että epävalidi syllogismi oli validi, jos johtopäätös oli uskottava, ja riippuivat pääasiassa uskomuksesta eikä abstraktista päättelystä.

Testatessaan Chinchillaa erilaisilla syllogismeilla, joissa useat johtopäätökset olivat virheellisiä, tutkijat totesivat, että uskomusvinous ajaa lähes kaikki nollashot-päätökset. Jos kielimalli havaitsee johtopäätöksen, joka on ristiriidassa todellisuuden kanssa, malli on, tutkijoiden mukaan, “vahvasti vinoutunut” julistamaan lopullisen argumentin virheelliseksi, vaikka lopullinen argumentti on looginen seuraus edellisistä lauseista.

Nollashot-tulokset Chinchillalle (nollashot on tapa, jolla useimmat testihenkilöt saavat nämä haasteet, selityksen johdantosäännön jälkeen), osoittaa valtavan kuilun tietokoneen laskentakapasiteetin ja NLP-mallin kapasiteetin välillä navigoida tällaisissa alkuvaiheen logiikkahaasteissa.

Wasonin valintatehtävä

Kolmannessa testissä jopa haasteellisempi Wasonin valintatehtävä -looginen ongelma muunnettiin useaksi erilaiseksi iteroinniksi kielimallille ratkaistavaksi.

Wasonin tehtävä, joka keksittiin vuonna 1968, on näennäisesti hyvin yksinkertainen: osallistujat näytetään neljä korttia, ja kerrotaan satunnainen sääntö, kuten “Jos kortti on ‘D’ toisella puolella, se on ‘3’ toisella puolella.” Neljän näkyvän kortin puolella näkyy ‘D’, ‘F’, ‘3’ ja ‘7’.

Osallistujat pyydetään kertomaan, mitkä kortit heidän on käännettävä ylöspäin, jotta he voivat vahvistaa, onko sääntö tosi vai ei.

Oikea ratkaisu tässä esimerkissä on kääntää kortit ‘D’ ja ‘7’. Aikaisemmissa testeissä havaittiin, että useimmat (ihmisen) osallistujat valitsivat oikein ‘D’:n, mutta heidän oli todennäköisemmin valittava ‘3’ kuin ‘7’, sekoittaen kontrapositionin säännön (‘ei 3 implikoi ei D’) konversiin (‘3’ implikoi ‘D’, jota ei loogisesti implikoida).

Tutkijat huomauttavat, että edelliset kokeet ovat osoittaneet, että akateemiset matemaatikot ja yliopiston opiskelijat saavuttivat yleensä alle 50 %:n tässä tehtävässä.

Wasonin tehtävän suorituskykyä kielimallilla testattaessa tutkijat loivat erilaisia realistisia ja satunnaisia sääntöjä, joista jotkut sisälsivät “järjettömiä” sanoja, ja katsoivat, voivatko tekoälyt tunkeutua sisällön kontekstiin, jotta ne voivat selvittää, mitkä “virtuaalikortit” on käännettävä ylöspäin.

Jotkut Wasonin valintatehtävän puzzles, jotka esitettiin testeissä.

Wasonin testeissä malli suoritti vertailukelpoisesti ihmisten kanssa “realistisissa” (ei-järjettömissä) tehtävissä.

Nollashot-Wasonin valintatehtävän tulokset Chinchillalle, mallin suoriutuessa selvästi satunnaisuuden yläpuolella, ainakin “realistisissa” säännöissä.

Artikkeli toteaa:

Tämä heijastaa tuloksia ihmisten kirjallisuudessa: ihmiset ovat paljon tarkemmin vastaamassa Wasonin tehtävään, kun se on muotoiltu realististen tilanteiden mukaan kuin satunnaisilla säännöillä abstrakteista ominaisuuksista.

Formaali koulutus

Tutkimuksen tulokset asettavat hyperskaalan NLP-järjestelmien päättelypotentiaalin meidän omien rajoitustemme kontekstiin, joita näyttävämme siirtävän malleihin kautta koulutusaineistot, jotka voimistavat niitä. Koska useimmat meistä eivät ole neropäitä, eivät myöskään mallit, joiden parametreja ohjaa oma kokemuksemme.

Lisäksi tutkimus toteaa, että meillä on etu siinä, että meillä on kestävä jakso muodollista koulutusta, ja lisäksi sosiaalisia, taloudellisia ja jopa seksuaalisia motivaatioita, jotka muodostavat ihmisen imperatiivin. Kaikki, mitä NLP-mallit voivat saada, ovat näiden ympäristötekijöiden seurauksia, ja ne näyttävät noudattavan yleistä eikä poikkeuksellista ihmistä.

Tutkijat toteavat:

Tuloksemme osoittavat, että sisällön vaikutukset voivat syntyä yksinkertaisesti kouluttamalla suurta muunneltavaa kielimallia jäljittelemään kieltä, jota tuottaa ihmisen kulttuuri, ilman näiden ihmisen sisäisten mekanismien sisällyttämistä.

Toisin sanoen kielimallit ja ihmiset saavuttavat nämä sisällön vinoumat – mutta näennäisesti erilaisista arkkitehtuureista, kokemuksista ja koulutustavoitteista.

Niinpä he ehdottavat tietynlaista “induktioharjoitusta” puhtaassa päättelyssä, joka on osoittautunut parantavan mallin suorituskykyä matematiikassa ja yleisessä päättelyssä. He huomauttavat myös, että kielimallit on koulutettu tai säätelty seuraamaan ohjeita abstraktilla tai yleistetyllä tasolla, ja vahvistamaan, oikaisemaan tai debyroimaan oman tulostensa.

* Minun muunnokseni sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran 15. heinäkuuta 2022.