Tutkimus paljastaa, että LLM:t turvautuvat yksinkertaisiin päättelymenetelmiin monimutkaisuuden lisääntyessä

Tutkijaryhmä julkaisi kattavan tutkimuksen 20. marraskuuta, jossa analysoitiin yli 192 000 päättelyjälkeä suurista kielen mallista (LLM), osoittaen, että tekoälyjärjestelmät turvautuvat pintapuolisiin, lineaarisiin strategioihin ihmisten luonnollisesti käyttämiä hierarkkisia kognitiivisia prosesseja sijaan.

Tutkijaryhmä tarkasteli 18 eri mallia tekstin, näön ja äänen päättelytehtävissä ja vertasi niiden lähestymistapoja 54 ihmisen ajatusten ääneen kuuluvaa jälkeä, jotka kerättiin erityisesti tutkimusta varten. Analyysi loi 28 kognitiivisen elementin taksonomian, joka kattaa laskennalliset rajoitukset, meta-kognitiiviset ohjaimet, tietorepresentaatiot ja muunnosoperaatiot – tarjoamalla kehyksen arvioida, onko malleilla oikeat vastaukset, mutta myös miten ne päätyvät noihin johtopäätöksiin.

Perustavanlaatuiset erot kognitiivisessa arkkitehtuurissa

Ihmisen päättely osoittaa johdonmukaista hierarkkista rakennetta ja meta-kognitiivista valvontaa – kykyä heijastella ja säännellä omaa ajatteluprosessiaan. Ihmiset järjestävät tietoa helposti sisäkkäisiin rakenteisiin ja seuraavat edistymistään monimutkaisten ongelmien kanssa.

LLM:t käyttävät pääasiassa pintapuolista eteenpäin ketjutusta, siirtyen askel askeleelta ongelmista ilman ihmisen kognitiiviselle prosessille luonteenomaista hierarkkista järjestystä tai itseheijastusta. Tämä ero tulee selkeimmäksi, kun tehtävät ovat huonosti määriteltyjä tai epäselviä, jolloin ihmisen sopeutumiskyky ylittää merkittävästi tekoälylähestymistapaa.

Tutkimus osoitti, että kielimallit omistavat menestyksekkään päättelyn liittyvät käyttäytymisen komponentit, mutta usein epäonnistuvat niiden käyttämisessä spontaanisti. Suorituskyky vaihtelee dramaattisesti ongelman tyypin mukaan: dilemma-päättely osoitti suurimman vaihtelun, ja pienemmät mallit kamppailevat merkittävästi, kun taas looginen päättely osoitti kohtuullisen suorituskyvyn, ja suuremmat mallit yleensä suorittivat paremmin kuin pienemmät. Mallit osoittavat vastoin odotuksia heikkouksia, onnistuen monimutkaisissa tehtävissä, mutta epäonnistuen yksinkertaisemmissa versioissa.

Suorituskyvyn parantaminen ohjatun päättelyn avulla

Tutkijaryhmä kehitti testiaikaisen päättelyn ohjauksen, joka automaattisesti tarjoaa onnistuneita kognitiivisia rakenteita, osoittaen suorituskyvyn parantumista jopa 66,7 %:iin monimutkaisissa ongelmissa, kun malleja kehotetaan omaksumaan enemmän ihmismäisiä päättelylähestymistapoja. Tämä havainto osoittaa, että LLM:llä on olemassa latenteja kykyjä monimutkaisempaan päättelyyn, mutta niiden käyttäminen edellyttää eksplisiittistä ohjausta.

Tutkimuksen julkisesti saatavissa oleva tietoaineisto tarjoaa vertailukohdan tuleville tutkimuksille, jotka vertailevat tekoälyä ja ihmisen älykkyyttä. 28 erillisen kognitiivisen elementin kartoittamalla kehys mahdollistaa tutkijoille täsmällisen määrityksen siitä, missä kohdissa tekoälypäättely epäonnistuu, sen sijaan, että vain mitataan tarkkuuspisteitä.

Vaikutukset tekoälykehitykseen

Havainnot korostavat nykyisten tekoälyjärjestelmien perustavanlaatuista rajoitusta: eroa laskennallisen kyvyn ja aitojen kognitiivisten taitojen välillä. Massiivisilla tietojoukoilla koulutetut mallit voivat löytää oikeat vastaukset monissa tehtävissä, mutta niiltä puuttuu ihmisen ongelmanratkaisun luonteenomainen heijastuva, hierarkkinen ajattelu.

Tutkimus vahvistaa kasvavaa huolta tekoälypäättelyn rajoituksista, jotka on tunnistettu useilla aloilla. Ohjatun päättelyn suorituskyvyn parantuminen osoittaa, että paremmat ohjausstrategiat ja arkkitehtoniset muutokset voivat auttaa malleja pääsemään paremmin käyttämään latenteja päättelykykyjään.

Tutkimuksen merkittävin panos saattaa olla yksityiskohtainen kognitiivisten elementtien taksonomia, joka tarjoaa tutkijoille ja kehittäjille tarkat kohdat parantamiseksi. Sen sijaan, että päättelyä käsiteltäisiin yhtenäisenä kykynä, kehys hajottaa sen mitattaviin osiin, joita voidaan parantaa koulutusmuutoksilla tai ohjausmenetelmillä.