Tutkimus paljastaa, että LLM:t turvautuvat yksinkertaisiin päättelymenetelmiin monimutkaisuuden lisääntyessä

Tutkijaryhmä julkaisi kattavan tutkimuksen 20. marraskuuta, jossa analysoitiin yli 192 000 päättelyjälkeä suurista kielen mallista (LLM), osoittaen, että tekoälyjärjestelmät luottavat mataliin, lineaarisiin strategioihin sen sijaan, että ne käyttäisivät ihmisten luonnollisesti käyttämiä hierarkkisia kognitiivisia prosesseja.

Tutkijaryhmä tutki 18 eri mallia teksti-, näkö- ja äänipäättelytehtävissä, vertaamalla niiden lähestymistapoja 54 ihmisen ajatteluprosessiin perustuvaan tietoon, joka kerättiin erityisesti tämän tutkimuksen tarkoituksiin. Analyysi loi 28 kognitiivisen elementin taksonomian, joka kattaa laskennalliset rajoitukset, meta-kognitiiviset ohjausjärjestelmät, tietorepresentaatiot ja muunnosoperaatiot – tarjoamalla kehyksen, jolla voidaan arvioida, miten mallit saavuttavat oikeat vastaukset, eikä vain sitä, ovatko ne oikein.

Perustavanlaatuiset eroavaisuudet kognitiivisessa arkkitehtuurissa

Ihmisen päättely osoittaa johdonmukaisesti hierarkkista rakennetta ja meta-kognitiivista seurantaa – kykyä heijastella ja säännellä omaa ajatteluprosessiaan. Ihmiset järjestävät tietoa helposti sisäkkäisiin rakenteisiin ja seuraavat aktiivisesti edistymistään monimutkaisissa ongelmissa.

LLM:t käyttävät pääasiallisesti matalaa eteenpäin ketjutusta, siirtymällä askel kerrallaan ongelmien läpi ilman ihmisen kognitiiviselle prosessille tyypillistä hierarkkista järjestystä ja itsestään seuraamista. Tämä eroavaisuus tulee selkeimmin ilmi, kun tehtävät ovat huonosti määriteltyjä tai epäselviä, jolloin ihmisen sopeutumiskyky ylittää merkittävästi tekoälylähestymistapaa.

Tutkimus osoitti, että kielimallit omistavat käyttäytymisen komponentit, jotka liittyvät onnistuneeseen päättelyyn, mutta usein epäonnistuvat käyttämään niitä spontaanisti. Suorituskyky vaihtelee dramaattisesti ongelman tyypin mukaan: dilemma-päättely osoitti suurimman vaihtelun, ja pienemmät mallit kamppailivat merkittävästi, kun taas looginen päättely osoitti kohtuullisen suorituskyvyn, ja suuremmat mallit yleensä suorittivat paremmin kuin pienemmät. Mallit osoittavat vastaisia heikkouksia, onnistuen monimutkaisissa tehtävissä ja epäonnistuen yksinkertaisemmissa variantteissa.

Suorituskyvyn parantaminen kohdennetulla päättelyllä

Tutkijaryhmä kehitti testiaikaisen päättelyohjauksen, joka automaattisesti rakentaa onnistuneita kognitiivisia rakenteita, osoittaen jopa 66,7 prosentin suorituskyvyn parantamisen monimutkaisissa ongelmissa, kun malleja ohjataan omaksumaan enemmän ihmismäisiä päättelylähestymistapoja. Tämä havainto viittaa siihen, että LLM:llä on latentteja kykyjä monimutkaisempaan päättelyyn, mutta niiden käyttäminen edellyttää eksplisiittistä ohjausta.

Erityinen ero ihmisen ja tekoälypäättelyn välillä kasvaa, kun tehtävän monimutkaisuus lisääntyy. Vaikka mallit voivat käsitellä suoraviivaisia ongelmia eteenpäin ketjutuksen avulla, ne kamppailevat sellaisten rekursiivisten, itseään seuraavien strategioiden kanssa, joita ihmiset käyttävät luonnollisesti, kun he kohtaavat epäselviä tai usean kerroksen haasteita.

Tutkimuksen julkisesti saatavilla oleva tietokanta tarjoaa vertailukohteen tuleville tutkimuksille, joissa verrataan tekoälyä ja ihmisen älykkyyttä. 28 erillisen kognitiivisen elementin kartoittamalla tutkijat voivat kohdistaa tarkasti, mihin kohtaan tekoälypäättely epäonnistuu, eikä vain mitata tarkkuuspisteitä.

Vaikutukset tekoälykehitykseen

Havainnot korostavat nykyisten tekoälyjärjestelmien perustavanlaatuista rajoitusta: kuilua laskennallisen kyvyn ja aitojen kognitiivisten taitojen välillä. Mallit, jotka on koulutettu massiivisilla tietokannoilla, voivat löytää oikeat vastaukset monissa tehtävissä, mutta niiltä puuttuu itseään tarkkaileva, hierarkkinen ajattelu, jota ihmiset käyttävät luonnollisesti ongelmanratkaisussa.

Tämä tutkimus tukee kasvavaa huolta tekoälypäättelyn rajoituksista, jotka on tunnistettu useilla alueilla. Kohdennetun päättelyn suorituskyvyn parantaminen viittaa siihen, että paremmat ohjausstrategiat ja arkkitehtoniset muutokset voivat auttaa malleja käyttämään latentteja päättelykykyjään tehokkaammin.

Tutkimuksen merkittävin panos saattaa olla yksityiskohtainen kognitiivisten elementtien taksonomia, joka tarjoaa tutkijoille ja kehittäjille tarkat kohdat parantamiseen. Sen sijaan, että päättelyä käsiteltäisiin yhtenäisenä kykynä, kehys jakaa sen mitattaviin osiin, joita voidaan käsitellä yksittäin koulutusmuutoksien tai ohjausjärjestelmien avulla.