Ketjuajattelun osoittautuminen “koristeelliseksi” suurissa kielimalleissa

Uusi tutkimus tarjoaa helpon ja edullisen tavan määrittää, ovatko johtavien nykyisten tekoälykielimallejen, kuten ChatGPT:n ja Clauden, kiillotetut askelkohtaiset selitykset vain “koristeellisia” ja keksittyjä tekoälyn vastaanottaman vastauksen jälkeen.

Edellisenä vuonna useat korkean profiilin tutkimukset tekoälyyn keskittyviltä yrityksiltä, kuten Anthropic ja Apple, osoittivat, että niin kutsutut “päättelytekoälyt” usein tuottavat askelkohtaisia selityksiä, jotka eivät heijasta sitä, mitä todella vaikuttaa heidän vastauksiinsa.

Erilaisista syistä johtuen keskustelu muuttui nopeasti kiivaiksi vastineiksi ja moninaisiin tulkintoihin (mukaan lukien tässä sivustossa), jättäen ratkaisemattomaksi kysymyksen siitä, onko ketjuajattelu (CoT) vain kosmeettinen koriste, joka on tarkoitettu loppukäyttäjien lohduttamiseksi, vai todiste aidoista päättelyprosessista.

ChatGPT ‘näyttää työnsä’ – mutta onko se jo päättänyt, mitä vastata?

Näytä ja kerro

Nyt Intiasta on tulossa mielenkiintoinen uusi tutkimus, joka tarjoaa halvan ja helposti toistettavan menetelmän arvioida, ovatko ChatGPT:n ja muiden suurten kielimallien käyttöliittymissä näkyvät vaikuttavat “johtoprosessien animaatiot” todella merkkinä siitä, että tekoäly työskentelee askelkohtaisesti johtopäätökseen.

Uusi tutkimus on tehty Intian tiedekeskus Allahabadissa (IIITA) ja Delhissä sijaitsevassa National Institute of Electronics and Information Technology (NIELIT):ssä.

Tutkijat totesivat, että lähes kaikissa tapauksissa suurten ja avoimien kielimallien ketjuajattelun esittäminen käyttäjille on “koristeellista”, keksittyä tekoälyn päättämisen jälkeen.

Testatessaan ChatGPT5.4:ää, Claude Opus 4.6-R:ää ja DeepSeek-V3.2:aa, tutkijat totesivat, että poistamalla yksittäinen askel 10-15 ketjuajattelun osoituksesta muutti vastausta vain 17%:ssa tapauksista, ja että yksittäinen askel riitti yksinään oikean vastauksen palauttamiseen.

Tutkijat toteavat*:

‘Sääntelykehykset tekoälylle terveydenhuollossa, rahoituksessa ja oikeudessa vaativat yhä useammin “selitettäviä” [järjestelmiä]. Tutkimuksemme osoittaa, että standardimenetelmä – pyytäminen mallilta näyttämään työnsä – tarjoaa illuusion avoimuudesta.

‘Selitykset ovat sulavia, aiheeseen liittyviä ja väärin hienovaraisella tavalla: ne kuvaavat päättelyä, jota malli ei ole suorittanut.

‘Lääketieteellinen tekoäly, joka kirjoittaa “eosinofilia viittaa emboliseen prosessiin”, ei välttämättä ole koskaan tarkastellut eosinofiliaa. Se voi olla havainnut mallin ja vastauksen välisen yhteyden ja keksinyt päättelyn jälkeenpäin.

‘EU:n tekoälylain 13. artiklan mukaan korkean riskin tekoälyjärjestelmän on annettava “merkityksellistä tietoa logiikasta, jota on käytetty”. Tutkimuksemme osoittaa, että useimpien mallien ketjuajattelun selitykset eivät täytä tätä standardia – “logiikkaa, jota on käytetty” vastauksen saamiseksi, ei ole selityksessä kuvattu logiikka.’

Tutkijat huomaavat, että kaksi pienempää testattua mallia poikkesi yleisestä kaavasta: MiniMax-M25 osoitti aitoa askelriippuvuutta tunteiden analyysissä, kun taas Kimi-K25 osoitti aitoa 39%:n tarvetta ketjuajatteluprosessille – vain aiheen luokittelussa.

Kaikissa muissa tapauksissa, kuten suuremmilla ja tunnetummilla malleilla, näytetyt päättelyaskelten näytti olevan täysin esittävän, ja mallit käyttivät pikakäärejä.

Pienet mallit pyrkivät kovemmin

Lisäksi tutkijat testasivat kymmenkunta avoimia painoja ja pienempiä malleja, jotka vaihtelivat 0,8 ja 8 miljardin parametrin välillä (joka on melko vaatimaton nykyään), ja totesivat, että nämä pienemmät tekoälyt päättelivät tosiaan, ja että heidän näyttämänsä ketjuajattelu oli yleensä – vaikka ei aina – välttämätöntä saavuttaa hyödyllisiä ja tarkkoja johtopäätöksiä.

Pienemmät mallit osoittivat 55%:n tarpeen askelpäättelyyn, kun taas suurempien mallien keskiarvo oli vain 11%:n tarve. Tutkijat väittävät, että ‘suuremmat mallit ovat oppineet ohittamaan moniaskelisen päättelyn kokonaan ja saavuttamaan oikeat vastaukset sisäisillä pikakävelyillä, joita heidän kirjoittamansa päättely ei heijasta’.

Tutkijat esittävät, että mitä paremmin malli suoriutuu tehtävästä, sitä vähemmän se tarvitsee päättelyaskelia (vaikka tämä on enemmän diplomatiaa aiemman käsitteen “järjenalaisen analyysin väistämiseksi suosittujen vastausten eduksi” sijaan):

‘Pienet mallit päättelivät uskollisesti matematiikassa, koska heillä ei ollut parametrinen tieto ohittaa.

‘Etumallit ovat sisäistäneet riittävästi matemaattisia malleja, jotta eksplisiittinen ketjuajattelu on tarpeeton. Ketjuajattelu parantaa kuitenkin tarkkuutta (järjestämällä generointia), mutta yksittäiset askelten eivät enää kanna ainutlaatuista tietoa.’

Menetelmä

Tutkimuksessa käytetty menetelmä perustuu kolmeen kriteeriin:

Tarpeellisuus poistaa kunkin ketjuajattelun askelen vuorotellen ja tarkistaa, muuttaaanko vastaus. Jokainen askel, jonka poistaminen muuttaa tuloksen, lasketaan “tarpeelliseksi”; riittävyys eristää kunkin askelen ja testaa, voitaisiinko sitä yksinään käyttää vastauksen saamiseen, ja jokainen tällainen askel lasketaan “riittäväksi”; ja järjestyksen herkkus sekoittaa askelten järjestyksen ja tarkistaa, muuttaaanko vastaus (koska aito päättely riippuu järjestyksestä eikä avainsanoista).

Näiden yhdistettyä käyttöä voidaan pitää osoituksena aidoista askelkohtaisesta päättelystä, kun taas alhainen tarpeellisuus ja korkea riittävyys osoittavat selitykset, jotka voidaan poistaa, järjestellä uudelleen tai vähentää ilman vaikutusta lopputulokseen.

Tutkijat toteavat, että tämä menetelmä tekee turhaksi tarpeen avoimen mallin sisäiseen analyysiin, koska sitä voidaan suorittaa muutamalla dollarilla suljetun lähdekoodin, API-vain malleilla, kuten ChatGPT:llä ja Claudella, ja luonnollisesti yhtä hyvin avoimilla painoilla, joita voidaan asentaa paikallisesti.

He huomaavat myös, että aiemmat tutkimukset käyttivät joko avoimia painoja, jotka mahdollistivat sisäisen analyysin, tai yksinkertaisia binäärisiä “kyllä/ei” -vastauksia, jotka paljastivat vähemmän API-mallin sisäisestä päättelyprosessista.

Minimikustannukset

Tutkijat määrittelevät aitoa päättelyä tarpeellisuuden ja riittävyyden kautta, jossa korkea tarpeellisuus ja matala riittävyys osoittavat, että kunkin askelen kantaa ainutlaatuista painoa. Toisaalta koristeellinen päättely osoittaa matalan tarpeellisuuden ja korkean riittävyyden, mikä tarkoittaa, että askelia voidaan poistaa tai käyttää yksinään ilman vaikutusta vastaukseen.

Tarpeellisuus yksinään, he toteavat, voi peittää tämän, koska useita voimassa olevia polkuja voi olla. Siksi riittävyys käytetään testaamaan, voitaisiinko yksittäistä askelta käyttää vastauksen saamiseen, ja järjestyksen herkkus tarkistaa, riippuuko malli järjestyksestä eikä pintaominaisuuksista.

Lähestymistapa perustuu Intervention-Consistent Explanation (ICE) -kehykseen, vaatii vain tekstin sisään- ja ulosmenotiedon API:sta, ja kuuden askelen ketjuajattelun kohdalla se vaatii 15 arviointia, joiden kustannus on noin 1–2 dollaria per malli.

ICE-kehyksessä mallin käyttäytyminen luokitellaan tarpeellisuuden ja riittävyyden mukaan kolmeen kaavaan: koristeellinen osoittaa matalan tarpeellisuuden ja korkean riittävyyden, mikä tarkoittaa, että askelten on tarpeeton ja vastaus saadaan muutenkin. Tämä hallitsee useimmissa malleissa ja tehtävissä; aidosti uskollinen osoittaa korkean tarpeellisuuden ja korkean riittävyyden, mikä tarkoittaa, että kunkin askelen kantaa todellista signaalia (ja, kuten aiemmin mainittiin, tämä näkyy MiniMax-M2.5:ssä tunteiden analyysissä); ja kontekstiriippuvainen osoittaa korkean tarpeellisuuden ja matalan riittävyyden, mikä tarkoittaa, että askelten toimivat yhdessä vain järjestyksessä (joka näkyy Kimi-K2.5:ssä ja MiniMaxissa aiheen luokittelussa, ja pienissä malleissa, kun käsitellään matematiikkaa).

Testit

Kymmenen pääasiassa API-vain mallia, jotka testattiin uudella ICE-lähestymistavalla, olivat ChatGPT-5.4; Claude Opus 4.6-R; DeepSeek-V3.2; GPT-OSS-120B; Kimi-K2.5; Qwen3.5-397B; Qwen3.5-122B; MiniMax-M2.5; GLM-5; ja Nemotron-Ultra (253 miljardia parametriä).

Kunkin mallin testattiin neljällä tehtävällä: tunteiden luokittelu (käyttäen (SST-2); matemaattisia sanallisia ongelmia (käyttäen GSM8K); aiheen luokittelu (käyttäen AG News); ja lääketieteellistä kysymyksen vastaamista (käyttäen (MedQA). Alkutestit suoritettiin tunteiden ja matematiikan kanssa:

Testit kymmenen johtavan kielimallin testit, joissa arvioidaan, miten ne käsittelevät askelkohtaisen päättelyn. ‘Tarpeellisuus’ seuraa, muuttaako askelen poistaminen vastausta; ‘riittävyys’ tarkistaa, voitaisiinko yksittäistä askelta käyttää vastauksen saamiseen; ja ‘järjestyksen herkkus’ tarkistaa, vaikuttaako järjestys. Useimmat mallit antavat vakuuttavat, mutta ei-välttämättömät selitykset SST-2:lla ja GSM8K:lla, kun taas MiniMax-M2.5 riippuu enemmän askelistaan tunteiden analyysissä. Sekä MiniMax että Kimi-K2.5 osoittavat enemmän aitoa askelkohtaista päättelyä aiheen luokittelussa. Lähde

Tutkijat toteavat, että näistä tuloksista:

‘Useimmat mallit osoittavat, mitä me kutsumme “koristeelliseksi päättelyksi” (Onniaskel ICE-luokituksessa) – kaava, jossa askelten tarpeellisuus on alle 17% ja askelten riittävyys ylittää 60% sekä tunteiden luokittelussa että matematiikassa.

‘Yksinkertaisesti sanottuna: voit poistaa minkä tahansa päättelyaskelen, ja vastaus muuttuu harvemmin, mutta yksittäinen askel riittää yksinään vastauksen saamiseen.’

SST-2:n tunteiden luokittelutestillä GPT-5.4 harvemmin riippui kirjoitetusta päättelystään, koska askelen poistaminen muutti vastausta vain 0,1%:ssa 500 tapauksessa, mikä osoittaa, että selitys lisättiin vasta päättelyn jälkeen.

Claude Opus 4.6-R riippui askelistaan hieman enemmän, 14,8%:ssa, mutta 91%:ssa askelista yksinään riitti vastauksen saamiseen; siksi sen pidemmät selitykset olivat yksityiskohtaisempia, mutta silti pääosin “koristeellisia”.

Tutkijat lisäsivät sitten muut aiheet ja testasivat uudelleen:

Askeltason uskollisuus ja tarkkuus neljällä alueella: SST-2; GSM8K; AG News; ja MedQA. Useimmat malli-tehtäväparit ovat edelleen koristeellisia, vaikka niillä on korkea tarkkuus, lukuun ottamatta joitakin poikkeuksia: MiniMax-M2.5 ja Kimi-K2.5 osoittavat kontekstiriippuvaa tai aitoa askelriippuvaa päättelyä AG Newsissa, kun taas kokonaisuuden suoritus vahvistaa, että alhainen uskollisuus ei johdu satunnaisesta arvauksesta.

Tutkijat toteavat:

‘Neljän alueen tulokset vahvistavat keskeisen löydön: koristeellinen päättely on yleinen kaikilla alueilla lyhytaikaisille malleille. Claude Opus osoittaa 1,7%:n tarpeellisuutta MedQA:lla (486 esimerkkiä, 93,4%:n tarkkuus) – malli kirjoittaa yksityiskohtaisia lääketieteellisiä päättelyketjuja, jotka keskimäärin 5,8 askelta, mutta askelen poistaminen muuttaa harvemmin diagnoosia.’

AG News osoitti suurimmat erot mallejen välillä, Kimi-K2.5 ja MiniMax riippuivat tosiaan askelkohtaisesta päättelystään, ja useimmat muut järjestelmät tuottivat selityksiä, jotka eivät vaikuttaneet lopputulokseen.

DeepSeek-V3.2, jota testattiin kaikilla neljällä tehtävällä, oli koristeellinen koko ajan; vaikka se kirjoitti pisin selitykset, vastaukset harvemmin riippuivat askelista.

Lähtöjäykkyys

Testit osoittivat neljännen ilmiön, jonka tutkijat kutsuivat lähtöjäykkyys: jotkut mallit ovat vain vastahakoisia tuottamaan ulostuloprosesseja, riippuen myös aiheesta ja mahdollisesti muista olosuhteista. Alla nähdään Clauden päättelyprosessi, kun se vastaa kysymykseen 61-vuotiaan miehen terveydentilasta; ja alla on GPT-OSS-120B:n ulostulo:

Sanamuoto vs. vaatimattomuus.

Tutkijat toteavat, että lähtöjäykkyys on tehtävän mukaan:

Mallit eroavat jyrkästi siinä, kuinka usein ne päättävät “näyttää työnsä”. Claude ja DeepSeek tuottavat moniaskelisia selityksiä melkein aina, riippumatta aiheesta, toisin kuin Qwen3.5-397B, joka harvemmin koskaan tekee niin. Muut vaihtelevat käyttäytymistään tehtävän mukaan, joillakin tuotetaan yksityiskohtaisia logiikkaketjuja luokittelussa, mutta vähemmän lääketieteellisissä kysymyksissä.

He toteavat:

‘Mallit, jotka ovat todennäköisimmin ohittamaan päättelyn sisäisesti, ovat myös mallit, jotka todennäköisimmin jättävät päättelyn ulkopuolelle. GPT-OSS-120B tuottaa moniaskelisia päättelyjä 99%:ssa tunteiden kysymyksistä ja 100%:ssa aiheen luokittelukysymyksistä – mutta vain 38%:ssa lääketieteellisistä kysymyksistä. 62%:ssa lääketieteellisistä kysymyksistä se antaa pelkän vastauskirjaimen.’

Kaava ei vaikuta sattumalta: GPT-OSS-120B tuottaa moniaskelisia selityksiä melkein kaikissa tunteiden ja aiheen luokittelun kysymyksissä, mutta vaihtaa yksittäisen vastauskirjaimen useimmissa lääketieteellisissä kysymyksissä (joissa se yleensä ei näytä mitään näkyvää päättelyä).

Tutkijat olettavat, että koska askeltason testit vaativat kirjoitettuja ketjuja analyysiin, malli, joka vastaa yhdellä tokenilla, ei voida arvioida näillä menetelmillä; ulkopuolisen päättelyn puute estää suoran mitauksen.

Tutkimus johtaa siihen, että malleja, jotka valitaan korkean panoksen sovelluksiin, on testattava uskollisuuden lisäksi tarkkuuden osalta, ja ehdottavat, että malli, joka on 2%:n vähemmän tarkka, mutta joka tosiaan päättelystään, voi olla mieluummin – ei vain siksi, että se täyttää EU:n ja muiden uusien sääntelyjen vaatimukset selitettävää tekoälyä koskien, vaan myös siksi, että se on perusteltua. Tutkimuksen perusteella lähes kaikki CoT-kelpoiset suuret kielimallit “pettävät” lähes aina.

Johtopäätös

Tämä on mielenkiintoinen tutkimus, joka tarjoaa laajemman testaamisen ja keskustelun aiheesta, jota meillä ei ole tilaa käsitellä tässä, ja suosittelen lukijaa alkuperäiseen aineistoon.

Keskeinen viesti, joka jatkuu viime vuoden kiistasta, on, että korkean panoksen tekoälyalustat voivat olla halukkaita kiertämään teräviä standardeja, joita ne eivät vielä täytä.

Lisäksi ero avoimien painojen ja suljetun lähdekoodin mallien välillä on niin suuri, että yleensä ei voida järkevästi päätellä suljetun lähdekoodin vaikutuksia avoimien painojen asennuksista, mikä syventää näiden prosessien ja standardien epäselvyyttä.

Kuitenkin todelliset parannukset “halpoihin temppuihin” tällaisiin ovat todennäköisesti vain silloin, kun voimakkaat tahot, kuten EU, uhkaavat suurten tekoälyportaalien kannattavuutta.

*Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.

^† Tutkimus ei paljasta yhtenäistä luetteloa näistä pienemmistä malleista, ja se sisältää lisäksi yhden mallin variantteja, mikä tekee määrätietoisen luettelon johtopäätöksen asiaksi.

^†† Kirjoittajien korostukset.

Julkaistu ensimmäisen kerran keskiviikkona, 25. maaliskuuta 2026