LLM:n epäonnistuminen matematiikassa ja ratkaisu siihen

Matematiikka on aina ollut merkittävä haaste tekoälymallille. Matematiikan hallitseminen vaatii monimutkaisia päättelytaitoja, ja tekoälylle tämä tehtävä ei ole mitenkään suoraviivainen. Tämä luo suuren ongelman, kun otetaan huomioon matemaattisen pätevyyden merkitys ammatillisessa, henkilökohtaisessa ja akateemisessa menestyksessä.

Huolimatta merkittävistä kyvyistään, suuret kielen mallit (LLM) usein kamppailevat monimutkaisien matemaattisten tehtävien kanssa, kuten geometrian, jotka vaativat edistyneitä päättelytaitoja. Tämä johtaa meidät kriittiseen kysymykseen: kuinka paljon tekoälymallin matemaattisista kyvyistä johtuu aidoista päättelystä verrattuna pelkästään koulutusdatan muistiin?

Applelta saadut viimeaikaiset löydökset osoittavat, että jopa kun keskitytään perusopetuksen matematiikan sanallisiin tehtäviin, edistyneimmätkin mallit eivät ole täysin “päättelystä” johtuvia.

Menemällä tästä yhden askeleen eteenpäin, MathGPT.ai:n tutkimus- ja kehitystiimi antoi uutta valaistusta algebran ja laskennan tasolle matematiikassa, joissa tarvitaan eniten parantamista.

Tämä data tutki, miten ongelman kontekstin ja kielen vaihtelut vaikuttavat mallin suorituskykyyn eri LLM-malleissa, mukaan lukien OpenAI:n uusimmat o1-preview- ja o1-mini-mallit. Löydökset paljastivat huolestuttavan suuntauksen: tarkin tarkkuus laski jatkuvasti, kun ongelmat poikkesivat alkuperäisistä kysymyksistä, jotka olivat LLM-mallien koulutusdatassa, ja suorituskyky laski jyrkästi haastavammilla matemaattisilla mittareilla perusopetuksen matematiikan tasoa korkeammalla.

Päättely vs. Muistiin Painaminen – Dilemma

Tutkimus keskittyi kolmeen tärkeään tekijään:

1. Käyttäen haastavampia matemaattisia mittareita kuin perusopetuksen matematiikka
2. Tutkimalla “1-shot promptia” jolla on äärimmäinen läheisyys testiongelmaan
3. Toteuttamalla “parhaan n” -strategiaa n yrityksellä samassa ongelmassa – tehokkaasti enemmistöäänestys poistamaan tilastolliset poikkeamat johtopäätöksessä.

Tulokset olivat sekä mielenkiintoisia että huolestuttavia. Ongelman vaihtelun rajat venytettiin, mikä osoitti jatkuvan laskun tekoälymallin suorituskyvyssä, kun matemaattiset yhtälöt muuttuivat monimutkaisemmiksi.

MATH Dataset – Haaste

MATH-aineisto MATH dataset otettiin käyttöön, joka on tunnettu haastavista lukiotasoisista ongelmista, toisin kuin Grade School Math 8K -aineisto, joka sisältää 8 500 kielellisesti monimuotoista perusopetuksen tason ongelmaa. MATH-aineisto esittää haastavampia lukiotasoisia kysymyksiä tutkimaan mallin suorituskykyä vaihtelevilla vaikeustasoilla, algebrasta lukuteoriaan. Tämä valinta mahdollisti MathGPT.ai:lle paremmin tutkia mallin suorituskykyä vaihtelevilla vaikeustasoilla.

Testauksessa, vaikka numeeriset arvot ja lopputulokset säilyivät muuttumattomina, muutimme kieltä, muuttujia ja ongelmien kontekstia. Esimerkiksi “koiran kävely” -skenaario voitiin muuttaa “astianpesukone” -ongelmaksi. Tämä menetelmä auttoi lieventämään MATH-aineiston lisääntynyttä monimutkaisuutta samalla haastamalla mallin päättelykykyjä.

Paljastavat Tulokset

Tulokset olivat hämmästyttäviä. Jopa edistyneimmät mallit kamppailivat, kun ne kohtasivat ongelmien variaatioita, joita ne olivat todennäköisesti kohdanneet koulutusdatassaan. Esimerkiksi sen o1-mini-mallin tarkin tarkkuus laski 93,66 prosentista alkuperäisissä kysymyksissä 88,54 prosenttiin haastavimmassa variaatiossa. O1-preview-malli koki samanlaisen laskun, laskien 91,22 prosentista 82,93 prosenttiin – tarpeeksi jyrkkä lasku korostamaan kriittisiä aukkoja niiden luotettavuudessa.

Nämä löydökset ovat linjassa ja laajentavat Applelta aiemmin saatuja tutkimustuloksia, osoittaen, että tekoälyn matemaattisen päättelyn rajoitukset tulevat selvemmiksi, kun ongelmat kasvavat monimutkaisemmiksi ja vaativat syvempää ymmärrystä kuin pelkän mallintunnistuksen.

Tie Eteenpäin

Kun jatkamme LLM-päättelyn rajojen tutkimista, on tärkeää tunnustaa sekä sen uskomattomat mahdollisuudet että nykyiset rajoitukset. Uudet tutkimukset korostavat tarvetta jatkuvaan innovaatioon kehittääkseen tekoälymalleja, jotka pystyvät menemään patternin tunnistamisen ohi saavuttaakseen vahvemmat ja yleisemmät ongelmanratkaisukyvyt.

Tämä on kriittinen aika, erityisesti korkeakoulutuksessa, jossa tekoälyä käytetään yhä enemmän opettajan avuksi luokassa, samalla kun koulut myös näkevät korkeat epäonnistumisprosentit matematiikassa, joissa opiskelijat eivät ole valmistautuneet kursseja varten.

Saavuttaminen inhimillisen kognitiivisten kykyjen tai yleisen älymystön tekoälyssä vaatii ei vain teknologisia edistysaskelia, vaan myös hienostunutta ymmärrystä siitä, miten silittää kuilun muistiin ja aidoon päättelyyn.

Jos olemme menestyksekkäitä tässä pyrkimyksessä, olen varma, että voimme muuttaa miljoonien opiskelijoiden ja jopa ammattilaisten elämää ja asettaa heidän elämänsä täysin uudelle uralle.