LLM’ernes fiasko i matematik og hvordan man løser det

Matematik har altid udgjort en betydelig udfordring for AI-modeller. At mestre matematik kræver komplekse resonansfærdigheder, og for AI er denne opgave langt fra ligetil. Dette skaber et enormt problem, når man tager i betragtning matematiske færdigheders betydning for professionel, personlig og akademisk succes.

Trods deres bemærkelsesværdige evner kæmper store sprogmodeller (LLM’er) ofte med komplekse matematiske opgaver, såsom geometri, der kræver avancerede resonansfærdigheder. Dette bringer os til den kritiske spørgsmål: hvor meget af en AI-models matematiske evne stammer fra ægte resonans i stedet for blot genkaldelse af træningsdata?

Seneste fund fra Apple viser, at selv når de fokuserer på grundskolematematik, er selv de mest avancerede modeller ikke fuldstændigt drevet af “resonans”.

Ved at gå et skridt videre kastede R&D-holdet på MathGPT.ai nyt lys over områder indenfor algebra til kalkulatormatematik, der kræver den største forbedring.

Denne data undersøgte, hvordan variationer i problemkontekst og sprog påvirker modelpræstationen på tværs af forskellige LLM’er, herunder OpenAI’s seneste o1-preview og o1-mini-modeller. Fundene afslørede en bekymrende tendens: nøjagtigheden faldt konsekvent, når problemer afveg fra de oprindelige spørgsmål i LLM’ernes træningsdata, med en præstation, der faldt stærkt på mere udfordrende matematiske benchmarks over grundskoleniveauet.

Genkaldelse vs. Resonans-dilemmaet

Undersøgelsen fokuserede på tre nøglefaktorer:

1. At bruge mere udfordrende matematiske benchmarks end grundskolematematik
2. At udforske en “1-shot prompt” med ekstrem nærhed til testproblemet
3. At implementere en “best of n”-strategi for n forsøg på samme problem – effektivt en flertalsafstemning for at eliminere statistiske anomalier ved inferencetid.

Resultaterne var både fascinerende og bekymrende. Grænserne for problemvariation blev presset, hvilket viste en konsekvent nedgang i AI-modellens præstation, da de matematiske ligninger blev mere komplekse.

MATH Dataset-udfordringen

MATH-datasettet blev deployeret, kendt for sine udfordrende high-school-niveau-problemer, i modsætning til Grundskolematematik 8K-datasettet, der indeholder 8.500 sprogligt diverse grundskole-niveau-problemer. MATH-datasettet præsenterer mere udfordrende high-school-niveau-spørgsmål for at undersøge modelpræstationen på tværs af varierende sværhedsgrader, fra præ-algebra til talteori. Dette valg tillod MathGPT.ai at bedre undersøge modelpræstationen på tværs af varierende sværhedsgrader.

Under testen, mens numeriske værdier og endelige svar forblev uændrede, varierede vi sprog, variable og kontekst for problemerne. For eksempel kunne en “hund-går”-scenarie blive transformeret til et “opvaskemaskine”-problem. Denne metode hjalp med at mildne den øgede kompleksitet i MATH-datasettet, mens den stadig udfordrede modellens resonansfærdigheder.

Afslørende resultater

Resultaterne var slående. Selv de mest avancerede modeller kæmpede, når de stod over for variationer af problemer, de sandsynligvis havde mødt i deres træningsdata. For eksempel faldt dets o1-mini-modells nøjagtighed fra 93,66% på oprindelige spørgsmål til 88,54% på den mest udfordrende variation. O1-preview-modellen oplevede en lignende nedgang, faldende fra 91,22% til 82,93% – en skarp nok nedgang til at højligte kritiske huller i deres robusthed.

Disse fund stemmer overens med og bygger på Apples tidligere forskning, hvilket viser, at begrænsningerne i AI’s matematiske resonans bliver mere åbenlyse, når problemerne bliver mere komplekse og kræver en dybere forståelse snarere end mønstergenkendelse.

Vejen fremad

Da vi fortsætter med at presse grænserne for LLM-resonans, er det afgørende at erkende både dens utrolige potentiale og nuværende begrænsninger. Nyt forskning understreger behovet for fortsat innovation i udviklingen af AI-modeller, der kan bevæge sig ud over mønstergenkendelse for at opnå mere robuste og generaliserbare problemløsningsfærdigheder.

Dette sker på et kritisk tidspunkt, især i højere uddannelse, hvor AI bruges mere intensivt som en instruktørs hjælp i klasselokalet, mens skolerne samtidig oplever høje fejlratninger blandt matematikstuderende, der ikke er forberedt på kurserne.

At opnå menneskelignende kognitive færdigheder eller generel intelligens i AI kræver ikke kun teknologiske fremskridt, men også en nuanceret forståelse af, hvordan man kan brobygge mellem hullerne mellem genkaldelse og sand resonans.

Hvis vi er succesfulde på denne vej, er jeg sikker på, at vi kan ændre livet for millioner af studerende og selv professionelle, så de kan sætte deres liv på en helt ny bane.