Das Versagen von LLMs in Mathematik und wie man es löst

Mathematik hat für KI-Modelle immer eine große Herausforderung dargestellt. Das Beherrschen von Mathematik erfordert komplexe Denkfähigkeiten, und für KI ist diese Aufgabe alles andere als einfach. Dies schafft ein riesiges Problem, wenn man die Bedeutung mathematischer Kompetenz für beruflichen, persönlichen und akademischen Erfolg berücksichtigt.

Trotz ihrer bemerkenswerten Fähigkeiten kämpfen große Sprachmodelle (LLMs) oft mit komplexen mathematischen Aufgaben, wie Geometrie, die erweiterte Denkfähigkeiten erfordern. Dies bringt uns zu der kritischen Frage: Wie viel von der mathematischen Fähigkeit eines KI-Modells stammt aus echtem Denken und nicht nur aus der Wiederholung von Trainingsdaten?

Neue Erkenntnisse von Apple zeigen, dass sogar bei der Konzentration auf Mathematik-Probleme für die Grundschule die fortschrittlichsten Modelle nicht vollständig von “Denken” angetrieben werden.

Wenn man dies weiterverfolgt, hat das R&D-Team von MathGPT.ai neue Erkenntnisse über Bereiche der Algebra bis zur Analysis gewonnen, die die meisten Verbesserungen benötigen.

Diese Daten untersuchten, wie Variationen im Problemkontext und in der Sprache die Modellleistung über verschiedene LLMs hinweg beeinflussen, einschließlich der neuesten o1-Vorschau- und o1-Mini-Modelle von OpenAI. Die Ergebnisse zeigten einen besorgniserregenden Trend: Die Genauigkeit sank konsistent, wenn die Probleme von den ursprünglichen Fragen in den Trainingsdaten der LLMs abwichen, und die Leistung fiel steil auf anspruchsvolleren mathematischen Benchmarks über dem Niveau der Grundschulmathematik.

Das Erinnerungs- vs. Denk-Dilemma

Die Untersuchung konzentrierte sich auf drei Schlüsselfaktoren:

1. Die Verwendung anspruchsvollerer mathematischer Benchmarks als der Grundschulmathematik
2. Die Erforschung eines “1-Shot-Prompts” mit extremer Nähe zum Testproblem
3. Die Implementierung einer “Best-of-n”-Strategie für n Versuche des gleichen Problems – effektiv eine Mehrheitsentscheidung, um statistische Anomalien bei der Inferenz zu eliminieren.

Die Ergebnisse waren sowohl faszinierend als auch besorgniserregend. Die Grenzen der Problemvariation wurden ausgedehnt, was einen konsistenten Rückgang der KI-Modellleistung zeigte, wenn die mathematischen Gleichungen komplexer wurden.

Die MATH-Datensatz-Herausforderung

Der MATH-Datensatz wurde eingesetzt, der für seine anspruchsvollen Aufgaben auf High-School-Niveau bekannt ist, im Gegensatz zum Datensatz “Grade School Math 8K”, der 8.500 sprachlich vielfältige Aufgaben auf Elementarstufe enthält. Der MATH-Datensatz präsentiert anspruchsvollere Aufgaben auf High-School-Niveau, um die Modellleistung über verschiedene Schwierigkeitsgrade hinweg zu untersuchen, von Präalgebra bis zur Zahlentheorie. Diese Wahl ermöglichte es MathGPT.ai, die Modellleistung über verschiedene Schwierigkeitsgrade hinweg besser zu untersuchen.

Bei den Tests blieben numerische Werte und endgültige Antworten unverändert, während wir die Sprache, Variablen und den Kontext der Probleme variierten. Zum Beispiel könnte ein “Hundespaziergang”-Szenario in ein “Geschirrspüler”-Problem umgewandelt werden. Diese Methode half, die erhöhte Komplexität des MATH-Datensatzes zu mildern, während die Denkfähigkeiten der Modelle dennoch herausgefordert wurden.

Aufdeckende Ergebnisse

Die Ergebnisse waren verblüffend. Selbst die fortschrittlichsten Modelle kämpften, wenn sie mit Variationen von Problemen konfrontiert wurden, die sie wahrscheinlich in ihren Trainingsdaten getroffen hatten. Zum Beispiel sank die Genauigkeit des o1-Mini-Modells von 93,66 % bei ursprünglichen Fragen auf 88,54 % bei der anspruchsvollsten Variation. Das o1-Vorschau-Modell erlebte einen ähnlichen Rückgang, von 91,22 % auf 82,93 % – ein scharfer genug Rückgang, um kritische Lücken in ihrer Robustheit hervorzuheben.

Diese Ergebnisse stimmen mit und bauen auf Apples früherer Forschung auf, die zeigt, dass die Grenzen der mathematischen Denkfähigkeit von KI deutlicher werden, wenn die Probleme komplexer werden und ein tieferes Verständnis erfordern, anstatt nur Mustererkennung.

Der Weg Vorwärts

Wenn wir die Grenzen der Denkfähigkeit von LLMs weiter ausdehnen, ist es entscheidend, sowohl ihr enormes Potenzial als auch ihre aktuellen Grenzen anzuerkennen. Neue Forschung unterstreicht die Notwendigkeit weiterer Innovationen bei der Entwicklung von KI-Modellen, die über die Mustererkennung hinausgehen und robustere, allgemeinere Problemlösungsfähigkeiten erlangen können.

Dies kommt zu einem kritischen Zeitpunkt, insbesondere in der höheren Bildung, wo KI immer mehr als Hilfsmittel für Lehrer im Klassenzimmer eingesetzt wird, während Schulen gleichzeitig hohe Versagensraten bei Mathematik-Schülern verzeichnen, die nicht auf Kurse vorbereitet sind.

Das Erreichen menschlicher kognitiver Fähigkeiten oder allgemeiner Intelligenz in KI erfordert nicht nur technologische Fortschritte, sondern auch ein differenziertes Verständnis davon, wie man die Lücke zwischen Erinnerung und echtem Denken überbrückt.

Wenn wir auf diesem Weg erfolgreich sind, bin ich zuversichtlich, dass wir das Leben von Millionen von Schülern und sogar Berufstätigen verändern können, um ihr Leben auf eine völlig neue Bahn zu setzen.