LLMs sind keine Denker – sie sind nur wirklich gut im Planen

Große Sprachmodelle (LLMs) mögen o3 von OpenAI, Googles Gemini 2.0und R1 von DeepSeek haben bemerkenswerte Fortschritte bei der Lösung komplexer Probleme, der Generierung menschenähnlicher Texte und sogar beim präzisen Schreiben von Code gezeigt. Diese fortgeschrittenen LLMs werden oft bezeichnet als „Argumentationsmodelle“ für ihre bemerkenswerten Fähigkeiten, komplexe Probleme zu analysieren und zu lösen. Aber sind diese Modelle tatsächlich Grundoder sind sie einfach außergewöhnlich gut darin, Planung– Dieser Unterschied ist subtil, aber tiefgreifend und hat erhebliche Auswirkungen auf unser Verständnis der Möglichkeiten und Grenzen von LLMs.

Um diesen Unterschied zu verstehen, vergleichen wir zwei Szenarien:

• Argumentation: Ein Kriminalbeamter muss widersprüchliche Beweise zusammenfügen, herausfinden, welche falsch sind, und auf der Grundlage begrenzter Beweise zu einer Schlussfolgerung gelangen. Dieser Prozess erfordert Schlussfolgerung, Widerspruchslösung und abstraktes Denken.
• Planung: Ein Schachspieler berechnet die beste Zugfolge, um seinen Gegner Schachmatt zu setzen.

Während beide Prozesse mehrere Schritte umfassen, muss der Detektiv tiefgründiges Denken anstellen, um Schlussfolgerungen zu ziehen, Widersprüche zu bewerten und allgemeine Prinzipien auf einen bestimmten Fall anzuwenden. Der Schachspieler hingegen ist in erster Linie mit der Planung beschäftigt und wählt eine optimale Zugfolge, um das Spiel zu gewinnen. Wie wir sehen werden, funktionieren LLMs viel mehr wie der Schachspieler als wie der Detektiv.

Den Unterschied verstehen: Argumentation vs. Planung

Um zu verstehen, warum LL.M. eher zum Planen als zum logischen Denken geeignet sind, ist es wichtig, zunächst den Unterschied zwischen beiden Begriffen zu verstehen. Beim logischen Denken werden aus gegebenen Prämissen mithilfe von Logik und Schlussfolgerung neue Schlussfolgerungen gezogen. Dabei geht es darum, Inkonsistenzen zu erkennen und zu korrigieren, neue Erkenntnisse zu gewinnen, anstatt nur Informationen bereitzustellen, Entscheidungen in mehrdeutigen Situationen zu treffen und kausales Verständnis und kontrafaktisches Denken wie „Was wäre wenn?“-Szenarien zu betreiben.

Beim Planen hingegen geht es darum, eine Abfolge von Aktionen zu strukturieren, um ein bestimmtes Ziel zu erreichen. Dabei werden komplexe Aufgaben in kleinere Schritte unterteilt, bekannte Problemlösungsstrategien befolgt, zuvor erlernte Muster auf ähnliche Probleme angewendet und strukturierte Abfolgen ausgeführt, anstatt neue Erkenntnisse abzuleiten. Während sowohl das logische Denken als auch das Planen eine schrittweise Verarbeitung beinhalten, erfordert das logische Denken eine tiefere Abstraktion und Schlussfolgerung, während das Planen etablierten Verfahren folgt, ohne grundlegend neues Wissen zu generieren.

Wie LLMs das Thema „Argumentation“ angehen

Moderne LLMs wie OpenAIs o3 und DeepSeek-R1 sind mit einer Technik ausgestattet, die als Gedankenkette (CoT) Argumentation, um ihre Problemlösungsfähigkeiten zu verbessern. Diese Methode ermutigt Modelle, Probleme in Zwischenschritte zu zerlegen und ahmt so die Art und Weise nach, wie Menschen ein Problem logisch durchdenken. Um zu sehen, wie es funktioniert, betrachten Sie ein einfaches mathematisches Problem:

Wenn ein Geschäft Äpfel für 2 $ pro Stück verkauft, aber einen Rabatt von 1 $ pro Apfel anbietet, wenn Sie mehr als 5 Äpfel kaufen, wie viel würden dann 7 Äpfel kosten?

Ein typisches LLM mit CoT-Eingabeaufforderung könnte das Problem folgendermaßen lösen:

1. Bestimmen Sie den regulären Preis: 7 * 2 $ = 14 $.
2. Stellen Sie fest, dass der Rabatt gilt (da 7 > 5).
3. Berechnen Sie den Rabatt: 7 * 1 $ = 7 $.
4. Subtrahieren Sie den Rabatt vom Gesamtbetrag: 14 $ – 7 $ = 7 $.

Durch die explizite Festlegung einer Abfolge von Schritten minimiert das Modell die Wahrscheinlichkeit von Fehlern, die beim Versuch entstehen, eine Antwort in einem Durchgang vorherzusagen. Während diese schrittweise Aufteilung LLMs wie logisches Denken aussehen lässt, handelt es sich im Wesentlichen um eine Form strukturierter Problemlösung, ähnlich dem Befolgen eines schrittweisen Rezepts. Andererseits könnte ein echter Denkprozess eine allgemeine Regel erkennen: Wenn der Rabatt ab 5 Äpfeln gilt, kostet jeder Apfel 1 $Ein Mensch kann eine solche Regel unmittelbar ableiten, ein LLM hingegen nicht, da es lediglich einer strukturierten Abfolge von Berechnungen folgt.

Warum Gedankenketten Planung und nicht Argumentation sind

Während Gedankenkette (CoT) hat die Leistung von LLMs bei logikorientierten Aufgaben wie mathematischen Textaufgaben und Programmieraufgaben verbessert, erfordert aber kein echtes logisches Denken. Das liegt daran, dass CoT prozeduralem Wissen folgt und sich auf strukturierte Schritte verlässt, anstatt neue Erkenntnisse zu generieren. Es fehlt ein echtes Verständnis von Kausalität und abstrakten Beziehungen, was bedeutet, dass das Modell kein kontrafaktisches Denken anwendet oder hypothetische Situationen in Betracht zieht, die Intuition über sichtbare Daten hinaus erfordern. Darüber hinaus kann CoT seinen Ansatz nicht grundlegend über die Muster hinaus ändern, mit denen es trainiert wurde, was seine Fähigkeit einschränkt, kreativ zu denken oder sich an unbekannte Szenarien anzupassen.

Was wäre nötig, damit LLMs zu echten Denkmaschinen werden?

Was also brauchen LLMs, um wirklich wie Menschen denken zu können? Hier sind einige Schlüsselbereiche, in denen Verbesserungsbedarf besteht, sowie mögliche Ansätze, um dies zu erreichen:

1. Symbolisches Verständnis: Menschen denken durch die Manipulation abstrakter Symbole und Beziehungen. LLMs fehlt jedoch ein echter symbolischer Denkmechanismus. Die Integration symbolischer KI oder hybrider Modelle, die neuronale Netzwerke mit formalen Logiksystemen kombinieren, könnte ihre Fähigkeit zum echten Denken verbessern.
2. Kausale Folgerung: Echtes Denken erfordert das Verständnis von Ursache und Wirkung, nicht nur von statistischen Zusammenhängen. Ein Modell, das schlussfolgert, muss aus Daten zugrunde liegende Prinzipien ableiten, anstatt nur das nächste Token vorherzusagen. Die Forschung zur kausalen KI, die Ursache-Wirkungs-Beziehungen explizit modelliert, könnte LLMs beim Übergang von der Planung zur Schlussfolgerung helfen.
3. Selbstreflexion und Metakognition: Der Mensch bewertet ständig seine eigenen Denkprozesse, indem er fragt „Ist diese Schlussfolgerung sinnvoll?“ LLMs hingegen verfügen nicht über einen Mechanismus zur Selbstreflexion. Der Aufbau von Modellen, die ihre eigenen Ergebnisse kritisch bewerten können, wäre ein Schritt in Richtung echter Argumentation.
4. Gesunder Menschenverstand und Intuition: Obwohl LL.M. Zugang zu einer riesigen Menge an Wissen haben, tun sie sich oft mit grundlegendem gesunden Menschenverstand schwer. Das liegt daran, dass ihnen die Erfahrungen aus der realen Welt fehlen, um ihre Intuition zu formen, und sie können die Absurditäten, die Menschen sofort auffallen würden, nicht leicht erkennen. Außerdem fehlt ihnen eine Möglichkeit, reale Dynamiken in ihre Entscheidungsfindung einfließen zu lassen. Eine Möglichkeit, dies zu verbessern, könnte darin bestehen, ein Modell mit einer Common-Sense-Engine zu erstellen, was die Integration realer sensorischer Eingaben oder die Verwendung von Wissensgraphen beinhalten könnte, um dem Modell zu helfen, die Welt besser zu verstehen, so wie es Menschen tun.
5. Kontrafaktisches Denken: Menschliches Denken beinhaltet oft die Frage: „Was wäre, wenn die Dinge anders wären?“ LLMs haben mit solchen „Was wäre wenn“-Szenarien zu kämpfen, da sie durch die Daten, mit denen sie trainiert wurden, eingeschränkt sind. Damit Modelle in diesen Situationen mehr wie Menschen denken können, müssten sie hypothetische Szenarien simulieren und verstehen, wie sich Änderungen in Variablen auf die Ergebnisse auswirken können. Sie müssten auch eine Möglichkeit finden, verschiedene Möglichkeiten zu testen und zu neuen Erkenntnissen zu gelangen, anstatt nur Vorhersagen auf der Grundlage dessen zu treffen, was sie bereits gesehen haben. Ohne diese Fähigkeiten können sich LLMs keine wirklichen alternativen Zukunftsszenarien vorstellen – sie können nur mit dem arbeiten, was sie gelernt haben.

Fazit

Während LL.M.-Studenten scheinbar rational denken, verlassen sie sich bei der Lösung komplexer Probleme in Wirklichkeit auf Planungstechniken. Ob sie nun ein mathematisches Problem lösen oder logische Schlussfolgerungen ziehen, sie ordnen bekannte Muster in erster Linie auf strukturierte Weise an, anstatt die Prinzipien dahinter gründlich zu verstehen. Diese Unterscheidung ist in der KI-Forschung von entscheidender Bedeutung, denn wenn wir ausgefeilte Planung mit echtem Denken verwechseln, laufen wir Gefahr, die wahren Fähigkeiten der KI zu überschätzen.

Der Weg zu einer wirklich logisch denkenden KI erfordert grundlegende Fortschritte, die über Token-Vorhersagen und probabilistische Planung hinausgehen. Er erfordert Durchbrüche in der symbolischen Logik, dem kausalen Verständnis und der Metakognition. Bis dahin bleiben LLMs leistungsstarke Werkzeuge für strukturierte Problemlösungen, aber sie werden nicht wirklich so denken wie Menschen.