KI-Chat-Modelle können durch endloses Geschwätz Kosten verursachen

Beliebte KI-Chat-Modelle verschwenden heimlich enorme Mengen an bezahlten Token auf sinnloses Geschwätz. Betroffene Modelle sind sich dessen bewusst, können jedoch nicht aufhören.

Große Reasoning-Modelle (LRMs) wie ChatGPT-5 und Google Gemini verursachen höhere Kosten für Reasoning – das Schritt-für-Schritt-Lösen eines Problems, was wesentlich mehr Rechenleistung erfordert als die einfache Vorhersage des nächsten Wortes. Der simulierte Reasoning-Prozess dauert länger und kostet mehr, sodass die Benutzer letztendlich für diese “extra Denkzeit” bezahlen.

Wenn Sie jedoch kürzlich ein State-of-the-Art-LLM verwendet haben, haben Sie vielleicht bemerkt, dass Ihre Token-Zuweisung oft für Geschwätz und unnötige Wörter ausgegeben wird, anstatt sich auf die Lösung der Probleme zu konzentrieren, die Sie dem Modell stellen. Dies kann sich in übermäßiger Schmeichelei, umfangreichen und/oder redundanten Antworten oder sogar einer Art “Geschwätz” äußern, als ob die KI in einer unangenehmen Situation gefangen wäre und versuchte, sich herauszureden.

Natürlich würden wir es vorziehen, wenn unsere LLMs aufgeben, alternative Pfade anbieten oder um Klarstellung bitten würden. Aber selbst dazu, ein solches KI-Modell dazu zu bringen, zuzugeben, dass es eine Antwort nicht kennt, ist eine erhebliche Herausforderung.

In der Zwischenzeit können Benutzer auf niedrigeren oder kostenlosen Ebenen feststellen, dass sie ihre Token schnell aufgebraucht haben, unabhängig davon, wie gezielt oder sparsam ihre Anfragen und Interaktionen waren, weil die KI selbst gerne spricht; und in diesem Fall ist Sprache nicht billig.

Wort-Salat

In Bezug auf das oben erwähnte “Geschwätz” bietet eine neue akademische Zusammenarbeit eine Erklärung und eine Lösung, indem sie vorschlägt, dass LLMs mit Reasoning-Fähigkeiten dazu neigen, Ihre Token aufzubrauchen, wenn sie in einer “Wort-Salat”-Schleife gefangen sind – einem Zustand der Verwirrung, in dem der Reasoning-Prozess in rekursive Sackgassen verloren geht – auf Ihre Kosten*.

Die Forscher hinter dem neuen Paper haben festgestellt, dass ein erheblicher Teil der in einem typischen LLM verarbeiteten Token aus Wiederholungen und Redundanz besteht – und dass das Modell selbst zu verstehen scheint, dass es in Schwierigkeiten steckt, obwohl es nicht in der Lage ist, die teure Schleife zu stoppen.

Das Paper besagt:

‘Wir zeigen, dass ein erheblicher Teil dieser Token nutzlose Selbstwiederholungen sind – was wir “Wort-Salat” nennen – die den Decodierungs-Budget aufbrauchen, ohne Wert hinzuzufügen. Interessanterweise beobachten wir, dass LRM selbstbewusst sind, wenn sie in diesen Schleifen gefangen sind: die versteckten Zustände der <\n\n> Token, die jedem Reasoning-Chunk folgen, zeigen Muster, die es uns ermöglichen, Wort-Salat-Verhalten auf-the-fly über einen einfachen linearen Klassifizierer zu erkennen.

‘Sobald es erkannt wird, kann ein einfacher Schnitt, gefolgt von einem einfachen Regenerations-Prompt, erhebliche Längeneinsparungen mit minimalem Qualitätsverlust erzielen.’

Die Lösung, die in der neuen Arbeit angeboten wird, ist eine Intervention, die den spiralförmigen Prozess eines fehlerhaften Reasoning-LLMs auf-the-fly stoppen kann, ohne dass eine Änderung der Trainingsdaten oder ein Eingriff in die Modellarchitektur erforderlich ist. Das Framework, das WortSaladChopper genannt wird, wurde öffentlich auf GitHub veröffentlicht.

Obwohl die anfängliche Arbeit sich auf DeepSeek-Varianten wie Einträge in der Qwen- und Llama-Serie konzentriert, behauptet das Paper, dass das unerwünschte Verhalten wahrscheinlich auf eine viel größere Gruppe ähnlich architektierter Reasoning-Modelle (einschließlich beliebter API-only-Angebote wie ChatGPT und Google Gemini) anwendbar ist.

Wie das Paper feststellt, haben frühere Arbeiten wie Demystifying Long Chain-of-Thought Reasoning in LLMs und Small Models Struggle to Learn from Strong Reasoners auch die kleine Anzahl öffentlich verfügbarer Chain-of-Thought (CoT) Reasoning-Modelle verwendet, um ein breiteres Problem innerhalb dieser Klasse von Modellen zu etablieren^†:

‘[LRMs] verschwenden eine enorme Menge an Decodierungs-Budget, indem sie sich einfach wiederholen wörtlich, mit leichten Variationen, oder indem sie endlos Fälle auflisten, bis das gesamte Budget aufgebraucht ist – wir bezeichnen ein solches Verhalten als Wort-Salat, ein Begriff, der oft verwendet wird, um öffentliche Sprecher zu verspotten, die langatmige, jargonfüllte Antworten geben, die letztendlich keinen Wert oder keine klare Bedeutung haben.

‘Die “Original”-Spalte in [der Tabelle unten] zeigt, dass wir bei der Beantwortung von GPQA-Diamond beobachten, dass 55%+ der von DeepSeek-R1-Distill-Modellen generierten Token als “Wort-Salat-Token” markiert sind, die keinen Wert aus semantischer Sicht hinzufügen.’

Der Anteil der als semantisch redundant identifizierten Ausgabe-Tokens bei der Beantwortung von GPQA-Diamond. WordSaladChopper reduziert diese Overhead von über 55% auf unter 6% bei allen getesteten DeepSeek-R1-Distill-Modellen, so die Autoren. Quelle

Die Autoren bemerken, dass Versuche, die Reasoning-Prozesse zu verkürzen, während die Antwortqualität erhalten bleibt, zu einem starken Teil der Forschungsliteratur geworden sind, insbesondere long-to-short (L2S); und sie beobachten weiter, dass ihre Projektziele ähnlich sind wie die von einigen vorherigen Initiativen, ihre eigene Arbeit jedoch die erste ist, die eine ad-hoc-Lösung anbietet, die keine Intervention in den Trainingsprozess, Modellbearbeitung oder andere mögliche Eingriffe in die Basisarchitektur eines LLMs erfordert; und in diesem Sinne glauben sie, dass ihr Ansatz weit verbreitet unter anwendbaren Systemen werden sollte^†:

‘Wir glauben, es ist nicht zu weit hergeholt, zu argumentieren, dass [WordSaladChopper] – oder ein ähnliches Komponent – ein Muss für alle LRM-Anwendungen mit Benutzererfahrung im Blick ist ‘

Das neue Paper trägt den Titel WordSaladChopper: Reasoning-Modelle verschwenden eine Menge Decodierungs-Budget für nutzlose Wiederholungen, selbstbewusst und stammt von sechs Forschern der University of Minnesota, Rice University, der Stevens Institute of Technology und Lambda, Inc.

Vorherige Überlegungen

Um die Neigung von Reasoning-LLMs zu wiederholen, teilten die Autoren die Ausgabe der Modelle in Chunks auf, wo es Doppelzeilenumbrüche gab, und überprüften dann, wie ähnlich jedes Chunk einem früheren war:

Geschätzter Anteil der Reasoning-Chunks, die als Wort-Salat gekennzeichnet sind, unter zwei Decodierungs-Temperaturen (τ = 0,0, 0,6). Der Klassifizierer kennzeichnet ein Chunk als ‘Wort-Salat’, wenn es einer früheren Ausgabe des Modells sehr ähnlich ist, was auf Wiederholung statt Fortschritt hindeutet. Die Ergebnisse zeigen, dass dieses Verhalten in allen Datenmengen und Modellgrößen weit verbreitet ist.

Wenn ein Chunk zu ähnlich war, wurde es als Wort-Salat gekennzeichnet.

Die Forscher bemerken, dass einmal ein Modell in den “Wort-Salat”-Modus eintritt, es sehr unwahrscheinlich ist, dass es ohne externe Hilfe wieder herauskommt, sondern stattdessen in der teuren Schleife bleibt, bis das Decodierungs-Budget des Benutzers aufgebraucht ist^††:

‘Unnötig zu sagen, dass dies ein katastrophales Problem für Benutzer darstellt, da ein idealerweise viel kürzerer Denkprozess jetzt maximiert wird mit nutzlosen Wiederholungen. Der Benutzer zahlt also den maximalen Preis für eine (wahrscheinlich) falsche Antwort, während er die längste Latenzzeit erträgt.’

Anteil der Wort-Salat-Chunks, die vor und nach dem Schnittpunkt (d. h. dem Zeitpunkt, an dem repetitive Ausgabe dominiert) auftreten. Die meisten Wiederholungen treten nach diesem Punkt auf, was zeigt, dass ein Modell, das in eine Wort-Salat-Schleife gerät, selten ohne Intervention wieder herauskommt.

Die Autoren erzählen, wie überrascht sie waren, als sie entdeckten, dass Reasoning-LLMs^††† Anzeichen dafür zeigten, dass sie sich ihrer Wort-Salat-Situation bewusst sind. Es ist jedoch diese Bewusstsein und die Art und Weise, wie es in den wahrscheinlichen Reasoning-Zustand des Modells eintritt, die eine Intervention ermöglichen:

‘Die Leichtigkeit dieses linearen Klassifizierers öffnet die Tür für eine Echtzeit-Erkennung, bei der wir effektiv mit verschiedenen Operationen eingreifen können, um Modelle zu stoppen, die in Wort-Salat-Schleifen gefangen sind.’

Methode

Um die Anwesenheit von Wort-Salat während der Inferenz zu erkennen, trainierten die Autoren einen einfachen linearen Klassifizierer, der auf dem versteckten Zustand jedes Doppelzeilenumbruch-Tokens läuft.

Jedes Chunk, das nach dem Eintritt des Modells in eine Wiederholungsschleife auftrat, wurde als Wort-Salat behandelt, wobei dieser Schnitt (als Schnittpunkt bezeichnet) verwendet wurde, um die Trainingsdaten zu kennzeichnen. Es wurden 1000 Reasoning-Spuren mit dem S1-Benchmark generiert und jedes Spur in newline-getrennte Chunks unterteilt.

Konzeptuelles Schema für WordSaladChopper. Während der Generierung wird der versteckte Zustand jedes Doppelzeilenumbruch-Tokens analysiert, um repetitive Segmente zu erkennen. Sobald zwei ‘Wort-Salat’-Chunks in Folge gekennzeichnet sind, wird die Generierung gestoppt. Ein fester Regenerations-Prompt wird dann angehängt, um dem Modell zu ermöglichen, seine Antwort ohne Überschreitung des Budgets fortzusetzen und abzuschließen.

Wenn ein Chunk sehr ähnlich zu einem früheren war, wurde es als Wort-Salat gekennzeichnet. Sobald die früheste anhaltende Wiederholung identifiziert wurde, wurden alle nachfolgenden Chunks ebenfalls als Wort-Salat gekennzeichnet, um die Persistenz dieser Schleifen widerzuspiegeln.

Der Klassifizierer wurde als eine einzelne vollständig verbundene Schicht implementiert und auf den versteckten Zuständen der nachfolgenden Token aus dem letzten Transformer-Block trainiert. Ein separater Klassifizierer wurde für jedes Modell trainiert, mit diesen Daten, und während der Bewertung wurde keine Feinabstimmung durchgeführt.

Daten und Tests

Für das Training und die Inferenz wurden vier NVIDIA A100 (80G VRAM) GPUs unter dem Adam-Optimizer mit einer Lernrate von 1×10^-2 für 50 Epochen verwendet.

Die Bewertungsdatenmengen waren ‘Grade School Math’ 8000, auch bekannt als GSM8K; MATH-500; GPQA-DIAMOND; und AIME25 (2025).

Die getesteten Modelle waren DeepSeek-R1-Distill-Qwen-1.5B; DeepSeek-R1-Distill-Qwen-7B; und DeepSeek-R1-Distill-Llama-8B, alle unter MIT-Lizenz.

Die verwendeten Metriken waren Genauigkeit und AUROC.

Genauigkeit und AUROC des Wort-Salat-Klassifizierers auf Qwen-7B über vier Benchmarks und zwei Decodierungs-Temperaturen. Hohe Werte bestätigen, dass der Beginn der Wiederholung zuverlässig aus dem versteckten Zustand des nachfolgenden Zeilenumbruch-Tokens erkannt werden kann.

Von den hier dargestellten Ergebnissen bemerken die Autoren:

‘[Die Tabelle oben] zeigt, dass der lineare Klassifizierer extrem genau ist, wenn es darum geht, Wort-Salat-Chunks zu erkennen; [die Tabelle unten] zeigt jedoch, dass der Regenerations-Prompt hilft, die Aufgaben-Genauigkeit wiederherzustellen, die durch das brutale Schneiden verloren gegangen ist.’

Genauigkeit von Qwen-7B auf jedem Benchmark bei τ = 0,6, vergleichend die Leistung vor Wort-Salat (Original), nach dem Schneiden (Geschnitten) und nach der Anwendung der Regeneration (Regeneriert). Die Gewinne durch Regeneration sind bescheiden, aber konsistent, und die Leistung vor der Schleife wird in den meisten Fällen wiederhergestellt.

In der Tabelle unten können wir sehen, dass WordSaladChopper die Genauigkeit verbessert oder beibehält, während er die Länge der Modell-Ausgaben stark reduziert, um bis zu 57%:

Wenn WordSaladChopper bei gierigem Decodieren (τ = 0) verwendet wird, reduziert er die Länge der Modell-Ausgaben, manchmal um mehr als die Hälfte, während die Genauigkeit gleich bleibt oder leicht verbessert wird, eine Leistung, die bei verschiedenen Modellen und Aufgaben konsistent bleibt (AIME25 wird aufgrund von vorhersehbar instabilen Ergebnissen unter dieser Einstellung weggelassen).

Die größten Gewinne traten in längeren Antworten auf, insbesondere bei GPQA-Diamond, wo fast die Hälfte des Textes entfernt wurde, ohne die Leistung zu beeinträchtigen. Unten können wir ähnliche Ergebnisse sehen, wenn Zufall während der Generierung hinzugefügt wurde:

Bei höherer Temperatur (τ = 0,6) reduziert WordSaladChopper die Ausgaben um 10-30%, während die Genauigkeit stabil bleibt oder leicht verbessert wird, über alle Modelle und Benchmarks (AIME25-Ergebnisse werden gemittelt, um die Varianz zu reduzieren).

Die Genauigkeit blieb stabil, während kürzere Ausgaben erreicht wurden. Überall hinweg funktionierte das System weiterhin, auch wenn die Antworten des Modells repetitiver wurden; und die Autoren bemerken, dass, da der Klassifizierer nur ein Token pro Satz überprüft, er extrem schnell läuft, sogar während der Live-Generierung.

Das Paper bemerkt, dass zusätzliche Strategien in zukünftigen Forschungen entlang dieser Linien von der Gewährung eines kleinen Regenerations-Budgets nach der Intervention profitieren könnten; kontinuierliche Anwendung eines WordSaladChopper-ähnlichen Systems über Regenerierungen; und das Erzwingen eines ‘Ende-des-Denkens’-Tokens auf dem Modell, um seine beste aktuelle Antwort zu fordern.

Schließlich bemerken die Forscher den aktuellen Stand der Bewertung von Reasoning-Modellen mit einem kritischen Ton^†:

‘Es ist unsere ehrliche Überzeugung, dass viele effiziente Reasoning-Methoden teilweise deshalb wirksam erscheinen, weil die aktuellen Reasoning-Bewertungsbenchmarks viel Raum für Verbesserung haben.

‘Sollten wir umfassendere Bewertung Suiten entwickeln – was wir sicherlich in der Zukunft tun werden – erwarten wir, dass viele effiziente Reasoning-Methoden versagen oder sich viel anders verhalten als ihre Vanilla-LRM-Gegenstücke.’

Schlussfolgerung

Auf der Ebene, die von führenden Systemen wie ChatGPT erreicht wird, können sogar kleine Verschiebungen im Ressourcenverbrauch der Benutzer erhebliche Auswirkungen auf Infrastruktur, Logistik und Kosten haben. Dies macht Effizienz zu einer gemeinsamen Priorität für Anbieter und die gesamte Forschungsgemeinschaft.

Wenn implementiert, könnte das neue und leichte System, das in dem Paper vorgeschlagen wird (das für jede neue Modellarchitektur speziell trainiert werden muss), das sinnlose Aufbrauchen von Token verhindern, was den Eindruck erwecken könnte, dass der Anbieter die Zuweisung des Benutzers verschwenden oder täuschen würde. In Wirklichkeit ist es für den Anbieter besser, nützliche anstelle von redundanten Ausgaben bereitzustellen, die in Rechenleistung gleich viel kosten wie ein Wort-Salat.

* Obwohl wir uns hier nicht weiter damit befassen, erstreckt sich dies auch auf lokal gehostete Modelle, die sowohl unternehmensintern als auch von Hobbyisten genutzt werden können, und bei denen der Strom- und Produktivitätsverlust durch Wort-Salat ein Faktor sein kann, der berücksichtigt werden sollte.

^† Wie üblich liegt der Schwerpunkt bei den Autoren und nicht bei mir. Wo anwendbar, wurden ihre inline-Zitate von mir in Hyperlinks umgewandelt.

^†† Wir müssen hier anerkennen, dass Frameworks und APIs “Sub-Budgets” für Anfragen zuweisen können, sodass eine Anfrage nicht unbedingt in der Lage ist, den gesamten Tagesbudget an Token aufzubrauchen – dies ist jedoch keine gängige Praxis und wird unter API-only-Anbietern nicht häufig diskutiert.

^††† Ich bin normalerweise nicht bereit, die Verwendung von “LRMs” durch die Autoren zu übernehmen, da dies derzeit keine gängige Abkürzung ist, also werde ich in diesem Artikel andere Terminologie verwenden, wo erforderlich.

Erstveröffentlichung: Donnerstag, 6. November 2025