Die KI-Umwege, für die Sie nicht bezahlen sollten

Es ist nicht so, dass führende KI-Unternehmen uns beim Verkauf von Tokens nicht möglicherweise zu ihren Gunsten beeinflussen würden, wenn sie damit durchkämen – schließlich setzte Anthropic im Juni eine effektive Preiserhöhung um 30 % durch; DeepSeek erhöhte im August die API-Preise; und OpenAI machte eine Absenkung seines Tokenkontingents für die mittlere Tarifstufe Ende September widerwillig rückgängig. Ein Trend zu einem Sparkurs ist also inzwischen ziemlich deutlich.

Tatsächlich kommt einem dieser Gedanke oft, wenn Ihr KI-Agent Ihr tägliches Tokenkontingent in einem 45-minütigen Feuerwerk aus nicht unbedingt ruhmreichem Code aufbraucht und Sie auffordert, in 3–4 Stunden wiederzukommen. In einem so frustrierenden Moment fragt man sich unweigerlich, ob manche der Vorgänge dabei zugunsten der Anbieter gestaltet sind. Schließlich ist das eine gute Möglichkeit, uns dazu zu bringen, für eine spezielle Token-Aufstockung zu zahlen – oder sogar die „automatische Aufladung“ zu aktivieren.

Sollte das derzeit tatsächlich der Fall sein, können sich die führenden Unternehmen sehr glaubhaft hinter der Annahme verstecken, dass wir nicht vollständig verstehen, wie Tokens bei agentischen Arbeitsabläufen über verschiedene Modelle und Agenten-Umgebungen hinweg eingesetzt werden. Und sie verstehen es auch nicht. Abgesehen von ihren tatsächlich reibungslosen Zahlungseinleitungsprozessen ist alles noch im Prä-Alpha-Stadium und trotz der weitgehenden Kommodifizierung des Produkts weiterhin Stoff für Spitzenforschung.

Verschwendung vermeiden

Dass KI-Agenten beim Schlussfolgern in agentischen Arbeitsabläufen Tokens (und damit Ihr Geld) verschwenden, ist bereits gut belegt: Vor genau einem Jahr berichtete ich über neue Forschungsergebnisse, die zeigten, in welchem Ausmaß Schlussfolgerungsmodelle dazu neigten, Tokens durch „weitschweifige Ausführungen“ zu verbrauchen; Anfang dieses Jahres berichtete ich über weitere Forschungsergebnisse, denen zufolge das Schlussfolgern anhand einer Gedankenkette „dekorativ“ sei; und letzte Woche erklärte Nils Bunge, Produktchef bei Tsuga, in einem Meinungsbeitrag hier:

„Ein Team, das doppelt so viele Tokens verbraucht, schafft nicht zwangsläufig doppelt so viel Mehrwert. Es könnte schwierigere Aufgaben bearbeiten, ein unnötig leistungsstarkes Modell verwenden oder sich auf einen Agenten verlassen, der fehlgeschlagene Aufgaben immer wieder neu versucht.“

Weniger bekannt ist die Art und Weise, wie Tokens für unnötige Aufgaben oder Prozesse verschwendet werden. Genau darum geht es in einer neuen Studie, die mich heute erneut auf dieses Thema aufmerksam gemacht hat.

Die neue Studie mit dem Titel Wie verschwenden KI-Agenten Ihr Geld? ist eine gemeinsame wissenschaftliche Arbeit aus den USA* und bietet einen einheitlichen Rahmen, mit dem sich quantifizieren lässt, wie viele Tokens agentische Prozesse tatsächlich verschwenden. Bei Modellen mit geschlossenem Quellcode wird eine „Schatten“-Methodik mit den offiziellen Statistiken und Kennzahlen der Anbieter kombiniert, um ebenso detailliert nachzuzeichnen, was während des Schlussfolgerns und Handelns der KI mit den Tokens geschah:

Die neue Methode zur Messung verschwendeter KI-Tokens. Die Schlussfolgerungen, Aktionen und Kosten jedes Agenten werden aufgezeichnet und anschließend auf Wiederholungen, unnötige Anfragen und vermeidbare Umwege untersucht. Erkannte Verschwendung wird entfernt und danach erneut geprüft, ob der Agent die ursprüngliche Aufgabe weiterhin erledigen kann. Quelle

Wie oben dargestellt, kann der Agent normal arbeiten, während die Kommunikation mit dem KI-Anbieter abgefangen und aufgezeichnet wird. Dazu gehören auch Schlussfolgerungen, die Nutzung von Tools, der Tokenverbrauch und die Kosten. Anschließend werden die Aufzeichnungen von großen Sprachmodellen (LLM) als Prüfinstanzen untersucht, um nützliche Arbeit von Wiederholungen, unnötigen Suchanfragen und Umwegen zu unterscheiden. Danach wird die mutmaßliche Verschwendung entfernt, die Tokenersparnis berechnet und die Arbeit des Agenten fortgesetzt, um festzustellen, ob die Aufgabe weiterhin erfolgreich abgeschlossen werden kann.

In Tests stellten die Forschenden fest, dass etwa 18 % der Ausgabetokens von Agenten verschwendet wurden. Bei mehr als 45 % der Aufgaben verschwendete ein Agent mehr Tokens, als ein anderer benötigte, um dieselbe Aufgabe erfolgreich abzuschließen. Außerdem fanden sie heraus, dass sich durch das Entfernen von 41–46 % der unnötigen Schlussfolgerungen die Leistung kaum veränderte. Das deutet darauf hin, dass erhebliche Einsparungen möglich sind, ohne die Ergebnisse wesentlich zu beeinträchtigen.

In der Studie heißt es:

„Über alle erfassten Abläufe hinweg werden etwa 18 % der Ausgabetokens als Verschwendung eingestuft.

„Bemerkenswerterweise übersteigt bei mehr als 45 % der Aufgaben allein die verschwendete Ausgabe eines Agenten die gesamte Ausgabe eines anderen Agenten, der dieselbe Aufgabe erfolgreich löst.“

Darüber hinaus ergab die Studie, dass Agenten die meisten Ressourcen verschwendeten, wenn sie sich mit unbekannten Tools vertraut machten und Ansätze verfolgten, die letztlich ins Leere führten. Außerdem führte ein höherer Schlussfolgerungsaufwand nicht durchgehend zu besseren Ergebnissen: Bei maximalem Aufwand erzeugte Kimi-K3 nachweislich 6,6-mal so viele Schlussfolgerungstokens wie bei geringem Aufwand, ohne dass dadurch entsprechend bessere Ergebnisse garantiert waren.

Testergebnisse dazu, wie Kimi-K3 bei fünf Benchmarks auf vier Stufen des Denkaufwands abschneidet. Ein höherer Denkaufwand verbesserte die Erfolgsquoten nicht durchgängig, und bei maximalem Aufwand fielen die Ergebnisse manchmal schlechter aus als bei niedrigeren Einstellungen.

Im übertragenen Sinne ähneln diese agentischen Sitzungen weniger dem Fahren eines leistungsstarken Autos, dessen Möglichkeiten man nie wirklich ausschöpft, sondern eher dem Fahren eines Autos, das bei jeder Fahrt auf seine maximal mögliche Geschwindigkeit beschleunigt – selbst wenn das keinen Vorteil bringt und mögliche negative Folgen hat.

Die Studie untersucht auch, welche Rolle verschiedene Harnesses bei der Entstehung von Tokenverschwendung spielen. Dabei zeigt sich, dass dasselbe KI-Modell, Kimi-K3, bei identischen Aufgaben je nach verwendetem Harness mehr als viermal so viel nachdenken konnte, ohne dadurch unbedingt bessere Ergebnisse zu erzielen.

Ein Teil der Verschwendung ging auf grundlegende Softwarefehler zurück: OpenCode, Kimi Code CLI und OpenClaw starteten wiederholt Aufgaben in der falschen Python-Umgebung, was zu Fehlern und tokenintensiven Wiederholungsversuchen führte. Kimi Code CLI erlaubte der KI außerdem, Zeitüberschreitungen anzufordern, die von der Software selbst abgelehnt wurden, sodass noch mehr kostspielige Versuche nötig waren.

Entgegen der Erwartung waren Harnesses mit mehr verfügbaren Tools nicht unbedingt verschwenderischer. Einige wiederkehrende Ineffizienzen schienen vielmehr in den Modellen selbst zu liegen – unabhängig davon, welches Harness sie steuerte.

‘[Several] Scheinbar offensichtliche Eigenschaften eines Harnesses erklären die beobachteten Unterschiede bei der Verschwendung nicht durchgängig. Wie [below] zeigt, sind Harnesses, die mehr Tools bereitstellen, beispielsweise nicht unbedingt verschwenderischer. OpenClaw stellt deutlich mehr Tools bereit als die anderen Harnesses, verursacht aber nur mäßige Verschwendung. Außerdem verändert sich nicht jede Form der Verschwendung je nach Harness.

‘[Below right] zeigt, dass Kimi-K3 bei SWE-bench Verified immer wieder einen Umweg einschlägt: Es schreibt zunächst, was es für die ursprüngliche Projektkorrektur hält, und verwirft sie später wieder. ‘

Testergebnisse zum Vergleich verschwendeter Tokens bei Harnesses für KI-Agenten. Links: Mehr Tools anzubieten erhöht die Verschwendung nicht unbedingt. Rechts: Kimi-K3 versucht wiederholt, eine vermeintliche ursprüngliche Softwarekorrektur umzusetzen, und verwirft sie wieder – unabhängig vom Harness. Bei einer anderen Aufgabenart kommt dies jedoch nur selten vor.

Als Gegenmaßnahmen schlagen die Autorinnen und Autoren vor, dass Harnesses für Agenten erkennen sollten, wenn Umgebungsbeschränkungen weitere Fortschritte unmöglich machen, dem KI-Modell diese Grenzen klar mitteilen und die Ausführung stoppen, anstatt durch wiederholte Fehlversuche weitere Tokens zu verbrauchen. Außerdem schlagen sie vor, ihre Messungen der verschwendeten Tokens zur Verbesserung des Modelltrainings, der Denkstrategien und des Harness-Designs zu nutzen.

Methode

Um die Aktivitäten eines KI-Agenten nachzuvollziehen, verfolgten die Forschenden jeden Austausch zwischen dem Modell und der Software, die es steuerte. Dabei zeichneten sie die Überlegungen, Antworten, Tool-Anfragen und Tokenkosten auf – wobei der Detailgrad je nach Anbieter variierte: Kimi-K3 legt seinen gesamten Denkprozess offen, Gemini 3.1 Pro nur Zusammenfassungen und Claude gar nichts.

Die Ergebnisse jedes Tools wurden an den Agenten zurückgegeben. So konnten die Forschenden den Prozess bis zum Abschluss oder bis zum Erreichen der Betriebsgrenze verfolgen.

Vier Beispiele dafür, wie KI-Agenten Tokens verbrauchen. Bekannte Informationen zu wiederholen, identische Suchanfragen zu stellen und unnötige Entschuldigungen hinzuzufügen, gilt als Verschwendung. Eine erfolglose Suche ist dagegen nicht zwangsläufig verschwenderisch, da es gute Gründe für den Agenten gegeben haben kann, sie durchzuführen.

Die Anfragen der Agenten wurden über einen Proxy geleitet, um ihre Aktivitäten zu verfolgen; dafür waren nur geringfügige Codeänderungen nötig. Jede Anfrage wurde mit ihrem Benchmark, Durchlauf, ihrer Aufgabe und ihrem Versuch gekennzeichnet – außer bei OpenClaw, das solche Kennzeichnungen nicht unterstützt. In diesem Fall wurde für jeden Test ein eigener Proxy auf Basis von LiteLLM verwendet.

Vier Muster

Die Studie unterscheidet vier wiederkehrende Muster der Tokenverschwendung: Wiederholung (bekannte Informationen erneut wiedergeben); Doppelte Abfrage (unnötige Tool-Anfragen wiederholen); Fülltext (irrelevanten Text hinzufügen); und Umweg (plausible, letztlich aber unproduktive Ansätze verfolgen).

Jede aufgezeichnete Sitzung wurde von einem LLM als Richter (LLMaJ**) untersucht, dem die ursprüngliche Aufgabe, die vollständige Aufzeichnung und Kriterien zur Identifizierung aller vier Verschwendungsmuster vorgelegt wurden. Vermutete Verschwendung wurde markiert und entfernt; anschließend wurden die verbleibenden Tokens erneut gezählt, um den verschwendeten Anteil und die Kosten zu berechnen. Danach wurden die Zählungen anhand der Tokenizer oder Zählwerkzeuge der jeweiligen Anbieter sowie der gemeldeten Ausgabenutzung überprüft (wobei nur geringfügige Abweichungen bei der Formatierung festgestellt wurden).

Tests

Die für die Studie getesteten Modelle waren Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5 und Claude Fable 5.1. Sie wurden anhand der Benchmarks τ²-bench (Kundenservice von Fluggesellschaften und im Einzelhandel), SWE-bench Verified (Softwareentwicklung), Claw-Eval und MCP-Atlas (allgemeine Tool-Nutzung) getestet.

Zusätzlich wurde Kimi-K3 auf unterschiedlichen Stufen des Schlussfolgerns getestet und fünf Agenten-Frameworks wurden verglichen: OpenCode, OpenClaw, OpenHands, Hermes und Kimi Code CLI. Diese letztgenannten Vergleiche dienten dazu, zu untersuchen, wie sich Modelle, Aufgaben, der erforderliche Denkaufwand und das Design der Frameworks auf die Tokenverschwendung auswirken (in weiteren Tests wurde vermutete Verschwendung entfernt, um ihre Auswirkungen auf die Leistung zu überprüfen).

Um zu ermitteln, wie viel Geld bei den einzelnen Modellen verschwendet wurde, wurden die Kosten für unnötige Texte und Tool-Aufrufe mit den Gesamtkosten für die Ausgaben verglichen; die Ergebnisse wurden über die vier Benchmarks hinweg gemittelt. Das interne Schlussfolgern wurde für Kimi-K3 separat bewertet – als einziges Modell legte es seinen vollständigen Schlussfolgerungsprozess offen:

Testergebnisse zum Vergleich der Kosten verschwendeter Ausgaben bei sechs KI-Modellen, gemittelt über vier Benchmarks. Links: Gesamtrate der Verschwendung, wobei Kimi-K3s internes Schlussfolgern separat ausgewiesen ist. Rechts: Verschwendungsraten bei erfolgreichen und fehlgeschlagenen Aufgaben; bei Fehlschlägen fiel die Verschwendung generell höher aus.

Wie oben zu sehen ist, wurden zwischen 11 % und 24,9 % der Ausgaben für die Erstellung von Antworten und die Nutzung von Tools als verschwendet eingestuft. Am besten schnitt GPT-6 Astra ab, am schlechtesten Claude Sonnet 5. Bei Kimi-K3 wurde etwa jedes sechste Token für Antworten und die Tool-Nutzung verschwendet; beim internen Schlussfolgern stieg der Anteil auf mehr als jedes vierte Token.

Bei fehlgeschlagenen Aufgaben wurde generell mehr Verschwendung festgestellt, bei Kimi-K3s Schlussfolgern war es jedoch umgekehrt. Zudem gab es keine eindeutigen Hinweise darauf, dass der Einsatz zusätzlicher Tokens für unnötige Arbeit die Erfolgsaussichten verbesserte.

In einem weiteren Test wurde versucht, die Zahl der verschwendeten Tokens zu reduzieren, während die KI noch arbeitete: Bei jedem Schritt wurde ein KI-Richter** eingesetzt, um wiederholte Informationen und überflüssige Texte aus den Schlussfolgerungen des Modells zu entfernen, bevor die Aufgabe fortgesetzt werden durfte:

Testergebnisse dazu, wie sich das Entfernen unnötiger KI-Schlussfolgerungen auf die Erfolgsraten bei zwei Benchmarks auswirkte. Das Entfernen von 41–46 % der Schlussfolgerungen hatte kaum Auswirkungen auf die Leistung, während das Entfernen sämtlicher Schlussfolgerungen deutlich mehr Fehlschläge zur Folge hatte.

Bei SWE-bench Verified wurden 41 % der Schlussfolgerungen entfernt, ohne dass die Leistung darunter litt; die Erfolgsrate stieg sogar leicht von 89 % auf 89,5 %. Bei MCP-Atlas wurden 46 % entfernt, wobei die Erfolgsrate nur geringfügig von 65 % auf 62,3 % sank.

Mit anderen Worten: Fast die Hälfte der Schlussfolgerungen hätte verworfen werden können, während die KI arbeitete, ohne ihre Fähigkeit, die Aufgabe abzuschließen, ernsthaft zu beeinträchtigen.

Abschließend^† wurde Kimi-K3 mit identischen Aufgaben und verschiedenen Agenten-Frameworks getestet. Dabei variierte die Menge der ausgegebenen Schlussfolgerungen um mehr als das Vierfache, ohne dass sich die Leistung dadurch konsequent verbesserte, wie unten zu sehen ist:

Testergebnisse zum Vergleich des Tokenverbrauchs von Kimi-K3 mit verschiedenen Agenten-Frameworks bei zwei Benchmarks. Internes Schlussfolgern ist blau dargestellt, Antworten und Tool-Aufrufe orange. Bei Programmieraufgaben wurden mit Mini-SWE mehr als viermal so viele Schlussfolgerungen erzeugt wie mit Hermes.

Ein Teil der Verschwendung ließ sich auf grundlegende Softwarefehler zurückführen. OpenCode, Kimi Code CLI und OpenClaw starteten Programmiertests in der falschen Python-Umgebung, was zu Fehlern und erneuten Versuchen führte.

Fazit

Dies ist nur ein kurzer Einblick in eine Arbeit, deren Umfang und sorgfältige Methodik eine eingehendere Lektüre lohnenswert machen könnten.

Das Thema rief mir etwas ins Bewusstsein, worüber ich oft nachdenke: die enorme Kluft zwischen dem, was wir und die führenden Anbieter tatsächlich über diese Prozesse verstehen, und der Bereitschaft der Unternehmen, das Produkt so zu vermarkten, als hätte es die letzten drei Monate einen Linter durchlaufen und mit Bravour bestanden.

So wie die Dinge derzeit stehen, können wir für schlechte Ergebnisse im Moment niemandem außer uns selbst die Schuld geben, denn wir kaufen ein Produkt, von dem fast alle von uns wissen, dass es zutiefst experimentell und unberechenbar ist.

* Mit ausdrücklich als gleichwertig ausgewiesenen Beiträgen der University of Illinois Urbana-Champaign, der Northeastern University, der University of California (Los Angeles) und eines unabhängigen Forschers.

* Soweit ich erkennen kann, geht aus der Arbeit nicht hervor, welches Modell verwendet wurde.

^† Für diesen Artikel, nicht für die Arbeit, die länger ist, als ich normalerweise zu behandeln bereit bin, und mehr Tests sowie eine größere inhaltliche Tiefe bietet, als wir hier unterbringen können. Weitere Einzelheiten finden Sie im oben verlinkten PDF der Quelle.

Erstmals veröffentlicht am Freitag, dem 6. November 2026