Neue Forschungsarbeiten hinterfragen die „Token“-Preisgestaltung für AI-Chats

Neue Forschungsergebnisse zeigen, dass die Art und Weise, wie AI-Dienste nach Tokens abrechnen, die tatsächlichen Kosten für die Nutzer verbirgt. Anbieter können die Token-Zählung stillschweigend aufblasen oder versteckte Schritte einfügen. Einige Systeme führen zusätzliche Prozesse aus, die die Ausgabe nicht beeinflussen, aber dennoch auf der Rechnung erscheinen. Es wurden Überwachungstools vorgeschlagen, aber ohne echte Aufsicht bleiben die Nutzer damit, mehr zu bezahlen, als sie sich bewusst sind.

In fast allen Fällen zahlen wir als Verbraucher für AI-gesteuerte Chat-Schnittstellen, wie z.B. ChatGPT-4o, derzeit in Tokens: unsichtbaren Texteinheiten, die während der Nutzung nicht bemerkt werden, aber für Abrechnungszwecke genau gezählt werden; und obwohl jeder Austausch nach der Anzahl der verarbeiteten Tokens berechnet wird, hat der Nutzer keine direkte Möglichkeit, die Zählung zu bestätigen.

Trotz unseres (zumindest) unvollkommenen Verständnisses dessen, was wir für unsere gekauften ‘Token’-Einheiten bekommen, ist die tokenbasierte Abrechnung zum Standardansatz bei den Anbietern geworden, der auf einer möglicherweise prekären Annahme des Vertrauens beruht.

Token-Wörter

Ein Token ist nicht ganz dasselbe wie ein Wort, obwohl es oft eine ähnliche Rolle spielt, und die meisten Anbieter verwenden den Begriff ‘Token’, um kleine Texteinheiten wie Wörter, Satzzeichen oder Wortfragmente zu beschreiben. Das Wort ‘unbelievable’ könnte beispielsweise von einem System als ein einzelnes Token gezählt werden, während ein anderes es in un, believ und able unterteilt, wodurch jeder Teil die Kosten erhöht.

Dieses System gilt sowohl für den Text, den der Nutzer eingibt, als auch für die Antwort des Modells, wobei der Preis auf der Gesamtzahl dieser Einheiten basiert.

Die Schwierigkeit liegt darin, dass die Nutzer nicht sehen können, wie dieser Prozess abläuft. Die meisten Schnittstellen zeigen keine Token-Zählung während einer Konversation an, und die Art und Weise, wie Tokens berechnet werden, ist schwer nachzuvollziehen. Selbst wenn eine Zählung nach einer Antwort angezeigt wird, ist es zu spät, um zu bestimmen, ob sie fair war, was zu einer Diskrepanz zwischen dem, was der Nutzer sieht, und dem, wofür er zahlt, führt.

Neue Forschungsergebnisse deuten auf tiefere Probleme hin: eine Studie zeigt, wie Anbieter ohne Verstoß gegen die Regeln überhöhte Preise verlangen können, indem sie die Token-Zählung auf eine Weise aufblasen, die der Nutzer nicht sehen kann; eine weitere enthüllt die Diskrepanz zwischen dem, was die Schnittstellen anzeigen, und dem, was tatsächlich abgerechnet wird, was den Nutzern den Eindruck von Effizienz vermittelt, obwohl es keine gibt; und eine dritte legt dar, wie Modelle regelmäßig interne Denkschritte generieren, die dem Nutzer nie gezeigt werden, aber dennoch auf der Rechnung erscheinen.

Die Ergebnisse zeigen ein System, das anscheinend präzise ist, mit genauen Zahlen, die Klarheit suggerieren, aber dessen zugrunde liegende Logik verborgen bleibt. Ob dies beabsichtigt ist oder ein struktureller Fehler, das Ergebnis ist dasselbe: die Nutzer zahlen für mehr, als sie sehen können, und oft mehr, als sie erwarten.

Billiger im Dutzend?

In der ersten dieser Arbeiten – mit dem Titel Ist Ihr LLM Ihnen zu teuer? Tokenisierung, Transparenz und Anreize, von vier Forschern am Max-Planck-Institut für Softwaresysteme – argumentieren die Autoren, dass die Risiken der tokenbasierten Abrechnung über die Undurchsichtigkeit hinausgehen und auf eine eingebaute Anreizstruktur für Anbieter hinweisen, die Token-Zählung aufzublasen:

‘Das Kernproblem liegt darin, dass die Tokenisierung einer Zeichenfolge nicht eindeutig ist. Zum Beispiel kann der Nutzer den Prompt “Wo findet die nächste NeurIPS statt?” an den Anbieter senden, der Anbieter gibt ihn an ein LLM weiter, und das Modell generiert die Ausgabe “|San| Diego|”, die aus zwei Tokens besteht.

‘Da der Nutzer dem Generierungsprozess nicht bewusst ist, hat ein selbstsüchtiger Anbieter die Möglichkeit, die Tokenisierung der Ausgabe gegenüber dem Nutzer ohne Änderung der zugrunde liegenden Zeichenfolge zu fälschen. Zum Beispiel könnte der Anbieter einfach die Tokenisierung “|S|a|n| |D|i|e|g|o|” teilen und den Nutzer für neun Tokens statt zwei überhöhte Preise verlangen!’

Die Arbeit präsentiert eine Heuristik, die in der Lage ist, diese Art von unredlicher Berechnung ohne Änderung der sichtbaren Ausgabe durchzuführen und ohne die Plausibilität unter typischen Dekodierungsbedingungen zu verletzen. Getestet auf Modellen der LLaMA-, Mistral– und Gemma-Reihe, unter Verwendung von echten Prompts, erreicht die Methode messbare Überpreisungen ohne anomales Verhalten:

Token-Inflation durch ‘plausible Fälschung’. Jedes Panel zeigt den Prozentsatz der überhöhten Tokens, der durch die Anwendung von Algorithmus 1 auf Ausgaben von 400 LMSYS-Prompts unter verschiedenen Stichprobenparametern (m und p) resultiert. Quelle: https://arxiv.org/pdf/2505.21627

Um das Problem anzugehen, fordern die Forscher eine Abrechnung basierend auf Zeichenanzahl anstelle von Tokens, argumentierend, dass dies der einzige Ansatz ist, der Anbieter einen Grund gibt, die Nutzung ehrlich zu melden, und behauptend, dass wenn das Ziel ein faires Preisgestaltung ist, dann die Kosten an sichtbaren Zeichen und nicht an versteckten Prozessen gebunden werden sollten. Eine zeichenbasierte Preisgestaltung, so argumentieren sie, würde den Anreiz zur Fälschung entfernen und gleichzeitig kürzere, effizientere Ausgaben belohnen.

Hier gibt es jedoch mehrere zusätzliche Überlegungen (in den meisten Fällen von den Autoren anerkannt). Zunächst führt das vorgeschlagene zeichenbasierte System zusätzliche Geschäftslogik ein, die den Anbieter gegenüber dem Verbraucher bevorzugen kann:

‘[Ein] Anbieter, der nie fälscht, hat einen klaren Anreiz, die kürzestmögliche Ausgabesequenz zu generieren, und die aktuellen Tokenisierungsalgorithmen wie BPE zu verbessern, damit sie die Ausgabesequenz so sehr wie möglich komprimieren’

Das optimistische Motiv hier ist, dass der Anbieter damit ermutigt wird, präzise und wertvolle Ausgaben zu produzieren. In der Praxis gibt es jedoch offensichtlich weniger tugendhafte Wege für einen Anbieter, den Text zu reduzieren.

Zweitens ist es vernünftig anzunehmen, so die Autoren, dass Unternehmen wahrscheinlich eine Gesetzgebung benötigen, um vom veralteten Token-System zu einem klareren, textbasierten Abrechnungsverfahren überzugehen. Irgendwann in der Zukunft könnte ein aufstrebendes Startup entscheiden, sein Produkt durch die Einführung eines solchen Preismodells zu differenzieren; aber jeder, der ein wirklich wettbewerbsfähiges Produkt (und auf einer niedrigeren Ebene als die EEE-Kategorie) hat, wird nicht motiviert, dies zu tun.

Schließlich würden betrügerische Algorithmen wie die von den Autoren vorgeschlagenen mit eigenen Rechenkosten verbunden sein; wenn die Kosten für die Berechnung einer ‘Aufpreis’ den potenziellen Profitüberhang überstiegen, hätte das System clearly keinen Wert. Die Forscher betonen jedoch, dass ihr vorgeschlagener Algorithmus effektiv und wirtschaftlich ist.

Die Autoren stellen den Code für ihre Theorien auf GitHub zur Verfügung.

Der Wechsel

Die zweite Arbeit – mit dem Titel Unsichtbare Tokens, sichtbare Rechnungen: Die dringende Notwendigkeit, versteckte Operationen in undurchsichtigen LLM-Diensten zu überprüfen, von Forschern an der University of Maryland und Berkeley – argumentiert, dass die fehlgeleiteten Anreize in kommerziellen Sprachmodell-APIs nicht auf Token-Splitting beschränkt sind, sondern sich auf ganze Klassen versteckter Operationen erstrecken.

Diese umfassen interne Modellaufrufe, spekulative Denkprozesse, Werkzeugnutzung und Multi-Agenten-Interaktionen – all dies kann dem Nutzer ohne Sichtbarkeit oder Rechtsmittel in Rechnung gestellt werden.

Preisgestaltung und Transparenz von Reasoning-LLM-APIs bei großen Anbietern. Alle aufgeführten Dienste berechnen den Nutzern versteckte interne Denk-Tokens, und keiner macht diese Tokens während der Laufzeit sichtbar. Quelle: https://www.arxiv.org/pdf/2505.18471

Im Gegensatz zur herkömmlichen Abrechnung, bei der die Menge und Qualität der Dienstleistungen überprüfbar sind, argumentieren die Autoren, dass heutige LLM-Plattformen unter struktureller Undurchsichtigkeit operieren: die Nutzer werden auf der Grundlage der gemeldeten Token- und API-Nutzung berechnet, aber haben keine Möglichkeit, diese Metriken zu bestätigen.

Die Arbeit identifiziert zwei Hauptformen der Manipulation: Quantitätsinflation, bei der die Anzahl der Tokens oder Aufrufe ohne Nutzervorteil erhöht wird; und Qualitätsabbau, bei dem niedrigere Modelle oder Tools stillschweigend anstelle von Premium-Komponenten verwendet werden:

‘Bei Reasoning-LLM-APIs unterhalten Anbieter oft mehrere Varianten der gleichen Modellfamilie, die sich in Kapazität, Trainingsdaten oder Optimierungsstrategie (z.B. ChatGPT o1, o3) unterscheiden. Modellabbau bezieht sich auf die stille Substitution von günstigeren Modellen, die möglicherweise eine Fehlanpassung zwischen erwarteter und tatsächlicher Dienstleistungsqualität verursachen.

‘Zum Beispiel kann ein Prompt von einem kleineren Modell verarbeitet werden, während die Abrechnung unverändert bleibt. Diese Praxis ist für Nutzer schwer zu erkennen, da die endgültige Antwort für viele Aufgaben immer noch plausibel erscheinen kann.’

Die Arbeit dokumentiert Fälle, in denen mehr als 90% der berechneten Tokens nie den Nutzern gezeigt wurden, wobei interne Denkprozesse die Token-Nutzung um einen Faktor größer als 20 aufblähten. Berechtigt oder nicht, die Undurchsichtigkeit dieser Schritte verwehrt den Nutzern jede Grundlage, um ihre Relevanz oder Legitimität zu bewerten.

In agentenbasierten Systemen erhöht sich die Undurchsichtigkeit, da interne Austauschprozesse zwischen AI-Agenten jeweils Kosten verursachen können, ohne die endgültige Ausgabe zu beeinflussen:

‘Jenseits interner Denkprozesse kommunizieren Agenten durch den Austausch von Prompts, Zusammenfassungen und Planungsanweisungen. Jeder Agent interpretiert Eingaben von anderen und generiert Ausgaben, um den Arbeitsablauf zu leiten. Diese interagenten Nachrichten können erhebliche Tokens verbrauchen, die normalerweise nicht für den Endnutzer sichtbar sind.

‘Alle Tokens, die während der Agentenkoordination verbraucht werden, einschließlich generierter Prompts, Antworten und werkzeugbezogener Anweisungen, werden normalerweise nicht für den Nutzer sichtbar gemacht. Wenn die Agenten selbst Reasoning-Modelle verwenden, wird die Abrechnung noch undurchsichtiger.’

Um diese Probleme anzugehen, schlagen die Autoren ein schichtweise Überwachungsframework vor, das kryptografische Beweise interner Aktivitäten, überprüfbare Marker von Modell- oder Werkzeugidentität und unabhängige Aufsicht umfasst. Die zugrunde liegende Sorge ist jedoch strukturell: die aktuellen LLM-Abrechnungsschemata basieren auf einer anhaltenden Informationsasymmetrie, die die Nutzer Kosten aussetzt, die sie nicht überprüfen oder aufschlüsseln können.

Zählen der Unsichtbaren

Die letzte Arbeit, von Forschern an der University of Maryland, betrachtet das Abrechnungsproblem nicht als Frage des Missbrauchs oder der Fälschung, sondern der Struktur. Die Arbeit – mit dem Titel CoIn: Zählen der unsichtbaren Denk-Tokens in kommerziellen undurchsichtigen LLM-APIs, von zehn Forschern an der University of Maryland – stellt fest, dass die meisten kommerziellen LLM-Dienste jetzt die intermediate Denkprozesse verbergen, die zu einer Modellantwort beitragen, aber dennoch für diese Tokens berechnen.

Die Arbeit behauptet, dass dies eine nicht beobachtbare Abrechnungsfläche schafft, auf der ganze Sequenzen erfunden, injiziert oder aufgebläht werden können, ohne Entdeckung:

‘[Dies] Unsichtbarkeit ermöglicht es Anbietern, Token-Zählungen zu fälschen oder günstige, erfundene Denk-Tokens zu injizieren, um die Token-Zählung künstlich zu erhöhen. Wir bezeichnen diese Praxis als Token-Zählungsinflation.

‘Zum Beispiel könnte ein einzelner hocheffizienter ARC-AGI-Lauf von OpenAIs o3-Modell 111 Millionen Tokens verbrauchen, kosten 66.772,3 $, was bei dieser Größenordnung sogar kleine Manipulationen zu erheblichen finanziellen Auswirkungen führen kann.

‘Eine solche Informationsasymmetrie ermöglicht es AI-Unternehmen, die Nutzer erheblich zu überpreisen und damit ihre Interessen zu untergraben.’

Um diese Asymmetrie zu bekämpfen, schlagen die Autoren CoIn vor, ein System zur Überprüfung von versteckten Tokens, das ohne Offenlegung der Tokeninhalte funktioniert und das Hash-Fingerabdrücke und semantische Überprüfungen verwendet, um Anzeichen von Inflation zu erkennen.

Überblick über das CoIn-Überwachungssystem für undurchsichtige kommerzielle LLMs. Panel A zeigt, wie Token-Embeddings in einen Merkle-Baum für die Token-Zählungsüberprüfung ohne Offenlegung der Tokeninhalte gehasht werden. Quelle: https://arxiv.org/pdf/2505.13778

Eine Komponente überprüft Token-Zählungen kryptografisch mithilfe eines Merkle-Baums; die andere bewertet die Relevanz des versteckten Inhalts, indem sie ihn mit der Antwort-Embedding vergleicht. Dies ermöglicht es Prüfern, Polsterung oder Irrelevanz – Anzeichen dafür, dass Tokens nur zum Aufblasen der Rechnung hinzugefügt werden – zu erkennen.

Wenn es in Tests eingesetzt wird, erreicht CoIn eine Erfolgsquote von fast 95% bei bestimmten Formen der Inflation, mit minimaler Offenlegung der zugrunde liegenden Daten. Obwohl das System immer noch auf die freiwillige Zusammenarbeit der Anbieter angewiesen ist und in Randfällen eine begrenzte Auflösung aufweist, ist sein grundlegender Punkt unverkennbar: die Architektur der aktuellen LLM-Abrechnung geht von einer Ehrlichkeit aus, die nicht überprüft werden kann.

Schlussfolgerung

Abgesehen vom Vorteil, vor der Zahlung von Nutzern zu profitieren, hilft ein Scrip-basierter Währung (wie das ‘Buzz’-System bei CivitAI) dabei, die Nutzer von dem tatsächlichen Wert der Währung, die sie ausgeben, oder der Ware, die sie kaufen, abzulenken. Ebenso gibt es den Anbietern die Freiheit, ihre eigenen Einheiten der Messung zu definieren, was den Verbraucher noch mehr im Dunkeln lässt, was er tatsächlich ausgibt, in Bezug auf echtes Geld.

Wie das Fehlen von Uhren in Las Vegas sind Maßnahmen dieser Art oft darauf abzielend, den Verbraucher leichtsinnig oder gleichgültig gegenüber Kosten zu machen.

Das kaum verstandene Token, das auf so viele Arten konsumiert und definiert werden kann, ist vielleicht nicht die geeignete Einheit für die Messung von LLM-Verbrauch – nicht zuletzt, weil es viel mehr Tokens kosten kann, um ein schlechteres LLM-Ergebnis in einer nicht-englischen Sprache zu berechnen, im Vergleich zu einer englischbasierten Sitzung.

Ein zeichenbasierter Output, wie von den Max-Planck-Forschern vorgeschlagen, würde wahrscheinlich kürzere Sprachen bevorzugen und natürliche, umfangreiche Sprachen bestrafen. Da visuelle Hinweise wie ein abnehmender Tokenzähler uns wahrscheinlich ein wenig verschwenderischer in unseren LLM-Sitzungen machen würde, scheint es unwahrscheinlich, dass solche nützlichen GUI-Erweiterungen bald kommen – zumindest nicht ohne gesetzliche Maßnahmen.

* Autorenbetonung. Meine Umwandlung der Autorenzitate in Hyperlinks.

Erstveröffentlicht am Donnerstag, 29. Mai 2025