Die neue Ökonomie von KI basiert auf Token – aber wir messen sie falsch

Es gibt einen Wandel in der KI, den die meisten Menschen spüren, aber noch nicht vollständig verstehen: Wir sind von der Zählung von Anfragen zur Zählung von Token übergegangen.

In der Web-Ära haben wir Systeme in Anfragen pro Sekunde gemessen. Es war sauber, intuitiv und meistens genau. Eine Anfrage kam herein, eine Antwort ging hinaus, und man konnte die Infrastruktur um dieses Modell herum skalieren.

Diese Abstraktion ist verschwunden.

In der KI ist die grundlegende Einheit nicht mehr die Anfrage – es ist der Token. Jede Aufforderung, jede Antwort und jede Kette von Überlegungen wird in Token aufgeteilt, die die Arbeit des Systems darstellen, die entstandenen Kosten und zunehmend den erzeugten Wert.

Natürlich hat die Branche sich um diesen Wandel gesammelt und Metriken wie Token pro Sekunde, Kosten pro Token und sogar Umsatz pro Token eingeführt. Es scheint, als hätten wir endlich eine Möglichkeit gefunden, KI-Systeme zu quantifizieren. Aber diese Darstellung ist unvollständig.

Die Branche-Abkürzung: Token entsprechen Wert

Es gibt eine wachsende Erzählung, dass Token die neue Währung der KI sind – dass mehr Token mehr Intelligenz und damit mehr Umsatz bedeuten. Es ist eine überzeugende Idee, aber sie vereinfacht was tatsächlich in diesen Systemen passiert.

Nicht alle Token sind gleich. Einige Token repräsentieren reale Arbeit: Daten analysieren, Erkenntnisse generieren, Workflows automatisieren und Entscheidungen unterstützen, die Geschäftsergebnisse vorantreiben. Andere sind weit weniger bedeutend – beispielsweise die Erstellung von Inhalten, Experimente oder Anwendungsfälle, die nie in die Produktion gelangen.

Man kann dies bereits in Unternehmen sehen. Ein Team könnte Millionen von Token generieren, um die Produktivität von Entwicklern oder Kundenoperationen zu unterstützen, was direkt die Effizienz und den Umsatz beeinflusst. Ein anderes Team könnte die gleiche Menge an Token generieren, um mit Tools zu experimentieren, die nie über interne Explorationen hinausgehen. Auf dem Papier sehen die Tokenzahlen identisch aus. In der Realität ist der Geschäftswert jedoch völlig unterschiedlich.

Die Behandlung aller Token als austauschbare Einheiten des Wertes erzeugt eine verzerrte Sicht darauf, was die KI innerhalb eines Unternehmens tatsächlich tut.

Um diesen Unterschied zu verstehen, muss man unter die Oberfläche schauen und sehen, wie diese Systeme tatsächlich operieren.

Warum Ihre zweite Aufforderung schneller ist als Ihre erste

Wenn Sie jemals ein Tool wie ChatGPT verwendet haben, haben Sie wahrscheinlich bemerkt, dass Ihre zweite Frage oft schneller beantwortet wird als Ihre erste. Dieses Verhalten hat nichts damit zu tun, dass das Modell intelligenter wird – es hat damit zu tun, wie das System den Kontext aus vorherigen Aufforderungen wiederverwendet.

Moderna KI-Systeme verarbeiten nicht jede Anfrage isoliert. Sie bauen Kontext auf, indem sie vorherige Aufforderungen und Antworten im Speicher speichern, oft in einem sogenannten KV-Cache. Dieser Cache befindet sich in der Nähe der GPU, um schnell auf die generierten Antworten zuzugreifen.

Die erste Anfrage ist teuer, weil sie diesen Zustand initialisiert – Speicher zuweist, die Eingabe verarbeitet und den Kontext aufbaut. Nachfolgende Anfragen wiederverwenden diesen Zustand, was die Latenz reduziert und die Reaktionsfähigkeit verbessert.

Diese Dynamik wird wichtiger, wenn die Kontextfenster von Tausenden auf Hunderttausende oder sogar Millionen von Token erweitert werden. Je mehr Kontext ein System speichert, desto mehr Druck wird auf den Speicher und die Infrastruktur ausgeübt, was es kritisch macht, zu entscheiden, was gespeichert, komprimiert oder verworfen wird.

Aus der Sicht des Benutzers scheint es, als ob das System schneller ist. Aus der Sicht der Infrastruktur ist es ein komplexer Kompromiss zwischen Speicher, Latenz und Kosten.

Hier findet die eigentliche Arbeit statt: nicht nur im Modell selbst, sondern im System, das es umgibt.

Die ultimative Einschränkung: Energie

Sobald man über die Modellleistung hinausgeht, ändert sich das Gespräch schnell.

Teams, die KI im großen Maßstab einsetzen, fragen nicht in erster Linie, welches Modell das beste ist. Sie fragen, wie sie es aufrechterhalten können.

Die KI-Infrastruktur stößt an physische Grenzen: Energieverfügbarkeit, Kühlkapazität und Speicherbandbreite. Rechenzentren werden um diese Einschränkungen herum neu entworfen, und Organisationen, die große KI-Systeme einsetzen, beginnen, mehr wie Versorgungsunternehmen als traditionelle Softwareunternehmen zu operieren.

Wir sehen dies bereits in großen Unternehmen, die KI-Infrastruktur aufbauen, wo Strom und Kühlung – und nicht die Modellfähigkeit – zur primären Einschränkung werden.

KI-Arbeitslasten skalieren nicht sauber oder vorhersehbar. Sie verdoppeln die Nachfrage nach Rechenleistung, Speicher und Netzwerk gleichzeitig. Die Erzeugung von mehr Token ist nicht einfach eine Frage des Hinzufügens von mehr GPUs; es ist eine Frage davon, ob die zugrunde liegende Infrastruktur die erforderliche Energie und thermische Belastung aufrechterhalten kann, um diese Systeme effizient zu betreiben.

Die Kosten für die Erzeugung eines Tokens umfassen daher mehr als nur die Rechenleistung. Sie umfassen Strom, Kühlung, physische Infrastruktur und die Fähigkeit, die Leistung unter Last ohne Degradation aufrechtzuerhalten.

Die meisten Diskussionen über “Kosten pro Token” spiegeln diese Realität nicht vollständig wider. Im großen Maßstab wird die Energie zum Budget, nicht nur zu einer weiteren Position.

Die Zukunft sind nicht größere Modelle, sondern bessere Systeme

In den letzten zwei Jahren hat die Branche sich auf Modellvergleiche konzentriert, indem sie Benchmarks, Rankings und inkrementelle Verbesserungen der Fähigkeiten betrachtet.

Diese Konzentration beginnt sich zu ändern.

In Produktionsumgebungen ist die Leistung weniger davon abhängig, welches Modell man wählt, und mehr davon, wie man es einsetzt. Organisationen gehen zu Systemen von Modellen über – sie kombinieren große und kleine Modelle, leiten Aufgaben intelligent und optimieren für Kosten, Latenz und Durchsatz über den gesamten Workflow.

Anstatt jede Anfrage an ein einzelnes großes Modell zu senden, teilen Systeme die Arbeitslasten in kleinere Komponenten auf. Einfachere Aufgaben können von effizienteren Modellen bearbeitet werden, während komplexere Überlegungen für größere Modelle reserviert sind. Der Kontext wird überall möglich wiederverwendet, und Caching-Strategien werden aggressiv angewendet.

Diese Entscheidungen haben oft einen größeren Einfluss auf Leistung und Kosten als das Wechseln von einem Modell zu einem anderen. In diesem Sinne bleiben Token die Einheit der Arbeit, aber das System, das sie erzeugt und verwaltet, wird zum eigentlichen Differenzierungsmerkmal.

Die am meisten übersehene Schicht in KI-Systemen

KI wird oft in Bezug auf Modelle auf der einen Seite und Anwendungen auf der anderen Seite beschrieben, aber die Schicht dazwischen ist, wo die meisten Komplexität und Chancen liegen.

Diese Schicht bewegt nicht nur Anfragen; sie formt sie. Sie bestimmt, wie der Datenverkehr fließt, wie Entscheidungen durchgesetzt werden und wie Systeme unter realen Bedingungen funktionieren.

Lieferung und Sicherheit können hier nicht als separate Bedenken behandelt werden. Die gleiche Schicht, die Anfragen leitet und Kontext verwaltet, ist auch die, in der Richtlinien angewendet, Risiken gemindert und Vertrauen etabliert werden.

Wenn die Komplexität wächst, brechen Punkt-Lösungen zusammen. Was benötigt wird, ist eine einheitliche Plattform, die diese Funktionen in Echtzeit koordinieren kann, anstatt sie nachträglich zusammenzufügen.

Hier werden die Kompromisse getroffen. Hier wird die Kostenkontrolle durchgeführt, die Leistung optimiert und Sicherheitsentscheidungen in Echtzeit durchgesetzt. Wenn KI-Systeme skaliert werden, wird diese Schicht immer wichtiger. Es ist der Unterschied zwischen einem System, das in einer Demo gut funktioniert, und einem, das in der Produktion zuverlässig und effizient arbeitet. Dieser Wandel hat reale Auswirkungen auf die Art und Weise, wie Organisationen KI-Systeme entwerfen und verwalten.

Was dies für Organisationen bedeutet

Wenn Unternehmen KI in die Produktion überführen, ist die Frage nicht nur, welches Modell zu verwenden ist – es geht darum, wie das System darum herum entworfen ist, um zu operieren.

Das bedeutet, über Token-Metriken und Modell-Benchmarks hinauszugehen und sich auf die Art und Weise zu konzentrieren, wie Anfragen geroutet, Kontext verwaltet und Richtlinien über den gesamten Workflow hinweg durchgesetzt werden.

Die meisten Organisationen setzen diese Teile noch zusammen – und dieser Ansatz hält nicht unter realen Produktionsdruck stand.

Wir messen das Falsche

Token bieten eine nützliche Abstraktion. Sie geben der Branche eine Möglichkeit, etwas zu quantifizieren, das einst ungreifbar schien, aber sie sind nicht das vollständige Bild.

Aktuell neigt die Branche dazu, das zu messen, was am einfachsten zu messen ist – Tokenzahlen, Durchsatz und Kostenmetriken – anstatt das, was am wichtigsten ist. Ohne Kontext können diese Zahlen irreführend sein.

Die nächste Phase der KI wird nicht durch die Erzeugung der meisten Token definiert. Sie wird definiert durch diejenigen, die verstehen, was diese Token repräsentieren, und die Systeme bauen können, die sie in bedeutungsvolle, effiziente und skalierbare Ergebnisse umwandeln.

Weil am Ende Token nicht das Produkt sind. Sie sind einfach das Nebenprodukt der Intelligenz, die erzeugt wird.