Warum Tokenkosten nicht zeigen, ob Unternehmens-KI funktioniert

Unternehmens-KI durchläuft einen vertrauten Zyklus. Anfangs setzten Organisationen voll auf die Technologie und griffen zu den größten und leistungsfähigsten Modellen, weil sie spannend war und die Rechnung noch nicht vorlag. Als sie dann kam, fiel die Reaktion ebenso vorhersehbar aus: Teams begannen, den Zugang zu rationieren, weniger zu experimentieren und nach günstigeren Modellen zu suchen.

Ali Ghodsi, Mitgründer und CEO von Databricks, bezeichnete die frühe Phase dieses Zyklus als „Tokenmaximierung“: Dabei gilt ein höherer Tokenverbrauch als Beleg für Fortschritt. Wichtiger ist die Phase der „Wertmaximierung“. Sie bedeutet, zu verstehen, was die Ausgaben bewirken, und sie gezielt für die wirklich wichtige Arbeit einzusetzen.

Das ist nicht einfach eine neue Bezeichnung für Kostenoptimierung. Bei der Kostenoptimierung geht es darum, wie eine Organisation weniger ausgeben kann. Bei der Wertmaximierung geht es dagegen darum, mehr aus den Ausgaben herauszuholen. Dieser Unterschied wird immer wichtiger, wenn KI von einzelnen Experimenten in den Unternehmensalltag übergeht.

Das größte Modell ist nicht immer das richtige

Viele Organisationen begannen ihre KI-Programme damit, für nahezu jede Aufgabe das leistungsstärkste verfügbare Modell einzusetzen. In der frühen Experimentierphase war das sinnvoll: Die Teams wollten herausfinden, was die Technologie leisten kann, und die Leistungsfähigkeit der Modelle war wichtiger als Vorhersagbarkeit.

Mit zunehmender Verbreitung der Anwendungen ließ sich der Einsatz eines Spitzenmodells für jede Anfrage jedoch immer schwerer rechtfertigen. Einige Organisationen reagierten, indem sie den Zugang einschränkten oder die Teams aufforderten, weniger zu tun. Weitreichende Beschränkungen können jedoch neben tatsächlicher Verschwendung auch nützliches Experimentieren unterdrücken.

Ein ausgereifterer Ansatz zeichnet sich ab. Teams setzen zunehmend kleinere, spezialisierte Modelle für Routineaufgaben ein und reservieren leistungsfähigere Modelle für Aufgaben, die komplexes Schlussfolgern erfordern oder bei denen ein Fehler hohe Kosten verursachen würde. Mit der Zeit könnten einige Organisationen Modelle auch in ihrer eigenen Infrastruktur betreiben, um Kosten, Leistung und sensible Daten besser kontrollieren zu können.

Die entscheidende Frage ist nicht, ob ein großes oder ein kleines Modell besser ist. Entscheidend ist, ob das Modell zur Aufgabe passt und ob das Ergebnis die Gesamtkosten seiner Erstellung rechtfertigt.

Token zeigen Aktivität, nicht Wert

Die meisten Dashboards für Unternehmens-KI sind auf den Verbrauch ausgerichtet. Sie zeigen, wie viele Token verwendet wurden, welche Modelle sie verarbeitet haben und wie viel die Organisation ausgegeben hat. Diese Zahlen sind notwendig, zeigen aber nicht, ob dabei ein nützliches Ergebnis erzielt wurde.

Ein Team, das doppelt so viele Token verbraucht, schafft nicht zwangsläufig doppelt so viel Wert. Vielleicht bearbeitet es schwierigere Aufgaben, verwendet ein unnötig leistungsstarkes Modell oder stützt sich auf einen Agenten, der fehlgeschlagene Aufgaben immer wieder erneut versucht. Ein Arbeitsablauf mit hohen Modellkosten kann dennoch eine hervorragende Investition sein, wenn er Ausfälle verhindert, Kundenanliegen löst oder Beschäftigten wertvolle Stunden zurückgibt.

Dasselbe Problem gibt es in der Observability schon seit Jahren – dort geht es allerdings um Gigabyte statt um Token. Die Teams begannen damit, alles zu erfassen, weil maximale Transparenz als sicherste Strategie erschien. Als die Kosten für Speicherung und Verarbeitung stiegen, fingen sie an, Daten stichprobenartig zu erfassen, die Aufbewahrungsdauer zu verkürzen und Kontext wegzulassen, um die Ausgaben zu begrenzen.

In beiden Fällen bestand die Reaktion auf steigende Kosten oft darin, weniger zu tun. Was Organisationen stattdessen brauchen, ist die Möglichkeit zu erkennen, welche Aktivitäten wertvoll und welche verschwenderisch sind und welche effizienter gestaltet werden könnten, ohne das Ergebnis zu beeinträchtigen.

Die tatsächlichen Kosten gehen über die Inferenz hinaus

Ein Modellaufruf macht selten den gesamten KI-Arbeitsablauf aus. Bevor ein Agent eine Antwort erstellt, kann er Dokumente abrufen, eine Datenbank abfragen, Telemetriedaten durchsuchen, externe Dienste aufrufen und neue Aktivitäten in Anwendungen oder der Infrastruktur auslösen.

Stellen Sie sich einen Agenten vor, der untersucht, warum sich die Latenz beim Bezahlvorgang nach einer Bereitstellung erhöht hat. Er könnte Protokolle prüfen, Metriken vergleichen, Traces untersuchen, Bereitstellungsdaten abrufen und nachgelagerte Dienste analysieren. Wenn seine erste Theorie nicht zutrifft, könnte er das Zeitfenster anpassen, unter anderen Dienstnamen suchen und mehreren alternativen Ursachen nachgehen.

Eine einzige Anweisung eines Menschen kann somit Hunderte maschinell erzeugte Vorgänge auslösen. Diese beanspruchen Rechenleistung, Speicher-Ein- und -Ausgabe, Netzwerkkapazität und Kontingente für APIs von Drittanbietern – Kosten, die im Dashboard der Organisation für Modellausgaben möglicherweise nicht auftauchen.

Das bedeutet, dass ein scheinbar günstiges Modell einen kostspieligen Arbeitsablauf ermöglichen kann. Ein leistungsfähigeres Modell kostet pro Aufruf möglicherweise mehr, gelangt aber mit weniger Schritten zur richtigen Schlussfolgerung und benötigt dadurch weniger Wiederholungsversuche und weniger unterstützende Infrastruktur. Vergleichen lassen sich die Modelle nur, wenn die gesamte Aufgabe betrachtet wird.

Aktivität, Kosten und Ergebnisse miteinander verknüpfen

Um den Wert zu maximieren, müssen Organisationen drei Arten von Informationen miteinander verknüpfen, die häufig getrennt voneinander erfasst werden.

Erstens geht es um die KI-Aktivität, darunter die Modellauswahl, den Tokenverbrauch, die Latenz, Tool-Aufrufe, Wiederholungsversuche und parallele Abläufe. Zweitens geht es um die durch diese Aktivität entstehenden Infrastruktur- und Finanzkosten, darunter Rechenleistung, Speicher, Netzwerknutzung, Datenbankauslastung und Gebühren für externe APIs. Drittens geht es um das Ergebnis: Es sollte erkennen lassen, ob die Aufgabe erfolgreich abgeschlossen wurde und ob jemand das Ergebnis nützlich fand.

Nicht jedes Ergebnis muss sich in einem exakten Geldbetrag ausdrücken lassen. Ein praktikabler Messwert kann genügen, etwa ob eine Antwort akzeptiert wurde, ob jemand die Arbeit wiederholen musste, ob ein Vorfall schneller behoben wurde oder ob ein automatisierter Ablauf ohne Eingreifen abgeschlossen werden konnte.

So kann sich beispielsweise eine Untersuchung eines Vorfalls, bei der Hunderte von Abfragen generiert werden, lohnen, wenn sie den Technikteams hilft, einen kritischen Dienst 30 Minuten früher wiederherzustellen. Ein wesentlich kleinerer Ablauf kann dennoch ineffizient sein, wenn dabei ein Bericht entsteht, den niemand liest. Allein am Tokenverbrauch lässt sich der Unterschied nicht erkennen.

Sobald Unternehmen die Aktivität mit den Ergebnissen verknüpfen können, können sie gezielt entscheiden, wo Spitzenmodelle zum Einsatz kommen, wo kleinere Modelle ausreichen und wo ein Ablauf neu gestaltet werden muss.

Transparenz darf nicht bedeuten, die Kontrolle abzugeben

Um den Wert von KI zu verstehen, braucht man Zugriff auf sensible Kontextdaten. Prompts, generierte Antworten, Quellcode, Kundeninformationen und Telemetriedaten aus der Produktionsumgebung können alle Teil desselben Ablaufs sein.

Unternehmen sollten diese Informationen nicht an einen externen Dienst übermitteln müssen, nur um zu verstehen, wie ihre KI-Systeme funktionieren. Die Prompts und der Produktionskontext, die eine aussagekräftige Messung ermöglichen, können genau jene Informationen enthalten, die Sicherheits-, Datenschutz- und Compliance-Teams nicht aus der Unternehmensumgebung herausgeben dürfen.

Führungskräfte in Unternehmen sollten daher fragen, wo ihre KI- und Observability-Daten verarbeitet werden, wer darauf zugreifen kann, wie lange sie gespeichert bleiben und ob die Analyse innerhalb der bestehenden Sicherheitsgrenzen stattfinden kann. Gute Governance setzt Transparenz voraus, doch diese darf kein neues Problem bei der Datenkontrolle schaffen.

Wenn die Analyse nahe an den zugrunde liegenden Daten stattfindet, lassen sich KI-Aktivitäten leichter mit den Anwendungen, der Infrastruktur und den Geschäftsprozessen verknüpfen, auf die sie sich auswirken. Nur mit diesem vollständigen Überblick können Teams nachvollziehen, was sie ausgegeben haben und welchen Ertrag diese Ausgaben gebracht haben.

Auf Wert statt auf Menge optimieren

Die Unternehmen, die in der nächsten Phase der Unternehmens-KI erfolgreich sind, werden nicht unbedingt diejenigen sein, die die meisten Tokens verwenden oder am wenigsten ausgeben. Erfolgreich werden vielmehr jene sein, die erkennen, welche Modelle und Workloads zu aussagekräftigen Ergebnissen führen, und dieses Wissen dann für die Steuerung ihrer Implementierungen nutzen können.

Dafür müssen Unternehmen über isolierte Dashboards zu den Modellkosten hinausgehen. Teams müssen den gesamten Weg von einer Nutzeranfrage über Modellaufrufe, Tools und Infrastruktur bis hin zum letztlichen Ergebnis beobachten und dabei sensible Informationen angemessen unter der Kontrolle des Unternehmens halten.

Tokenmaxxing war eine nützliche Phase, weil es zum Experimentieren anregte und zeigte, was KI leisten kann. Valuemaxxing ist die notwendige nächste Disziplin: Sie verbindet Transparenz, Kosten und Ergebnisse, damit Unternehmen weiter experimentieren können, ohne die Kontrolle über ihre Ausgaben oder Daten zu verlieren.

Unternehmens-KI muss nicht kleiner werden, nur weil die ersten Rechnungen eingetroffen sind. Sie muss gezielter eingesetzt werden: Der Aufwand sollte dem Schwierigkeitsgrad, die Modelle den Aufgaben und die Ausgaben dem messbaren Wert entsprechen.