Berichte

Das Scorecard-Modell für die Inferenzökonomie stellt die GPU-Auslastung als Leistungskennzahl für KI infrage

Theo Nash
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Wichtige PunkteDie GPU-Auslastung kann produktiven Output nicht von teurem Kontext-Wiederaufbau…
Mehr anzeigen
  • Die GPU-Auslastung kann produktiven Output nicht von teurem Kontext-Wiederaufbau unterscheiden.
  • Die Scorecard misst den nutzbaren Durchsatz gegen Strom, Rackplatz und Kosten statt gegen Chip-Aktivität.
  • Der gemeinsame NVMe-Cache senkte die Kontext-Neuberechnung im Benchmark auf 6,8 % der Prefill-Zyklen.

Eine stark ausgelastete GPU ist nicht zwangsläufig auch produktiv. Das ist die These hinter dem Scorecard-Modell für die Inferenzökonomie, einer neuen Studie von NAND Research und WEKA, die einen umfassenderen Ansatz zur Bewertung der Infrastruktur vorschlägt, auf der KI-Anwendungen im Produktivbetrieb laufen.

Das Rahmenwerk lenkt den Blick weg von der Aktivität des Chips und hin zu nützlicher Leistung, die innerhalb eines Serviceziels erbracht und im Verhältnis zu Stromverbrauch, Rack-Platz und Kosten gemessen wird. Relevant wird dieser Ansatz zunehmend, wenn KI-Agenten lange Gespräche führen, Werkzeuge aufrufen und immer wieder auf früheren Kontext zurückgreifen. Ein Inferenzserver kann erhebliche Rechenleistung dafür aufwenden, diesen Kontext wiederherzustellen, während sein Auslastungs-Dashboard weiterhin gute Werte anzeigt.

Neben der Ankündigung stellt WEKA einen achtstündigen Benchmark vor, der gemeinsam mit Nebius auf NVIDIA-HGX-B300-Hardware durchgeführt wurde, und veröffentlicht Workload-Traces sowie Werkzeuge, mit denen andere den Vergleich nachvollziehen können. Das Scorecard-Modell ist ein vorgeschlagenes Bewertungsrahmenwerk und kein etablierter Branchenstandard. WEKA, dessen Speichertechnologie von diesem Ansatz profitiert, hat die Studie finanziert.

Warum die GPU-Auslastung kostspielige Wiederholungsarbeit verschleiern kann

Inferenz bezeichnet den Vorgang, ein trainiertes Modell auszuführen, um eine Antwort zu erzeugen. Bevor das Modell neue Tokens generiert, verarbeitet es die Eingabe und den Gesprächsverlauf in einer Phase namens Prefill. Dabei erstellt es einen Key-Value-Cache, kurz KV-Cache: Zwischengespeicherte Aufmerksamkeitsdaten, mit denen das Modell bei einer Fortsetzung des Gesprächs bereits ausgeführte Berechnungen wiederverwenden kann.

Der schnellste Speicherort für diesen Cache ist der Hochbandbreitenspeicher der GPU, bekannt als HBM. Der HBM muss jedoch auch die Modellgewichte und andere Arbeitsdaten aufnehmen. Lange Sitzungen und konkurrierende Nutzer können einen Server dazu zwingen, zwischengespeicherten Kontext zu verwerfen, um Platz zu schaffen.

Wenn der Nutzer oder Agent zurückkehrt, muss der fehlende Cache möglicherweise wiederhergestellt werden, indem alte Tokens erneut verarbeitet werden. Das bedeutet nicht, dass das Modell das Gespräch dauerhaft vergessen hat. Vielmehr hat die Infrastruktur eine wiederverwendbare Repräsentation verworfen und muss sie nun mit zusätzlichem Aufwand rekonstruieren.

Dadurch entsteht eine Messfalle. Die erneute Verarbeitung des Kontexts vom Vortag hält die GPU genauso aktiv wie die Generierung einer nützlichen neuen Antwort. Die Auslastung bleibt ein wertvoller Diagnosewert, kann einem Betreiber allein jedoch nicht zeigen, wie viel produktive Leistung die Kunden erhalten haben.

Was das Scorecard-Modell für die Inferenzökonomie misst

Das Scorecard-Modell sieht kontinuierliche Tests über mindestens acht Stunden vor – lang genug, um Verhaltensweisen sichtbar zu machen, die bei kurzen Vorführungen möglicherweise unentdeckt bleiben. Bei Vergleichen müssen Modell, Genauigkeit, Workload, Parallelität, Cache-Bedingungen, Qualitätsschwelle und Service-Level-Ziele konstant gehalten werden. Die Messung umfasst den gesamten Serving-Stack; Kühlung und zusätzlicher Energie- und Ressourcenaufwand der Infrastruktur müssen offengelegt werden.

Nur erfolgreiche Ausgaben, die die Qualitäts- und Serviceziele erfüllen, fließen in den Nutzdurchsatz ein. Fehlgeschlagene Anfragen, Wiederholungsversuche, Zeitüberschreitungen und verworfene Ausgaben müssen sichtbar bleiben und dürfen nicht aus der Berechnung verschwinden.

Kennzahl Was sie erkennen lässt
Tokens pro Watt Wie effizient Strom in nützliche Modellausgaben umgewandelt wird.
Tokens pro Rack Wie viel Leistung die Bereitstellung innerhalb einer bestimmten Stellfläche erbringt.
Kosten pro Inferenz Die Kosten für die erfolgreiche Bearbeitung einer Anfrage im gesamten System.
Nutzdurchsatz der GPU Produktive Leistung, die innerhalb der Serviceziele erbracht wird, statt bloßer Chipaktivität.
Zeit bis zum ersten Token und Ende-zu-Ende-Latenz Wie lange Nutzer warten, bis eine Antwort beginnt und vollständig vorliegt.
Speichereffizienz Wie effektiv das System die knappe Speicherkapazität nutzt.
Betriebsdichte Wie sich Einschränkungen bei Bereitstellung und Betrieb auf die nutzbare Kapazität auswirken.
Parallelität von Agenten Wie gut das System mehrere aktive Agenten-Workloads unterstützt.
Kontexterhalt Wie zuverlässig wiederverwendbarer Sitzungskontext bei wachsenden Workloads erhalten bleibt.

Besonders wichtig ist die Unterscheidung zwischen Durchsatz und Nutzdurchsatz. Ein Server, der mehr Tokens erzeugt, aber die Antwortfrist eines Kunden verpasst, kann weniger nützlich sein als ein langsamer wirkendes System, das die Frist zuverlässig einhält. Ebenso ist ein größerer Cache wirtschaftlich nur dann attraktiv, wenn sein Nutzen die zusätzlichen Kosten für Speicherung, Netzwerkanbindung und Betrieb übersteigt.

Wie gemeinsamer Speicher den KV-Cache erweitert

In WEKAs technischer Darstellung des Benchmarks wird NeuralMesh mit Augmented Memory Grid beschrieben. Dabei werden wiederverwendbare KV-Daten auf gemeinsamem NVMe-Speicher vorgehalten, der über den eigenen Speicher der GPU hinausgeht. NVMe ist eine Hochleistungsschnittstelle, die häufig mit Flash-Laufwerken verwendet wird.

Bei diesem Konzept wird der Cache zu einer Ressource, auf die die Inferenzinfrastruktur über das Netzwerk zugreifen kann, statt ihn auf einer GPU wiederholt neu aufzubauen. RDMA (Remote Direct Memory Access, direkter Speicherzugriff aus der Ferne) und NVIDIA GPUDirect Storage ermöglichen es, Daten mit geringerem CPU-Einsatz direkt vom Speicher zur GPU zu übertragen.

Es geht darum, vorhandene Daten zu übertragen oder sie erneut zu berechnen. Ein ausreichend schneller Speicherpfad kann den Abruf günstiger machen als den Neuaufbau langer Verläufe. Der Vorteil hängt von der Wiederverwendung des Caches, der Kontextlänge, der Parallelität und der Geschwindigkeit des gesamten Datenpfads ab. Eine kurze Anfrage, deren Arbeitsdaten bereits in den HBM passen, stellt ein anderes Problem dar.

Was der achtstündige Benchmark tatsächlich ergab

Beim gemeinsamen Test von Nebius und WEKA kam ein Serving-Knoten HGX B300 mit acht GPUs zum Einsatz, auf dem DeepSeek-V4-Pro lief. Die Replay-Workload basierte auf mehr als 5.000 realen Agenten-Traces, umfasste einen Pool von 512 aktiven Sitzungen und verwendete einen Scheduler, der 32 gleichzeitige Anfragen zuließ. Aktive Sitzungen und gleichzeitige Anfragen sind unterschiedliche Größen.

Über einen Zeitraum von acht Stunden verzeichnete WEKA mit seinem gemeinsamen Cache 3,7-mal so viele Ausgabetokens pro GPU-Stunde wie beim Serving ausschließlich mit HBM. Bei den erfolgreich abgeschlossenen Anfragen wurde bei 97 % innerhalb von fünf Sekunden das erste Token ausgegeben, verglichen mit 44 % bei der Baseline. Die erneute Berechnung bereits zuvor verarbeiteten Kontexts beanspruchte bei der Baseline 60 % der Prefill-Zyklen, gegenüber 6,8 % mit dem gemeinsamen Cache.

Für den zusätzlichen Cache kamen NVMe-Laufwerke in einem Cluster aus acht Knoten zum Einsatz, obwohl das gemeldete Serving-Ergebnis von einem einzelnen GPU-Knoten stammte. Der auf die GPU normierte Leistungsgewinn belegt daher keine entsprechende Senkung der Gesamtkosten oder des Energieverbrauchs: Bei diesen Berechnungen müssen auch die unterstützenden Ressourcen berücksichtigt werden.

Auch die Baseline ist relevant. Dem technischen Bericht zufolge war zum Zeitpunkt der Tests keine geeignete Implementierung zur Auslagerung auf DRAM für dieses Modell verfügbar. Die Ergebnisse vergleichen die getestete Konfiguration mit Serving ausschließlich über HBM; sie belegen nicht, dass diese Konfiguration jeder anderen Cache-Architektur überlegen ist.

Offene Traces machen den Vergleich aussagekräftiger

WEKAs Open-Source-Projekt kvlab erfasst und reproduziert die Struktur von Agentensitzungen einschließlich zeitlicher Abläufe und Mustern der Cache-Wiederverwendung, ohne die ursprünglichen Gesprächs- oder Quellcodeinhalte zu verbreiten. Der Loader ist in den AIPerf-Werkzeugen von NVIDIA dokumentiert. In der Ankündigung wird außerdem die Integration in den AgentX-Benchmark von SemiAnalysis genannt.

Das Abbilden von Pausen, länger werdenden Verläufen und damit verbundenen Agentenaktivitäten macht den Cache-Druck sichtbar, der bei einer Folge nicht zusammenhängender synthetischer Prompts unbemerkt bliebe. Solche Replays messen das Serving-Verhalten; für sich genommen belegen sie nicht, ob ein Agent eine geschäftliche Aufgabe korrekt abgeschlossen hat.

Für Unternehmen besteht der zentrale Beitrag von der Kennzahl für die Wirtschaftlichkeit von Inferenz in einer klareren Definition von Erfolg: nützliche Antworten in der erforderlichen Qualität und Geschwindigkeit und innerhalb der verfügbaren Ressourcen. Wenn Agenten mehr Kontext verarbeiten und länger laufen, wird die Auslastung einer GPU zur bloßen Ausgangsbeobachtung. Wirtschaftlich entscheidend ist die Arbeit, die beim Kunden ankommt.

Theo Nash ist ein KI-generierter Rechercheagent bei Unite.AI, der KI-Infrastruktur, Rechenleistung und die Hardwaresysteme abdeckt, die moderne künstliche Intelligenz antreiben. Seine Arbeit konzentriert sich auf die technischen Grundlagen großer KI‑Workloads, einschließlich Rechenzentren, Beschleuniger, Netzwerke und die Software‑Stacks, die sie verbinden.

Mit einer analytischen und ingenieurorientierten Perspektive untersucht Theo, wie Fortschritte bei GPUs, kundenspezifischem Silizium, Speicherarchitekturen und verteilten Systemen neue Generationen von KI‑Modellen ermöglichen. Er legt besonderen Wert auf Leistungskompromisse, Energieeffizienz, Skalierbarkeit und die praktischen Einschränkungen, die die reale Implementierung von KI‑Infrastruktur prägen.

Artikel, die von Theo Nash verfasst wurden, sind KI-generiert und werden vom Redaktionsteam von Unite.AI geprüft, um technische Genauigkeit, Klarheit und eine verantwortungsvolle Berichterstattung über die sich schnell entwickelnde KI‑Rechenlandschaft sicherzustellen.