Berichte
Das Scorecard-Modell für die Inferenzökonomie stellt die GPU-Auslastung als Leistungskennzahl für KI infrage

Wichtige PunkteDie GPU-Auslastung kann produktiven Output nicht von teurem Kontext-Wiederaufbau…
Mehr anzeigen
- Die GPU-Auslastung kann produktiven Output nicht von teurem Kontext-Wiederaufbau unterscheiden.
- Die Scorecard misst den nutzbaren Durchsatz gegen Strom, Rackplatz und Kosten statt gegen Chip-Aktivität.
- Der gemeinsame NVMe-Cache senkte die Kontext-Neuberechnung im Benchmark auf 6,8 % der Prefill-Zyklen.
Eine stark ausgelastete GPU ist nicht zwangsläufig auch produktiv. Das ist die These hinter dem Scorecard-Modell für die Inferenzökonomie, einer neuen Studie von NAND Research und WEKA, die einen umfassenderen Ansatz zur Bewertung der Infrastruktur vorschlägt, auf der KI-Anwendungen im Produktivbetrieb laufen.
Das Rahmenwerk lenkt den Blick weg von der Aktivität des Chips und hin zu nützlicher Leistung, die innerhalb eines Serviceziels erbracht und im Verhältnis zu Stromverbrauch, Rack-Platz und Kosten gemessen wird. Relevant wird dieser Ansatz zunehmend, wenn KI-Agenten lange Gespräche führen, Werkzeuge aufrufen und immer wieder auf früheren Kontext zurückgreifen. Ein Inferenzserver kann erhebliche Rechenleistung dafür aufwenden, diesen Kontext wiederherzustellen, während sein Auslastungs-Dashboard weiterhin gute Werte anzeigt.
Neben der Ankündigung stellt WEKA einen achtstündigen Benchmark vor, der gemeinsam mit Nebius auf NVIDIA-HGX-B300-Hardware durchgeführt wurde, und veröffentlicht Workload-Traces sowie Werkzeuge, mit denen andere den Vergleich nachvollziehen können. Das Scorecard-Modell ist ein vorgeschlagenes Bewertungsrahmenwerk und kein etablierter Branchenstandard. WEKA, dessen Speichertechnologie von diesem Ansatz profitiert, hat die Studie finanziert.
Warum die GPU-Auslastung kostspielige Wiederholungsarbeit verschleiern kann
Inferenz bezeichnet den Vorgang, ein trainiertes Modell auszuführen, um eine Antwort zu erzeugen. Bevor das Modell neue Tokens generiert, verarbeitet es die Eingabe und den Gesprächsverlauf in einer Phase namens Prefill. Dabei erstellt es einen Key-Value-Cache, kurz KV-Cache: Zwischengespeicherte Aufmerksamkeitsdaten, mit denen das Modell bei einer Fortsetzung des Gesprächs bereits ausgeführte Berechnungen wiederverwenden kann.
Der schnellste Speicherort für diesen Cache ist der Hochbandbreitenspeicher der GPU, bekannt als HBM. Der HBM muss jedoch auch die Modellgewichte und andere Arbeitsdaten aufnehmen. Lange Sitzungen und konkurrierende Nutzer können einen Server dazu zwingen, zwischengespeicherten Kontext zu verwerfen, um Platz zu schaffen.
Wenn der Nutzer oder Agent zurückkehrt, muss der fehlende Cache möglicherweise wiederhergestellt werden, indem alte Tokens erneut verarbeitet werden. Das bedeutet nicht, dass das Modell das Gespräch dauerhaft vergessen hat. Vielmehr hat die Infrastruktur eine wiederverwendbare Repräsentation verworfen und muss sie nun mit zusätzlichem Aufwand rekonstruieren.
Dadurch entsteht eine Messfalle. Die erneute Verarbeitung des Kontexts vom Vortag hält die GPU genauso aktiv wie die Generierung einer nützlichen neuen Antwort. Die Auslastung bleibt ein wertvoller Diagnosewert, kann einem Betreiber allein jedoch nicht zeigen, wie viel produktive Leistung die Kunden erhalten haben.
Was das Scorecard-Modell für die Inferenzökonomie misst
Das Scorecard-Modell sieht kontinuierliche Tests über mindestens acht Stunden vor – lang genug, um Verhaltensweisen sichtbar zu machen, die bei kurzen Vorführungen möglicherweise unentdeckt bleiben. Bei Vergleichen müssen Modell, Genauigkeit, Workload, Parallelität, Cache-Bedingungen, Qualitätsschwelle und Service-Level-Ziele konstant gehalten werden. Die Messung umfasst den gesamten Serving-Stack; Kühlung und zusätzlicher Energie- und Ressourcenaufwand der Infrastruktur müssen offengelegt werden.
Nur erfolgreiche Ausgaben, die die Qualitäts- und Serviceziele erfüllen, fließen in den Nutzdurchsatz ein. Fehlgeschlagene Anfragen, Wiederholungsversuche, Zeitüberschreitungen und verworfene Ausgaben müssen sichtbar bleiben und dürfen nicht aus der Berechnung verschwinden.
| Kennzahl | Was sie erkennen lässt |
|---|---|
| Tokens pro Watt | Wie effizient Strom in nützliche Modellausgaben umgewandelt wird. |
| Tokens pro Rack | Wie viel Leistung die Bereitstellung innerhalb einer bestimmten Stellfläche erbringt. |
| Kosten pro Inferenz | Die Kosten für die erfolgreiche Bearbeitung einer Anfrage im gesamten System. |
| Nutzdurchsatz der GPU | Produktive Leistung, die innerhalb der Serviceziele erbracht wird, statt bloßer Chipaktivität. |
| Zeit bis zum ersten Token und Ende-zu-Ende-Latenz | Wie lange Nutzer warten, bis eine Antwort beginnt und vollständig vorliegt. |
| Speichereffizienz | Wie effektiv das System die knappe Speicherkapazität nutzt. |
| Betriebsdichte | Wie sich Einschränkungen bei Bereitstellung und Betrieb auf die nutzbare Kapazität auswirken. |
| Parallelität von Agenten | Wie gut das System mehrere aktive Agenten-Workloads unterstützt. |
| Kontexterhalt | Wie zuverlässig wiederverwendbarer Sitzungskontext bei wachsenden Workloads erhalten bleibt. |
Besonders wichtig ist die Unterscheidung zwischen Durchsatz und Nutzdurchsatz. Ein Server, der mehr Tokens erzeugt, aber die Antwortfrist eines Kunden verpasst, kann weniger nützlich sein als ein langsamer wirkendes System, das die Frist zuverlässig einhält. Ebenso ist ein größerer Cache wirtschaftlich nur dann attraktiv, wenn sein Nutzen die zusätzlichen Kosten für Speicherung, Netzwerkanbindung und Betrieb übersteigt.
Wie gemeinsamer Speicher den KV-Cache erweitert
In WEKAs technischer Darstellung des Benchmarks wird NeuralMesh mit Augmented Memory Grid beschrieben. Dabei werden wiederverwendbare KV-Daten auf gemeinsamem NVMe-Speicher vorgehalten, der über den eigenen Speicher der GPU hinausgeht. NVMe ist eine Hochleistungsschnittstelle, die häufig mit Flash-Laufwerken verwendet wird.
Bei diesem Konzept wird der Cache zu einer Ressource, auf die die Inferenzinfrastruktur über das Netzwerk zugreifen kann, statt ihn auf einer GPU wiederholt neu aufzubauen. RDMA (Remote Direct Memory Access, direkter Speicherzugriff aus der Ferne) und NVIDIA GPUDirect Storage ermöglichen es, Daten mit geringerem CPU-Einsatz direkt vom Speicher zur GPU zu übertragen.
Es geht darum, vorhandene Daten zu übertragen oder sie erneut zu berechnen. Ein ausreichend schneller Speicherpfad kann den Abruf günstiger machen als den Neuaufbau langer Verläufe. Der Vorteil hängt von der Wiederverwendung des Caches, der Kontextlänge, der Parallelität und der Geschwindigkeit des gesamten Datenpfads ab. Eine kurze Anfrage, deren Arbeitsdaten bereits in den HBM passen, stellt ein anderes Problem dar.
Was der achtstündige Benchmark tatsächlich ergab
Beim gemeinsamen Test von Nebius und WEKA kam ein Serving-Knoten HGX B300 mit acht GPUs zum Einsatz, auf dem DeepSeek-V4-Pro lief. Die Replay-Workload basierte auf mehr als 5.000 realen Agenten-Traces, umfasste einen Pool von 512 aktiven Sitzungen und verwendete einen Scheduler, der 32 gleichzeitige Anfragen zuließ. Aktive Sitzungen und gleichzeitige Anfragen sind unterschiedliche Größen.
Über einen Zeitraum von acht Stunden verzeichnete WEKA mit seinem gemeinsamen Cache 3,7-mal so viele Ausgabetokens pro GPU-Stunde wie beim Serving ausschließlich mit HBM. Bei den erfolgreich abgeschlossenen Anfragen wurde bei 97 % innerhalb von fünf Sekunden das erste Token ausgegeben, verglichen mit 44 % bei der Baseline. Die erneute Berechnung bereits zuvor verarbeiteten Kontexts beanspruchte bei der Baseline 60 % der Prefill-Zyklen, gegenüber 6,8 % mit dem gemeinsamen Cache.
Für den zusätzlichen Cache kamen NVMe-Laufwerke in einem Cluster aus acht Knoten zum Einsatz, obwohl das gemeldete Serving-Ergebnis von einem einzelnen GPU-Knoten stammte. Der auf die GPU normierte Leistungsgewinn belegt daher keine entsprechende Senkung der Gesamtkosten oder des Energieverbrauchs: Bei diesen Berechnungen müssen auch die unterstützenden Ressourcen berücksichtigt werden.
Auch die Baseline ist relevant. Dem technischen Bericht zufolge war zum Zeitpunkt der Tests keine geeignete Implementierung zur Auslagerung auf DRAM für dieses Modell verfügbar. Die Ergebnisse vergleichen die getestete Konfiguration mit Serving ausschließlich über HBM; sie belegen nicht, dass diese Konfiguration jeder anderen Cache-Architektur überlegen ist.
Offene Traces machen den Vergleich aussagekräftiger
WEKAs Open-Source-Projekt kvlab erfasst und reproduziert die Struktur von Agentensitzungen einschließlich zeitlicher Abläufe und Mustern der Cache-Wiederverwendung, ohne die ursprünglichen Gesprächs- oder Quellcodeinhalte zu verbreiten. Der Loader ist in den AIPerf-Werkzeugen von NVIDIA dokumentiert. In der Ankündigung wird außerdem die Integration in den AgentX-Benchmark von SemiAnalysis genannt.
Das Abbilden von Pausen, länger werdenden Verläufen und damit verbundenen Agentenaktivitäten macht den Cache-Druck sichtbar, der bei einer Folge nicht zusammenhängender synthetischer Prompts unbemerkt bliebe. Solche Replays messen das Serving-Verhalten; für sich genommen belegen sie nicht, ob ein Agent eine geschäftliche Aufgabe korrekt abgeschlossen hat.
Für Unternehmen besteht der zentrale Beitrag von der Kennzahl für die Wirtschaftlichkeit von Inferenz in einer klareren Definition von Erfolg: nützliche Antworten in der erforderlichen Qualität und Geschwindigkeit und innerhalb der verfügbaren Ressourcen. Wenn Agenten mehr Kontext verarbeiten und länger laufen, wird die Auslastung einer GPU zur bloßen Ausgangsbeobachtung. Wirtschaftlich entscheidend ist die Arbeit, die beim Kunden ankommt.












