KI-Modelle und Plattformen
Supermicro stellt gemeinsamen KV-Cache-Speicher für KI mit langem Kontext vor
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Supermicro hat eine Speicherlösung für den KV-Cache angekündigt, die das Unternehmen gemeinsam mit IBM und NVIDIA entwickelt hat. Sie soll am 5. November 2026 vorgestellt werden und wiederverwendbaren Kontext für KI-Inferenz aus dem GPU-Speicher in einen gemeinsam genutzten Speicher verlagern. Nach Angaben der Unternehmen wurde in gemeinsamen Tests bei einer Eingabeaufforderung mit 130.000 Token die Zeit bis zum ersten Token um bis zu das 56-Fache verkürzt.
Das Angebot kombiniert Petascale-All-Flash-Speicherserver von Supermicro mit AMD-EPYC-9005-Prozessoren, der Software IBM Storage Scale, dem Inferenz-Framework Dynamo von NVIDIA und der Ethernet-Netzwerktechnik Spectrum-X. Es richtet sich an Anwendungen mit mehreren Interaktionsrunden und agentenbasierte Anwendungen, Programmierassistenten, multimodale KI sowie Retrieval-Augmented Generation mit langem Kontext. Große Codebasen, Dokumente, Bilder und Gesprächsverläufe können mehr Schlüssel-Wert-Zustände erzeugen, als im GPU- und CPU-Speicher vorgehalten werden können.
Kontext über mehrere Anfragen hinweg wiederverwenden
Beim Prefill wird eine tokenisierte Eingabeaufforderung in die intermediären Schlüssel-Wert-Zustände umgewandelt, die das Modell verwendet. Werden diese Zustände dauerhaft gespeichert, können spätere Anfragen den Kontext wiederverwenden, statt ihn erneut zu berechnen. Die Architektur bietet eine hochverfügbare Speicherebene, auf die GPU-Knoten und Cluster gemeinsam zugreifen können, und ermöglicht außerdem eine unterbrechungsfreie Erweiterung der Cache-Kapazität.
Dynamo ergänzt ein cachebewusstes Routing, trennt Prefill und Dekodierung und lagert zwischengespeicherte Blöcke mithilfe des KV Block Manager und der Übertragungsbibliothek NIXL aus. IBM Storage Scale Erasure Coding Edition stellt die gemeinsam genutzte G4-Speicherebene in der Speicherhierarchie von NVIDIA bereit.
Benchmark-Ergebnisse und Testbedingungen
Eine am 5. Juni 2026 veröffentlichte und zuletzt am 20. August 2026 aktualisierte Referenzarchitektur von IBM Redbooks weist bei 130.000 Token eine Dauer von 32,14 Sekunden für die erneute Berechnung auf der GPU aus, gegenüber 0,570 Sekunden bei Verwendung des speichergestützten Caches. Diese bereits vorliegenden Messwerte bilden die Grundlage für die Einführung und stammen nicht aus einer neu veröffentlichten Studie vom November.
Bei einem separaten Durchlauf mit 200 Anfragen wurden 28 gleichzeitige Verbindungen verwendet. Die Anfragen stammten aus einem Pool von 100 unterschiedlichen Eingabeaufforderungen mit insgesamt 24 Millionen Token und 825 GB KV-Cache-Daten. Laut Redbook stieg der Durchsatz von 0,19 auf 4,26 Anfragen pro Sekunde, während die gesamte Verarbeitungszeit von 1.048,56 auf 46,94 Sekunden sank. Der Cache war anfangs leer, sodass der Durchschnitt des gesamten Durchlaufs auch eine Kaltstartphase umfasst, in der sich die Wiederverwendung erst aufbaute.
Bei einem Test mit konkurrierender Netzwerklast erzeugten vier weitere Clients einen konkurrierenden Netzwerk-E/A-Datenverkehr von 200 GB/s. Das System mit Cache hielt einen Durchsatz von 3,6 Anfragen pro Sekunde aufrecht und verarbeitete 200 Anfragen in 55,56 Sekunden. Laut Redbook entspricht dies einem um 18 % geringeren Durchsatz als beim Cache-Ergebnis unter unbelasteten Netzwerkbedingungen.
Alle Inferenzmessungen wurden mit einem einzelnen GPU-Clientknoten von Supermicro mit vier NVIDIA RTX PRO 6000 GPUs durchgeführt, der mit einem Petascale-Speichercluster aus acht Knoten verbunden war. Der Software-Stack umfasste Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf und das Modell openai/gpt-oss-120b. Cache-Ebenen im GPU-Speicher und im System-DRAM waren deaktiviert, um die gemeinsam genutzte G4-Ebene isoliert zu testen.
Netzwerkreserven und Dimensionierung der Bereitstellung
Drei Spectrum-X-SN5600-Switches bildeten das Spine-Leaf-Netzwerk des Tests. Laut Redbook betrug die Bandbreite auf der Clientseite bis zu 80 GB/s, während das Speichersystem mit acht Knoten einen Lesedurchsatz von bis zu 315 GB/s erreichte. Damit war die clientseitige Netzwerkanbindung der begrenzende Faktor der Konfiguration und nicht die volle Lesekapazität der Speicherebene.
Die Dimensionierungsbeispiele im Redbook sehen für kleine Proof-of-Concept-Bereitstellungen vier Speicherknoten, für die getestete mittlere Konfiguration acht und für große KI-Fabriken mindestens 16 vor. Die passende Auslegung hängt von Kapazität, Bandbreite, Gleichzeitigkeit, Modellgröße und Arbeitslast ab. Supermicro zufolge können die Rack-Integration ab Werk und die Bereitstellungsdienste vor Ort die Bereitstellungszeit von Wochen auf Tage verkürzen.
Mit der Einführung wird eine zuvor dokumentierte und gemeinsam validierte Architektur für die Bereitstellung gebündelt. Die erzielten Vorteile gelten jedoch für ein bestimmtes Modell, eine bestimmte Mischung von Eingabeaufforderungen, ein bestimmtes Maß an Gleichzeitigkeit und ein bestimmtes Netzwerk. Entscheidend für die Bereitstellung ist, ob Speicherkapazität und Client-Bandbreite auf den tatsächlichen Bedarf an Kontextwiederverwendung abgestimmt sind: Zusätzliche Reserven beim Lesedurchsatz des Speichers verbessern die Inferenz nicht, wenn das Client-Netzwerk sie nicht übertragen kann.
