ARIA wählt optische Server von Lumai für Tests zur KI-Inferenz im Rack-Maßstab aus

Lumai bringt seine optische KI-Hardware in eine neue Evaluierungsumgebung: das Labor für skalierbare Inferenz, das von der Advanced Research and Invention Agency des Vereinigten Königreichs (ARIA) unterstützt wird. Das Labor plant, Inferenzserver vom Typ Lumai Iris als erste Plattform für optisches Rechnen einzusetzen. So können Forschende die Architektur im Rack-Maßstab in einer kommerziellen Rechenzentrumsumgebung testen.

Das von CommonAI CIC betriebene Labor soll eine schwierige Lücke bei neuartiger KI-Hardware schließen: Einen neuen Prozessor vorzuführen, ist das eine; ihn als Teil eines integrierten Systems mit echten Modellen und den üblichen Anforderungen an Stromversorgung, Kühlung und Racks zum Laufen zu bringen, etwas ganz anderes.

Die Ankündigung knüpft an die Einführung von Iris Nova im April an. Der nächste Schritt ist eine Evaluierung mit mehreren Knoten in einer öffentlich geförderten Testumgebung – und nicht die Veröffentlichung eines abgeschlossenen, unabhängigen Benchmarks, der Lumais zentrale Effizienzbehauptungen belegt.

Matrixberechnungen mit Licht durchführen

Lumai, eine 2021 gegründete Ausgründung der Universität Oxford, entwickelt eine hybride optische und digitale Architektur. Die optische Recheneinheit ist auf die umfangreichen mathematischen Operationen ausgelegt, die bei der KI-Inferenz zum Einsatz kommen, während elektronische Komponenten weiterhin die übrigen Systemfunktionen übernehmen.

In der technischen Beschreibung des Unternehmens werden Informationen in Lichtstrahlen codiert und mithilfe optischer Komponenten im dreidimensionalen Raum verarbeitet. Ziel ist es, durch die Ausbreitung des Lichts zahlreiche mathematische Operationen parallel auszuführen, anstatt jede Berechnung durch das Schalten von Transistoren vorzunehmen.

Das bedeutet nicht, dass der gesamte Server passiv ist oder keinen Strom verbraucht. Das vollständige System benötigt weiterhin Lichtquellen, Datenumwandlung, Speicher, digitale Verarbeitung und Steuerung. Entscheidend ist die technische Frage, wie viel von der Effizienz der optischen Recheneinheit angesichts dieser zusätzlichen Aufwände erhalten bleibt, wenn tatsächlich ein leistungsfähiges Modell läuft.

Lumai beschreibt eine breite Datenschnittstelle, die den Aufwand für die Datenumwandlung auf große Arbeitslasten verteilen soll, eine dreistufige Speicherarchitektur für den Key-Value-Cache des Modells sowie eine an die Hardware angepasste Quantisierung. Diese Elemente sind praktische Bestandteile der Architektur: Datenübertragung, der Erhalt einer brauchbaren numerischen Genauigkeit und die kontinuierliche Auslastung des Beschleunigers beeinflussen allesamt die Leistung außerhalb einer Labordemonstration.

Warum Lumai auf Prefill setzt

Die Inferenz großer Sprachmodelle besteht aus zwei klar voneinander abgegrenzten Phasen. Beim Prefill verarbeitet das System die Eingabe und erstellt den internen Zustand, der für die Antwortgenerierung benötigt wird. Beim Decoding erzeugt es die Ausgabetokens Schritt für Schritt und greift dabei wiederholt auf die Modellgewichte und den zwischengespeicherten Kontext zu.

Beim Prefill dominieren häufig umfangreiche Matrixoperationen, während das Decoding durch die Speicherbandbreite begrenzt sein kann, insbesondere bei kleineren Batch-Größen. Das Verhältnis verschiebt sich je nach Modellgröße, Promptlänge, Batch-Verarbeitung und Konfiguration des Inferenzdienstes. Lumai setzt darauf, die rechenintensive Phase gezielt zu optimieren, statt die gesamte Verarbeitungskette mit einem einzigen Prozessortyp zu verbessern.

Die Produktdokumentation zu Iris ordnet den optischen Beschleuniger in heterogene Rechensysteme ein, in denen er beispielsweise als Prefill-Prozessor neben auf das Decoding optimierter Hardware eingesetzt werden kann. Lumai zufolge unterstützt Iris Nova Llama-Modelle mit 8 Milliarden und 70 Milliarden Parametern und steht für Evaluierungen in Rechenzentren zur Verfügung. Die Produktfamilie ist für standardmäßige Rack-Infrastruktur und Luftkühlung ausgelegt.

„Der Betrieb eines Systems mit mehreren Knoten in einem kommerziellen Rechenzentrum zeigt, ob neue Rechenarchitekturen für den praktischen Einsatz bereit sind“, sagte Xianxin Guo, Mitgründer und CEO von Lumai. Bei der Arbeit mit ARIA steht diese Frage der Systemintegration im Mittelpunkt der nächsten Phase.

Eine Testumgebung für vollständige Systeme

ARIA ist eine staatliche britische Förderagentur für Forschung und Entwicklung, die ambitionierte Technologien mit potenziellem gesellschaftlichem Nutzen unterstützt. Ihr Programm „Scaling Compute“ untersucht Alternativen zu etablierten Rechenansätzen, darunter neue Rechenprimitive, Netzwerktechnologien und Systemdesign.

Das Labor für skalierbare Inferenz wird von ARIA mit 50 Millionen £ unterstützt. ARIA beschreibt es als eine Reihe strukturierter Pilotprojekte auf Rack-Ebene, bei denen jeweils eine noch nicht bewährte Technologie in ein einsatzfähiges System integriert wird, auf dem Endnutzer Modelle ausführen können. Ziel ist es, die Leistung vollständiger Systeme mit kommerziellen Alternativen zu vergleichen und rasch Verbesserungen vorzunehmen. Alle sechs Monate ist ein neues Rack geplant.

CommonAI, eine gemeinnützige Mitgliederorganisation mit Sitz in Cambridge, die das Labor betreibt, bringt Unternehmen, öffentliche Einrichtungen und akademische Beteiligte zur gemeinsamen Entwicklungsarbeit zusammen. Ihr Programmkonzept sieht mehr als fünf Systeme auf Rack-Ebene vor und betont die unabhängige Validierung, damit neue Hardware ihre tatsächliche Leistung im Betrieb unter Beweis stellen kann.

Diese Struktur ist wichtig, denn ein Beschleuniger kann bei einer isolierten Operation gut abschneiden, aber einen geringeren Vorteil bieten, sobald Datenbewegungen, Planung, Softwareunterstützung und der übrige Teil der Inferenzverarbeitung berücksichtigt werden. Eine gemeinsam genutzte Testumgebung kann dabei helfen, sowohl die Vorteile als auch die Engpässe sichtbar zu machen.

Was die Effizienzbehauptungen aussagen – und was nicht

Lumai zufolge hat die Architektur das Potenzial, den Stromverbrauch von Rechenzentren um bis zu 90 % zu senken und die Gesamtbetriebskosten auf etwa ein Zehntel der Kosten herkömmlicher GPU-Architekturen zu reduzieren. Auf seiner Website beschreibt das Unternehmen einen Fahrplan zu einer 50-mal höheren Leistung. In der Mitteilung wird unabhängig davon von einer mindestens 16-mal höheren Energieeffizienz pro Inferenz berichtet, wenn optisches Prefill mit silikonbasiertem Decode kombiniert wird.

Diese Zahlen beziehen sich auf unterschiedliche Vergleiche und sollten weder als austauschbare Messgrößen noch als bereits unabhängig von ARIA bestätigte Ergebnisse betrachtet werden. Die Ankündigung enthält weder eine einheitliche Benchmark-Konfiguration noch einen Vergleich der Modellqualität oder eine veröffentlichte Ergebnismenge auf Rack-Ebene, anhand derer sich die Leistungssteigerungen für kommerzielle Workloads belegen ließen.

Die Evaluierung des Labors ist daher die wesentliche Entwicklung. Aussagekräftige Messwerte wären unter anderem der Energieverbrauch pro abgeschlossener Anfrage, die Zeit bis zum ersten Token, der anhaltende Ausgabedurchsatz, die Modellgenauigkeit und die Kosten für den Betrieb des Gesamtsystems. Für aussagekräftige Vergleiche müssen Modell, Kontextlängen, Annahmen zur Stapelverarbeitung und Serviceanforderungen identisch sein.

Für das Bestreben des Vereinigten Königreichs, die heimischen KI-Kapazitäten trotz begrenzter Strombudgets auszubauen, könnte ein erfolgreiches optisches System eine weitere Rechenoption bieten. Der Einsatz von Lumai ist ein Schritt hin dazu, diese Möglichkeit unter kommerziellen Bedingungen zu erproben. Ob sich der Vorteil in niedrigeren Betriebskosten für Inferenzdienste im großen Maßstab niederschlägt, hängt von den Erkenntnissen ab, die die Evaluierung zum Gesamtsystem liefert.