ARIA selecteert optische servers van Lumai voor tests met AI-inferentie op rackniveau

Lumai brengt zijn optische AI-hardware naar een nieuwe testomgeving: het Lab voor het opschalen van inferentie, gesteund door de Britse Advanced Research and Invention Agency (ARIA). Het lab wil inferentieservers van Lumai Iris inzetten als eerste platform voor optische rekenkracht. Zo kunnen onderzoekers de architectuur op rackniveau testen in een commercieel datacenter.

Het lab wordt geleid door CommonAI CIC en moet een lastige kloof overbruggen voor opkomende AI-hardware: een innovatieve processor demonstreren is één ding, maar die laten functioneren als onderdeel van een geïntegreerd systeem, met echte modellen en gangbare eisen voor stroomvoorziening, koeling en racks, is iets heel anders.

De aankondiging bouwt voort op de lancering van Iris Nova in april. De volgende stap is een evaluatie met meerdere nodes via een publiek gesteunde testomgeving, geen uitgave van een afgeronde, onafhankelijke benchmark die de opvallende efficiëntieclaims van Lumai bewijst.

Licht gebruiken voor matrixberekeningen

Lumai, een spin-off van Oxford University die in 2021 is opgericht, ontwikkelt een hybride optische en digitale architectuur. De optische engine is bedoeld voor de intensieve wiskundige bewerkingen die bij AI-inferentie worden gebruikt, terwijl elektronische componenten de overige systeemfuncties blijven afhandelen.

In de technische beschrijving van het bedrijf wordt informatie gecodeerd in lichtbundels en verwerkt met optische componenten in een driedimensionale ruimte. Het doel is om door de voortplanting van licht veel wiskundige bewerkingen parallel uit te voeren, in plaats van elke berekening met schakelende transistors uit te voeren.

Dat betekent niet dat de server als geheel passief of stroomloos is. Het volledige systeem heeft nog steeds lichtbronnen, gegevensconversie, geheugen, digitale verwerking en besturing nodig. De relevante technische vraag is hoeveel van de efficiëntie van de optische engine behouden blijft wanneer die bijkomende kosten worden meegerekend en er daadwerkelijk een bruikbaar model draait.

Lumai beschrijft een brede gegevensinterface die de overhead van conversie over grote workloads moet spreiden, een geheugenontwerp met drie lagen voor de key-valuecache van het model en hardwarebewuste kwantisering. Dit zijn praktische onderdelen van de architectuur: gegevens verplaatsen, bruikbare numerieke precisie behouden en ervoor zorgen dat de accelerator voldoende werk krijgt, beïnvloeden allemaal de prestaties buiten een laboratoriumdemonstratie.

Waarom Lumai zich richt op prefill

Inferentie met grote taalmodellen bestaat uit twee verschillende fasen. Tijdens prefill verwerkt het systeem de invoer en bouwt het de interne toestand op die nodig is om een antwoord te genereren. Tijdens decode produceert het stap voor stap uitvoertokens, waarbij het telkens opnieuw toegang krijgt tot de modelgewichten en de opgeslagen context.

Prefill wordt vaak gedomineerd door grote matrixbewerkingen, terwijl decode beperkt kan worden door de geheugenbandbreedte, vooral bij kleinere batchgroottes. De balans verschuift afhankelijk van de modelgrootte, de promptlengte, de batchverwerking en de configuratie voor het serveren van modellen. Lumai specialiseert zich in de rekenintensieve fase, in plaats van de volledige pijplijn met één type processor te optimaliseren.

De productdocumentatie van Iris plaatst de optische accelerator binnen heterogene computersystemen, waaronder als prefillprocessor naast hardware die is geoptimaliseerd voor decode. Volgens Lumai ondersteunt Iris Nova Llama-modellen met 8 miljard en 70 miljard parameters en is het product beschikbaar voor evaluatie in datacenters. De productfamilie is ontworpen voor standaard rackinfrastructuur en luchtkoeling.

“Wanneer een systeem met meerdere nodes in een commercieel datacenter draait, blijkt of nieuwe rekenarchitecturen klaar zijn voor daadwerkelijke inzet”, aldus Xianxin Guo, medeoprichter en CEO van Lumai. Het werk van ARIA stelt die integratievraag centraal in de volgende fase.

Een testomgeving voor complete systemen

ARIA is een Britse publieke financieringsinstantie voor onderzoek en ontwikkeling die ambitieuze technologieën met mogelijke maatschappelijke voordelen ondersteunt. Het programma Scaling Compute onderzoekt alternatieven voor gevestigde computertechnieken, waaronder nieuwe computationele bouwstenen, netwerken en systeemontwerp.

Het Lab voor het opschalen van inferentie ontvangt £50 miljoen aan steun van ARIA. ARIA omschrijft het als een reeks gestructureerde pilots op rackniveau, die elk een onbewezen technologie integreren in een systeem dat klaar is voor inzet en waarop eindgebruikers modellen kunnen draaien. Het doel is de prestaties van het volledige systeem te vergelijken met commerciële alternatieven en snel verbeteringen door te voeren. Daarbij is elke zes maanden een nieuw rack gepland.

CommonAI, de in Cambridge gevestigde non-profitorganisatie op basis van lidmaatschap die het lab uitvoert, brengt bedrijven, overheidsinstanties en academische deelnemers samen voor gezamenlijke technische ontwikkeling. In het programmaoverzicht worden meer dan vijf systemen op rackniveau beschreven en wordt onafhankelijke validatie benadrukt, zodat opkomende hardware kan aantonen hoe die in de praktijk presteert.

Die opzet is belangrijk, omdat een accelerator goed kan presteren bij een afzonderlijke bewerking, maar uiteindelijk minder voordeel kan opleveren zodra gegevensverplaatsing, planning, softwareondersteuning en de rest van de inferentiepijplijn worden meegerekend. Een gedeelde testomgeving kan zowel de voordelen als de knelpunten aan het licht brengen.

Wat de efficiëntieclaims wel en niet aantonen

Lumai zegt dat de architectuur het stroomverbruik van datacenters met maximaal 90% kan verlagen en de totale eigendomskosten kan terugbrengen tot ongeveer een tiende van die van conventionele GPU-architecturen. Op de website wordt een routekaart beschreven naar 50 keer hogere prestaties. In het persbericht wordt afzonderlijk gemeld dat de energie-efficiëntie per inferentie minstens 16 keer zo hoog is wanneer optische prefill wordt gecombineerd met decodering op basis van silicium.

Deze cijfers hebben betrekking op verschillende vergelijkingen en mogen niet worden opgevat als onderling uitwisselbare maatstaven of als resultaten die al onafhankelijk door ARIA zijn geverifieerd. In de aankondiging ontbreken een gemeenschappelijke benchmarkconfiguratie, een vergelijking van de modelkwaliteit en een gepubliceerde reeks resultaten op rackniveau waarmee de verbeteringen voor commerciële workloads kunnen worden aangetoond.

De evaluatie van het lab is daarom de belangrijkste ontwikkeling. Nuttige metingen zijn onder meer het energieverbruik per voltooide aanvraag, de tijd tot het eerste token, de aanhoudende uitvoerdoorvoer, de nauwkeurigheid van het model en de kosten voor het gebruik van het volledige systeem. Voor zinvolle vergelijkingen zijn hetzelfde model, dezelfde contextlengtes, dezelfde aannames over batching en dezelfde servicevereisten nodig.

Voor de ambitie van het VK om de binnenlandse AI-capaciteit uit te breiden binnen beperkte stroomvoorzieningsbudgetten, kan een succesvol optisch systeem een extra rekenoptie bieden. De inzet van Lumai is een stap in de richting van het testen van die mogelijkheid onder commerciële omstandigheden. Of het voordeel leidt tot lagere kosten voor het aanbieden van inferentiediensten op schaal, hangt af van het bewijs over het volledige systeem dat de evaluatie oplevert.