ARIA vybírá optické servery Lumai pro testování inferování AI v měřítku racku

Lumai přináší svůj optický hardware pro AI do nového prostředí, kde bude podroben hodnocení: do laboratoře pro škálování inferování, kterou podporuje britská Agentura pro pokročilý výzkum a vynálezy (Advanced Research and Invention Agency, ARIA). Laboratoř plánuje nasadit inferenční servery Lumai Iris jako svou první platformu využívající optické výpočty a umožnit tak výzkumníkům testovat tuto architekturu v měřítku racku v komerčním datovém centru.

Laboratoř provozuje CommonAI CIC a jejím cílem je překlenout náročnou mezeru, před kterou stojí nový hardware pro AI: předvést nový procesor je jedna věc, ale zajistit, aby fungoval jako součást integrovaného systému se skutečnými modely a běžnými nároky na napájení, chlazení a racky, je věc druhá.

Oznámení navazuje na dubnové uvedení Iris Nova. Novým krokem je vícero uzlové hodnocení prostřednictvím veřejně podporovaného testovacího prostředí, nikoli zveřejnění dokončeného nezávislého benchmarku, který by potvrzoval hlavní tvrzení společnosti Lumai o energetické účinnosti.

Využití světla k provádění maticových výpočtů

Lumai, spin-off Oxfordské univerzity založený v roce 2021, vyvíjí hybridní optickou a digitální architekturu. Jeho optický výpočetní modul se zaměřuje na rozsáhlé matematické operace používané při inferování AI, zatímco elektronické součásti nadále zajišťují okolní systémové funkce.

Podle technického popisu společnosti se informace zakódují do světelných svazků a zpracovávají pomocí optických součástí v trojrozměrném prostoru. Cílem je provádět prostřednictvím šíření světla souběžně velké množství matematických operací, místo aby se každý výpočet uskutečňoval spínáním tranzistorů.

To však neznamená, že celý server funguje pasivně nebo bez napájení. Celý systém stále potřebuje zdroje světla, převod dat, paměť, digitální zpracování i řízení. Podstatnou technickou otázkou je, jaká část účinnosti optického výpočetního modulu zůstane zachována po započtení režie těchto okolních prvků při skutečném provozu užitečného modelu.

Lumai popisuje široké datové rozhraní, jehož cílem je rozložit režii spojenou s převodem na velké pracovní úlohy, třístupňovou paměťovou architekturu pro mezipaměť klíč-hodnota modelu a kvantizaci zohledňující hardware. Jde o praktické součásti architektury: přesun dat, zachování použitelné číselné přesnosti a zajištění dostatečného přísunu úloh pro akcelerátor ovlivňují výkon i mimo laboratorní demonstraci.

Proč se Lumai zaměřuje na fázi prefill

Inferování velkých jazykových modelů má dvě odlišné fáze. Během fáze prefill systém zpracuje vstup a vytvoří vnitřní stav potřebný k vygenerování odpovědi. Ve fázi dekódování pak postupně vytváří výstupní tokeny a opakovaně přistupuje k vahám modelu i ke kontextu uloženému v mezipaměti.

Ve fázi prefill obvykle převažují rozsáhlé maticové operace, zatímco dekódování může být omezeno propustností paměti, zejména při menších velikostech dávky. Rovnováha se mění podle velikosti modelu, délky výzvy, dávkování a konfigurace obsluhy požadavků. Lumai se zaměřuje na výpočetně náročnou fázi, místo aby optimalizovala celý řetězec pomocí jediného typu procesoru.

Dokumentace k produktům Iris popisuje optický akcelerátor jako součást heterogenních výpočetních systémů, kde může sloužit ke zpracování fáze prefill vedle hardwaru optimalizovaného pro dekódování. Podle společnosti Lumai podporuje Iris Nova modely Llama s 8 miliardami a 70 miliardami parametrů a je k dispozici k vyhodnocení v datových centrech. Produktová řada je navržena pro standardní rackovou infrastrukturu a vzduchové chlazení.

„Provoz vícero uzlového systému v komerčním datovém centru ukáže, zda jsou nové výpočetní architektury připraveny na skutečné nasazení,“ uvedl Xianxin Guo, spoluzakladatel a generální ředitel společnosti Lumai. Práce pro ARIA staví tuto otázku integrace do centra další fáze.

Testovací prostředí pro kompletní systémy

ARIA je britská veřejná agentura financující výzkum a vývoj, která podporuje ambiciózní technologie s potenciálním přínosem pro společnost. Její program Scaling Compute zkoumá alternativy k zavedeným výpočetním přístupům, včetně nových výpočetních principů, síťových technologií a návrhu systémů.

Laboratoř Scaling Inference Lab získala od ARIA podporu ve výši 50 milionů liber. ARIA ji popisuje jako sérii strukturovaných pilotních projektů na úrovni racků, z nichž každý začleňuje neověřenou technologii do nasaditelného systému, na němž mohou koncoví uživatelé spouštět modely. Cílem je porovnávat výkon celého systému s komerčními alternativami a rychle jej opakovaně vylepšovat; nový rack se plánuje každých šest měsíců.

Nezisková členská organizace CommonAI se sídlem v Cambridge, která laboratoř provozuje, sdružuje společnosti, veřejné instituce a akademické účastníky ke společnému technickému vývoji. Její přehled programu popisuje více než pět systémů na úrovni racků a zdůrazňuje nezávislé ověřování, které má novému hardwaru pomoci prokázat skutečný provozní výkon.

Tato struktura je důležitá, protože akcelerátor může dobře zvládat izolovanou operaci, ale po započtení přesunu dat, plánování, softwarové podpory a zbytku řetězce obsluhy požadavků může být jeho přínos menší. Sdílené testovací prostředí může pomoci odhalit výhody i úzká místa.

Co tvrzení o účinnosti dokazují – a co nikoli

Lumai uvádí, že tato architektura by mohla snížit spotřebu energie datových center až o 90 % a celkové náklady na vlastnictví stlačit přibližně na desetinu nákladů běžných architektur GPU. Na jejím webu je popsán plán směřující k padesátinásobnému zvýšení výkonu. Tisková zpráva samostatně uvádí nejméně šestnáctinásobně vyšší energetickou účinnost na jednu inferenci při kombinaci optického předzpracování vstupních dat (prefill) s dekódováním založeným na křemíku.

Tyto údaje se vztahují k různým srovnáním, a nelze je proto považovat za vzájemně zaměnitelné ukazatele ani za výsledky, které by ARIA již nezávisle ověřila. Oznámení neuvádí společnou konfiguraci benchmarků, srovnání kvality modelů ani zveřejněné výsledky na úrovni racku, které by potvrzovaly tyto přínosy napříč komerčními úlohami.

Hodnocení laboratoře je proto tím podstatným krokem vpřed. Mezi užitečné ukazatele by patřila spotřeba energie na dokončený požadavek, doba do vygenerování prvního tokenu, dlouhodobě udržitelná propustnost generování výstupu, přesnost modelu a náklady na provoz celého systému. Aby bylo možné výsledky smysluplně porovnat, je nutné použít stejný model, délky kontextu, předpoklady pro dávkové zpracování i požadavky na službu.

Pro ambici Spojeného království rozšiřovat domácí kapacity v oblasti AI při omezených energetických rozpočtech by úspěšný optický systém mohl představovat další výpočetní možnost. Nasazení systému Lumai je krokem k ověření této možnosti v komerčních podmínkách. Zda se jeho výhoda promítne do nižších nákladů na poskytování služeb ve velkém měřítku, bude záviset na důkazech o fungování celého systému, které toto hodnocení přinese.