Lumai představuje optický AI server pro budoucnost inferenze

Lumai oznámila, co popisuje jako významný krok vpřed v oblasti AI infrastruktury: optický počítačový systém schopný běhu billion-parametrových velkých jazykových modelů v reálném čase. Nový systém, nazvaný Iris Nova, signalizuje posun od tradičního zpracování založeného na křemíku směrem k fundamentálně odlišnému přístupu založenému na světle.

Toto oznámení přichází v době, kdy se průmysl AI rychle přechází z fáze školení modelů do jejich nasazení ve velkém měřítku, což klade bezprecedentní tlak na stávající výpočetní infrastrukturu.

Přesahující omezení křemíku

Po mnoho let spoléhal pokrok v oblasti AI silně na pokroky v oblasti křemíkových čipů, zejména GPU. Ale tento model začíná ukazovat známky napětí. Spotřeba energie prudce roste a zlepšení výkonu se stává stále obtížnějším bez významného zvýšení nákladů a energetických požadavků.

Přístup Lumai nahrazuje elektrony fotony. Místo provádění výpočtů prostřednictvím elektrických signálů používá systém světlo k zpracování dat. To umožňuje masivní paralelismus, kdy mohou miliony operací probíhat současně v trojrozměrném prostoru místo plochých křemíkových povrchů.

Podle společnosti může tato architektura dodat významně vyšší propustnost, zatímco sníží spotřebu energie o až 90 % ve srovnání s konvenčními systémy .

Rostoucí tlak na datové centrum

Tímto spuštěním odráží společnost širší průmyslové výzvy. Zátěže AI se rychle rozšiřují, zejména v inference, které zahrnují běh školených modelů v reálných aplikacích.

Datová centra jsou stále více omezena dostupností energie. Globální poptávka po energii pro datové centrum se má zdvojnásobit do konce desetiletí, což nutí operátory hledat netradiční řešení, jako jsou věnovaná generace energie a alternativní zdroje energie .

Současně se škálování tradičního hardwaru stává méně efektivní. Každá nová generace křemíku nabízí.incrementální zlepšení, ale často vyžaduje nesmírně více energie a chlazení.

Lumai позиционирует optické zpracování jako způsob, jak tyto omezení zcela obejít, místo aby je postupně zlepšoval.

Jak Iris Nova funguje

Systém Iris Nova používá hybridní architekturu, která kombinuje optické a digitální komponenty. Optický motor zpracovává jádrové matematické operace, které pohání modely AI, zatímco konvenční digitální systémy spravují software a kontrolní funkce.

Tento design umožňuje systému integrovat se do stávajících prostředí datových center bez nutnosti kompletní přestavby infrastruktury.

Jedním z oblastí, ve kterých je systém zvláště optimalizován, je fáze “prefill” inferenze, kde modely zpracovávají velké množství vstupních dat před generováním odpovědí. Zrychlením této fáze se systém snaží zlepšit celkovou propustnost a efektivitu.

Lumai uvádí, že Iris Nova může běžet modely, jako je Llama 8B a 70B, v reálném čase, což naznačuje, že je schopna zpracovat nasazení ve velkém měřítku, a not only experimentální použití .

Posun směrem k éře inferenze

Toto spuštění odráží širší posun v prioritách AI. Zatímco školení stále větších modelů dominuje titulky, skutečný dopad AI je nyní definován inferencí – jak efektivně lze tyto modely nasadit a škálovat.

Tento posun odhaluje úzká místa, která byla méně viditelná během fáze školení. Zátěže inferenze jsou kontinuální, citlivé na prodlevu a energeticky náročné, což činí efektivitu kritickým faktorem.

Systém Lumai je navržen speciálně pro tuto fázi, zaměřený na propustnost na watt místo surového výpočetního výkonu.

Časný přístup a průmyslové implikace

Server Iris Nova je nyní k dispozici pro vyhodnocení hyperscalers, podniky a výzkumné instituce. Další systémy v řadě Iris, včetně Aura a Tetra, se očekávají, což rozšíří výkon a možnosti nasazení.

Pokud optické zpracování může dodržet své sliby ve velkém měřítku, mohlo by to změnit ekonomiku AI infrastruktury. Nižší spotřeba energie a vyšší efektivita by nejen snížily provozní náklady, ale také řešily rostoucí obavy kolem environmentálního dopadu AI.

Zatímco je ještě třeba vidět, jak rychle bude technologie přijata, oznámení Lumai zdůrazňuje jasný směr: budoucnost AI výpočtu nemusí být postavena pouze na křemíku.