Rozhovory
Phillip Burr, Head of Product at Lumai – Interview Series
Phillip Burr je Head of Product at Lumai, s více než 25 lety zkušeností v globálním produktovém managementu, go-to-market a leadership rolích u předních polovodičových a technologických společností, a prokázanou historií budování a škálování produktů a služeb.
Lumai je britská deep tech společnost, která vyvíjí 3D optické počítačové procesory pro urychlení umělých inteligencí. Prostřednictvím provádění maticově-vektorových multiplokací pomocí světelných paprsků ve třech dimenzích nabízí jejich technologie až 50x lepší výkon a 90% nižší spotřebu energie ve srovnání s tradičními silikonovými urychlovači. To ji činí zvláště vhodnou pro úkoly AI inference, včetně velkých jazykových modelů, zatímco významně snižuje energetické náklady a environmentální dopad.
Co inspirovalo založení Lumai, a jak se tato myšlenka vyvinula z výzkumu na University of Oxford do komerčního projektu?
Počáteční jiskra byla zapálena, když jeden ze zakladatelů Lumai, Dr. Xianxin Guo, obdržel 1851 Research Fellowship na University of Oxford. Rozhovorci pochopili potenciál optického počítačového zpracování a zeptali se, zda by Xianxin zvažoval patenty a vytvoření společnosti, pokud by jeho výzkum byl úspěšný. To rozžehlo Xianxinovu kreativní mysl a když on, spolu s jedním z dalších spoluzakladatelů Lumai, Dr. Jamesem Spallem, prokázali, že použití světla pro výpočet v srdci AI může dramaticky zvýšit výkon AI a snížit energii, byla scéna nastavena. Věděli, že stávající silikonové AI hardwarové vybavení (a stále je) zápasí se zvýšením výkonu bez významného zvýšení spotřeby energie a nákladů a, proto, pokud by mohli vyřešit tento problém pomocí optického počítačového zpracování, mohli by vytvořit produkt, který zákazníci chtějí. Vzali tuto myšlenku k některým VC, kteří je podpořili při založení Lumai. Lumai nedávno uzavřela druhou fázi financování, získala více než 10 milionů dolarů a přivedla další investory, kteří také věří, že optické počítačové zpracování může dále škálovat a splňovat rostoucí poptávku po AI výkonu bez zvýšení spotřeby energie.
Máte působivou kariéru napříč Arm, indie Semiconductor a dalšími — co vás přimělo připojit se k Lumai v této fázi?
Krátce řečeno, tým a technologie. Lumai má působivý tým odborníků na optiku, strojové učení a datové centrum, kteří přinášejí zkušenosti z firem jako Meta, Intel, Altera, Maxeler, Seagate a IBM (spolu s mými vlastními zkušenostmi z Arm, indie, Mentor Graphics a Motorola). Věděl jsem, že tým výjimečných lidí, kteří se tak soustředí na řešení výzvy snížení nákladů na AI inference, může dosáhnout úžasných věcí.
Pečlivě věřím, že budoucnost AI vyžaduje nové, inovativní průlomy v počítačovém zpracování. Příslib nabízení 50x lepšího AI výpočetního výkonu a také snížení nákladů na AI inference na 1/10 ve srovnání s dnešními řešeními byl prostě příliš dobrou příležitostí, aby se jí nedalo využít.
Jaké byly některé z počátečních technických nebo obchodních výzev, kterým vaše zakládající tým čelil při škálování z průlomu ve výzkumu na produktově připravenou společnost?
Průlom ve výzkumu prokázal, že optika může být použita pro rychlé a velmi efektivní maticově-vektorové násobení. Navzdory technickým průlomům byla největší výzvou přesvědčit lidi, že Lumai může uspět tam, kde selhaly jiné optické počítačové startupy. Museli jsme strávit čas vysvětlováním, že přístup Lumai je velmi odlišný a že místo toho, aby se spoléhali na jeden 2D čip, používají 3D optiku pro dosažení úrovní škálovatelnosti a efektivity. Existuje samozřejmě mnoho kroků, které je třeba podniknout, aby se přešlo z laboratorního výzkumu na technologii, která může být nasazena v měřítku v datovém centru. Brzy jsme si uvědomili, že klíčem k úspěchu je přivedení inženýrů, kteří mají zkušenosti s vývojem produktů ve velkém množství a v datových centrech. Další oblastí je software — je zásadní, aby standardní AI rámce a modely mohly těžit z procesoru Lumai, a že poskytujeme nástroje a rámce pro to, aby to bylo co nejjednodušší pro AI softwarové inženýry.
Lumaiova technologie se má za to, že používá 3D optické maticově-vektorové násobení. Můžete to vysvětlit v jednoduchých termínech pro obecnou veřejnost?
Systémy AI potřebují provádět mnoho matematických výpočtů nazývaných maticově-vektorové násobení. Tyto výpočty jsou motorem, který pohání odpovědi AI. V Lumai děláme to pomocí světla místo elektřiny. Zde je, jak to funguje:
- Kódujeme informace do světelných paprsků
- Tito světelní paprsky procházejí 3D prostorem
- Světlo interaguje s čočkami a speciálními materiály
- Tyto interakce dokončují matematickou operaci
Používáním všech tří dimenzí prostoru můžeme zpracovat více informací s každým světelným paprskem. To činí náš přístup velmi efektivní — snižuje energii, čas a náklady potřebné pro běh systémů AI.
Jaké jsou hlavní výhody optického počítačového zpracování oproti tradičním silikonovým GPU a dokonce i integrované fotonice?
Protože tempo pokroku v silikonové technologii se významně zpomalilo, každý krok vpřed ve výkonu silikonového AI procesoru (jako je GPU) vede k významnému zvýšení spotřeby energie. Silikonová řešení spotřebovávají obrovské množství energie a jsou pronásledovány snižujícími se návraty, což je činí nesmírně složitými a drahými. Výhodou použití optiky je, že jednou v optickém doméně je prakticky spotřebována žádná energie. Energie se používá k vstupu do optického doménu, ale například v procesoru Lumai můžeme dosáhnout více než 1 000 výpočetních operací pro každý světelný paprsek, každý jednotlivý cyklus, což z něj činí velmi efektivní. Tato škálovatelnost nemůže být dosažena pomocí integrované fotoniky kvůli fyzickým omezením velikosti a šumu signálu, s počtem výpočetních operací silikon-fotonického řešení pouze na 1/8 toho, co může Lumai dosáhnout dnes.
Jak procesor Lumai dosahuje téměř nulové latence inference, a proč je to tak kritický faktor pro moderní AI úkoly?
Ačkoli bychom neřekli, že procesor Lumai nabízí nulovou latenci, provede velmi velkou (1024 x 1024) maticově-vektorovou operaci v jednom cyklu. Silikonová řešení obvykle rozdělí matici na menší matice, které jsou zpracovány jednotlivě a poté jsou výsledky kombinovány. To vyžaduje čas a vede k větší spotřebě energie a paměti. Snížení času, energie a nákladů na AI zpracování je kritické pro umožnění více podnikům těžit z AI a pro umožnění pokročilé AI způsobem, který je nejvíce udržitelný.
Můžete nás provést, jak vaše PCIe-kompatibilní formát integruje s existující infrastrukturou datového centra?
Procesor Lumai používá PCIe formát karet spolu se standardním CPU, vše v rámci standardního 4U regálu. Pracujeme s řadou dodavatelů zařízení pro datová centra, aby procesor Lumai integroval s jejich vlastním vybavením. Používáme standardní síťové rozhraní, standardní software atd., aby procesor Lumai vypadat zvenčí jako jakýkoli jiný procesor datového centra.
Použití energie v datových centrech je rostoucí globální obavou. Jak se Lumai позициuje jako udržitelné řešení pro AI výpočet?
Spotřeba energie v datových centrech se zvyšuje rychlou rychlostí. Podle zprávy z Lawrence Berkeley National Laboratory, spotřeba energie v datových centrech v USA se očekává, že se téměř ztrojnásobí do roku 2028, přičemž spotřeba energie dosáhne až 12 % energie země. Některé operátoři datových center zvažují instalaci jaderné energie, aby poskytli energii, která je potřebná. Průmysl musí hledat různé přístupy k AI, a věříme, že optika je odpovědí na tuto energetickou krizi.
Můžete vysvětlit, jak architektura Lumai vyhýbá se škálám úzkých míst stávajících silikonových a fotonických přístupů?
Výkon prvního procesoru Lumai je pouze začátek toho, co je dosažitelné. Očekáváme, že naše řešení bude pokračovat v poskytování obrovských skoků ve výkonu: zvýšením optických hodinových rychlostí a šířek vektorů, vše bez odpovídajícího zvýšení spotřeby energie. Žádné jiné řešení nemůže dosáhnout tohoto. Standardní digitální silikonové přístupy budou pokračovat ve spotřebě více a více nákladů a energie pro každé zvýšení výkonu. Silikonová fotonika nemůže dosáhnout šířky vektoru, která je potřebná, a proto společnosti, které se dívaly na integrovanou fotoniku pro datové centrum compute, se přesunuly, aby řešily jiné části datového centra — například optické interconnecty nebo optické přepínače.
Jakou roli vidíte optické počítačové zpracování hrající v budoucnosti AI — a obecněji, v počítačovém zpracování jako celku?
Optika jako celek bude hrát obrovskou roli v datových centrech — od optických interconnectů, optických sítí, optických přepínačů a samozřejmě optického AI zpracování. Poptávka, kterou AI klade na datové centrum, je klíčovým hnacím motorem tohoto přechodu k optice. Optické interconnecty umožní rychlejší spojení mezi AI procesory, což je nezbytné pro velké AI modely. Optické přepínače umožní efektivnější síťování, a optické počítačové zpracování umožní rychlejší, více energeticky efektivní a méně nákladné AI zpracování. Společně pomohou umožnit ještě pokročilejší AI, překonání výzev zpomalení škálování silikonu na straně zpracování a omezení rychlosti mědi na straně interconnectů.
Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Lumai.
