Phillip Burr, Head of Product at Lumai – Intervista di Serie

Phillip Burr è il capo del prodotto di Lumai, con oltre 25 anni di esperienza nella gestione dei prodotti a livello globale, nel go-to-market e nei ruoli di leadership all’interno di aziende leader nel settore dei semiconduttori e della tecnologia, e un curriculum dimostrato di costruzione e scalabilità di prodotti e servizi.

Lumai è un’azienda di tecnologia avanzata con sede nel Regno Unito che sviluppa processori di calcolo ottico 3D per accelerare i carichi di lavoro dell’intelligenza artificiale. Eseguendo moltiplicazioni matriciali vettoriali utilizzando fasci di luce in tre dimensioni, la loro tecnologia offre fino a 50 volte le prestazioni e un consumo di energia inferiore del 90% rispetto agli acceleratori basati su silicio tradizionali. Ciò la rende particolarmente adatta per i compiti di inferenza dell’IA, tra cui i grandi modelli linguistici, riducendo notevolmente i costi energetici e l’impatto ambientale.

Qual è stata l’ispirazione alla fondazione di Lumai e come l’idea è evoluta dalla ricerca presso l’Università di Oxford in un’impresa commerciale?

La scintilla iniziale è stata accesa quando uno dei fondatori di Lumai, il dottor Xianxin Guo, ha ricevuto una borsa di studio di ricerca 1851 presso l’Università di Oxford. Gli intervistatori hanno capito il potenziale del calcolo ottico e hanno chiesto se Xianxin avrebbe considerato brevetti e la creazione di un’azienda se la sua ricerca fosse stata di successo. Ciò ha fatto scattare la mente creativa di Xianxin e, quando lui e uno degli altri co-fondatori di Lumai, il dottor James Spall, hanno dimostrato che utilizzare la luce per eseguire il calcolo al cuore dell’IA poteva sia aumentare notevolmente le prestazioni dell’IA che ridurre l’energia, il palco era pronto. Sapevano che l’hardware dell’IA basato solo su silicio esistente (e ancora oggi) fatica a migliorare le prestazioni senza un aumento significativo di potenza e costo e, quindi, se potevano risolvere questo problema utilizzando il calcolo ottico, potevano creare un prodotto che i clienti desideravano. Hanno portato questa idea a alcuni venture capitalist che li hanno sostenuti per fondare Lumai. Lumai ha recentemente chiuso il suo secondo round di finanziamento, raccogliendo oltre 10 milioni di dollari e portando altri investitori che credono anche che il calcolo ottico possa continuare a scalare e soddisfare la crescente domanda di prestazioni dell’IA senza aumentare la potenza.

Ha avuto una carriera impressionante in Arm, indie Semiconductor (INDI ) e altro – cosa l’ha portata a unirsi a Lumai a questo stadio?

La risposta breve è il team e la tecnologia. Lumai ha un team impressionante di esperti di ottica, apprendimento automatico e data center, provenienti da aziende come Meta, Intel (INTC ), Altera, Maxeler, Seagate e IBM (insieme alla mia esperienza in Arm, indie, Mentor Graphics e Motorola). Sapevo che un team di persone straordinarie così focalizzate sulla risoluzione della sfida di ridurre i costi dell’inferenza dell’IA poteva fare cose incredibili.

Credo fermamente che il futuro dell’IA richieda nuove, innovative scoperte nel campo del calcolo. La promessa di poter offrire 50 volte le prestazioni del calcolo dell’IA, nonché ridurre il costo dell’inferenza dell’IA a 1/10 rispetto alle soluzioni odierne, era un’opportunità troppo buona per essere persa.

Quali sono stati alcuni dei primi sfidi tecnici o commerciali che il team di fondazione ha affrontato nel passaggio da una scoperta di ricerca a un’azienda pronta al prodotto?

La scoperta di ricerca ha dimostrato che l’ottica poteva essere utilizzata per la moltiplicazione matriciale vettoriale rapida e molto efficiente. Nonostante i progressi tecnici, la sfida più grande è stata convincere le persone che Lumai poteva avere successo laddove altre startup di calcolo ottico avevano fallito. Abbiamo dovuto spendere del tempo per spiegare che l’approccio di Lumai era molto diverso e che, invece di affidarsi a un singolo chip 2D, utilizzavamo ottica 3D per raggiungere livelli di scala ed efficienza. Ci sono naturalmente molti passaggi per andare dalla ricerca di laboratorio alla tecnologia che può essere distribuita su larga scala in un data center. Abbiamo riconosciuto molto presto che la chiave del successo era portare ingegneri che hanno esperienza nello sviluppo di prodotti ad alto volume e nei data center. Un’altra area è il software: è essenziale che i framework e i modelli di intelligenza artificiale standard possano trarre vantaggio dal processore di Lumai e che forniamo gli strumenti e i framework per rendere ciò il più semplice possibile per gli ingegneri software di intelligenza artificiale.

La tecnologia di Lumai si dice utilizzi la moltiplicazione matriciale vettoriale ottica 3D. Può spiegarla in termini semplici per un pubblico generale?

I sistemi di intelligenza artificiale devono eseguire molti calcoli matematici chiamati moltiplicazione matriciale vettoriale. Questi calcoli sono il motore che alimenta le risposte dell’IA. In Lumai, facciamo ciò utilizzando la luce invece dell’elettricità. Ecco come funziona:

1. codifichiamo le informazioni in fasci di luce
2. questi fasci di luce viaggiano attraverso lo spazio 3D
3. la luce interagisce con lenti e materiali speciali
4. queste interazioni completano l’operazione matematica

Utilizzando tutte e tre le dimensioni dello spazio, possiamo elaborare più informazioni con ogni fascio di luce. Ciò rende il nostro approccio molto efficiente, riducendo l’energia, il tempo e il costo necessari per eseguire i sistemi di intelligenza artificiale.

Quali sono i principali vantaggi del calcolo ottico rispetto ai GPU e alle soluzioni fotoniche integrate tradizionali basate su silicio?

Poiché il tasso di avanzamento della tecnologia del silicio si è notevolmente rallentato, ogni passo avanti nelle prestazioni di un processore di intelligenza artificiale basato solo su silicio (come una GPU) comporta un aumento significativo di potenza. Le soluzioni basate solo su silicio consumano una quantità incredibile di potenza e sono alla ricerca di rendimenti decrescenti, il che le rende incredibilmente complesse e costose. Il vantaggio dell’utilizzo dell’ottica è che, una volta nel dominio ottico, c’è praticamente nessun consumo di potenza. L’energia viene utilizzata per entrare nel dominio ottico, ma ad esempio nel processore di Lumai possiamo raggiungere oltre 1.000 operazioni di calcolo per ogni fascio di luce, ogni singolo ciclo, rendendolo molto efficiente. Questa scalabilità non può essere raggiunta utilizzando la fotonica integrata a causa di vincoli di dimensioni fisiche e rumore del segnale, con il numero di operazioni di calcolo della soluzione silicon-fotonica solo a 1/8 di ciò che Lumai può raggiungere oggi.

Come il processore di Lumai raggiunge un’inferenza quasi senza ritardo e perché è un fattore così critico per i carichi di lavoro di intelligenza artificiale moderni?

Sebbene non affermeremmo che il processore di Lumai offra un’inferenza a zero ritardo, esegue un’operazione di moltiplicazione matriciale vettoriale molto grande (1024 x 1024) in un solo ciclo. Le soluzioni basate solo su silicio dividono generalmente una matrice in matrici più piccole, che vengono elaborate passo dopo passo e poi i risultati devono essere combinati. Ciò richiede tempo e comporta un uso maggiore di memoria e energia. Ridurre il tempo, l’energia e il costo dell’elaborazione dell’IA è fondamentale per consentire a più aziende di trarre vantaggio dall’IA e per abilitare l’IA avanzata nel modo più sostenibile.

Posso guidarla attraverso il modo in cui il fattore di forma PCIe-compatibile si integra con l’infrastruttura dei data center esistente?

Il processore di Lumai utilizza schede con fattore di forma PCIe insieme a un processore CPU standard, all’interno di uno scaffale standard da 4U. Stiamo lavorando con una serie di fornitori di attrezzature per data center per integrare il processore di Lumai con le loro attrezzature. Utilizziamo interfacce di rete standard, software standard, ecc. in modo che il processore di Lumai appaia esternamente come qualsiasi altro processore di data center.
L’utilizzo di energia dei data center è una preoccupazione globale in crescita. Come si posiziona Lumai come soluzione sostenibile per l’elaborazione dell’IA?

Il consumo di energia dei data center sta aumentando a un ritmo allarmante. Secondo un rapporto del Lawrence Berkeley National Laboratory, il consumo di energia dei data center negli Stati Uniti è previsto triplicare entro il 2028, consumando fino al 12% della potenza del paese. Alcuni operatori di data center stanno considerando l’installazione di energia nucleare per fornire l’energia necessaria. L’industria deve guardare a diversi approcci all’IA e crediamo che l’ottica sia la risposta a questa crisi energetica.

Posso spiegare come l’architettura di Lumai evita i collo di bottiglia di scalabilità degli approcci di silicio e fotonicità attuali?

Le prestazioni del primo processore di Lumai sono solo l’inizio di ciò che è raggiungibile. Ci aspettiamo che la nostra soluzione continui a fornire enormi salti nelle prestazioni: aumentando le velocità dell’orologio ottico e le larghezze dei vettori, tutto senza un aumento corrispondente nel consumo di energia. Nessun’altra soluzione può raggiungere questo. Gli approcci basati solo su silicio continueranno a consumare sempre più costo e potenza per ogni aumento delle prestazioni. La fotonica integrata non può raggiungere la larghezza del vettore necessaria e quindi le aziende che stavano guardando alla fotonica integrata per l’elaborazione dei data center hanno spostato l’attenzione su altre parti del data center, ad esempio l’interconnessione ottica o l’interruzione ottica.

Qual è il ruolo che vede il calcolo ottico svolgere nel futuro dell’IA – e più in generale, nel calcolo?

L’ottica nel suo complesso svolgerà un ruolo enorme nei data center in futuro – dall’interconnessione ottica, alla rete ottica, all’interruzione ottica e, naturalmente, all’elaborazione dell’IA ottica. Le richieste che l’IA sta ponendo ai data center sono il principale driver di questo passaggio all’ottica. L’interconnessione ottica abiliterà connessioni più veloci tra i processori di IA, essenziali per i grandi modelli di IA. L’interruzione ottica abiliterà una rete più efficiente e l’elaborazione ottica abiliterà un’elaborazione dell’IA più veloce, più efficiente in termini di energia e a basso costo. Collettivamente, aiuteranno a consentire un’IA più avanzata, superando le sfide della riduzione della scalabilità del silicio sul lato del calcolo e delle limitazioni di velocità del rame sul lato dell’interconnessione.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Lumai.