Phillip Burr, responsabile del prodotto presso Lumai – Serie di interviste

Phillip Burr è responsabile dei prodotti presso Lumai, con oltre 25 anni di esperienza nella gestione globale dei prodotti, nell'immissione sul mercato e in ruoli dirigenziali presso importanti aziende di semiconduttori e tecnologia, e una comprovata esperienza nella creazione e nell'ampliamento di prodotti e servizi.

Lumai è un'azienda britannica specializzata in deep tech che sviluppa processori ottici 3D per accelerare i carichi di lavoro dell'intelligenza artificiale. Eseguendo moltiplicazioni matrice-vettore utilizzando fasci di luce in tre dimensioni, la loro tecnologia offre prestazioni fino a 50 volte superiori e un consumo energetico inferiore del 90% rispetto ai tradizionali acceleratori basati su silicio. Questo la rende particolarmente adatta per le attività di inferenza dell'IA, inclusi i modelli linguistici di grandi dimensioni, riducendo al contempo significativamente i costi energetici e l'impatto ambientale.

Cosa ha ispirato la fondazione di Lumai e come si è evoluta l'idea da ricerca dell'Università di Oxford a impresa commerciale?

La scintilla iniziale si accese quando uno dei fondatori di Lumai, il Dr. Xianxin Guo, ottenne una borsa di ricerca nel 1851 presso l'Università di Oxford. Gli intervistatori compresero il potenziale del calcolo ottico e chiesero a Xianxin se avrebbe preso in considerazione brevetti e la creazione di un'azienda se la sua ricerca avesse avuto successo. Questo stimolò la mente creativa di Xianxin e quando lui, insieme a uno degli altri co-fondatori di Lumai, il Dr. James Spall, dimostrarono che l'uso della luce per eseguire i calcoli al centro dell'intelligenza artificiale poteva sia aumentare drasticamente le prestazioni dell'intelligenza artificiale sia ridurre i consumi energetici, il terreno era pronto. Sapevano che l'hardware di intelligenza artificiale basato solo su silicio stava (e sta ancora) faticando ad aumentare le prestazioni senza aumentare significativamente potenza e costi e, quindi, se fossero riusciti a risolvere questo problema utilizzando il calcolo ottico, avrebbero potuto creare un prodotto che i clienti desideravano. Sottoposero l'idea ad alcuni VC che li sostennero per fondare Lumai. Lumai ha recentemente concluso il suo secondo round di finanziamenti, raccogliendo oltre 10 milioni di dollari e attirando altri investitori convinti che l'elaborazione ottica possa continuare a crescere e soddisfare la crescente domanda di prestazioni di intelligenza artificiale senza aumentare la potenza.

Hai avuto una carriera impressionante in Arm, indie Semiconductor e altro ancora: cosa ti ha spinto a unirti a Lumai in questa fase?

La risposta breve è: team e tecnologia. Lumai vanta un team impressionante di esperti di ottica, machine learning e data center, che vanta esperienze maturate in aziende come Meta, Intel, Altera, Maxeler, Seagate e IBM (oltre alla mia esperienza in Arm, indie, Mentor Graphics e Motorola). Sapevo che un team di persone straordinarie, così concentrato sulla sfida di ridurre i costi dell'inferenza AI, avrebbe potuto realizzare risultati straordinari.

Credo fermamente che il futuro dell'IA richieda nuove e innovative innovazioni nell'informatica. La promessa di poter offrire prestazioni di calcolo 50 volte superiori e di ridurre i costi di inferenza dell'IA a un decimo rispetto alle soluzioni odierne era un'opportunità troppo ghiotta per lasciarsela sfuggire.

Quali sono state alcune delle prime sfide tecniche o aziendali che il tuo team fondatore ha dovuto affrontare nel passaggio da una svolta nella ricerca a un'azienda pronta per il prodotto finale?

La svolta nella ricerca ha dimostrato che l'ottica poteva essere utilizzata per moltiplicazioni matrice-vettore rapide ed estremamente efficienti. Nonostante le innovazioni tecniche, la sfida più grande è stata convincere le persone che Lumai poteva avere successo laddove altre startup di elaborazione ottica avevano fallito. Abbiamo dovuto dedicare tempo a spiegare che l'approccio di Lumai era molto diverso e che, invece di affidarci a un singolo chip 2D, utilizzavamo l'ottica 3D per raggiungere i livelli di scalabilità ed efficienza. Ci sono ovviamente molti passaggi per passare dalla ricerca di laboratorio alla tecnologia che può essere implementata su larga scala in un data center. Abbiamo capito fin da subito che la chiave del successo era attrarre ingegneri con esperienza nello sviluppo di prodotti su larga scala e nei data center. L'altro ambito è il software: è essenziale che i framework e i modelli di intelligenza artificiale standard possano beneficiare del processore di Lumai e che noi forniamo gli strumenti e i framework per rendere questo processo il più fluido possibile per gli ingegneri del software di intelligenza artificiale.

Si dice che la tecnologia di Lumai utilizzi la moltiplicazione ottica 3D di matrice-vettore. Puoi spiegarlo in termini semplici per un pubblico generico?

I sistemi di intelligenza artificiale devono eseguire numerosi calcoli matematici, chiamati moltiplicazione matrice-vettore. Questi calcoli sono il motore che alimenta le risposte dell'intelligenza artificiale. In Lumai, utilizziamo la luce invece dell'elettricità. Ecco come funziona:

1. Codifichiamo le informazioni in fasci di luce
2. Questi fasci di luce viaggiano attraverso lo spazio 3D
3. La luce interagisce con lenti e materiali speciali
4. Queste interazioni completano l'operazione matematica

Utilizzando tutte e tre le dimensioni dello spazio, possiamo elaborare più informazioni con ogni fascio di luce. Questo rende il nostro approccio molto efficiente, riducendo l'energia, i tempi e i costi necessari per gestire i sistemi di intelligenza artificiale.

Quali sono i principali vantaggi dell'elaborazione ottica rispetto alle tradizionali GPU basate sul silicio e persino alla fotonica integrata?

Poiché il tasso di avanzamento nella tecnologia del silicio ha subito un significativo rallentamento, ogni incremento nelle prestazioni di un processore AI basato esclusivamente su silicio (come una GPU) si traduce in un aumento significativo della potenza. Le soluzioni basate esclusivamente su silicio consumano un'incredibile quantità di energia e puntano a rendimenti decrescenti, il che le rende incredibilmente complesse e costose. Il vantaggio dell'utilizzo dell'ottica è che, una volta nel dominio ottico, il consumo di energia è praticamente nullo. L'energia viene utilizzata per raggiungere il dominio ottico, ma, ad esempio, nel processore di Lumai possiamo eseguire oltre 1,000 operazioni di calcolo per ogni fascio di luce, ogni singolo ciclo, rendendolo quindi molto efficiente. Questa scalabilità non può essere ottenuta utilizzando la fotonica integrata a causa sia dei vincoli di dimensioni fisiche che del rumore del segnale, con il numero di operazioni di calcolo della soluzione basata su silicio e fotonica pari a solo 1/8 di quello che Lumai può realizzare oggi.

In che modo il processore Lumai riesce a raggiungere un'inferenza con latenza prossima allo zero e perché questo è un fattore così critico per i moderni carichi di lavoro dell'intelligenza artificiale?

Sebbene non affermeremmo che il processore Lumai offra latenza zero, esegue un'operazione vettoriale a matrice molto grande (1024 x 1024) in un singolo ciclo. Le soluzioni basate solo su silicio in genere suddividono una matrice in matrici più piccole, che vengono elaborate singolarmente passo dopo passo e i risultati devono poi essere combinati. Questo richiede tempo e comporta un maggiore consumo di memoria ed energia. Ridurre i tempi, l'energia e i costi di elaborazione dell'IA è fondamentale sia per consentire a un maggior numero di aziende di trarre vantaggio dall'IA, sia per abilitare un'IA avanzata nel modo più sostenibile.

Puoi spiegarci come il tuo fattore di forma compatibile con PCIe si integra con l'infrastruttura esistente del data center?

Il processore Lumai utilizza schede PCIe con fattore di forma abbinato a una CPU standard, il tutto all'interno di un rack standard da 4U. Collaboriamo con diversi fornitori di apparecchiature rack per data center, in modo che il processore Lumai si integri con le loro apparecchiature. Utilizziamo interfacce di rete standard, software standard, ecc., in modo che esternamente il processore Lumai abbia lo stesso aspetto di qualsiasi altro processore per data center.
Il consumo energetico dei data center è una preoccupazione globale crescente. In che modo Lumai si posiziona come soluzione sostenibile per l'intelligenza artificiale?

Il consumo energetico dei data center sta aumentando a un ritmo allarmante. Secondo un rapporto del Lawrence Berkeley National LaboratorySi prevede che il consumo energetico dei data center negli Stati Uniti triplicherà entro il 2028, consumando fino al 12% dell'energia nazionale. Alcuni operatori di data center stanno valutando l'installazione di centrali nucleari per fornire l'energia necessaria. Il settore deve valutare diversi approcci all'intelligenza artificiale e crediamo che l'ottica sia la risposta a questa crisi energetica.

Puoi spiegare in che modo l'architettura di Lumai evita i colli di bottiglia di scalabilità degli attuali approcci basati su silicio e fotonica?

Le prestazioni del primo processore Lumai rappresentano solo l'inizio di ciò che è possibile realizzare. Ci aspettiamo che la nostra soluzione continui a offrire enormi progressi in termini di prestazioni, aumentando le velocità di clock ottiche e le ampiezze vettoriali, il tutto senza un corrispondente aumento del consumo energetico. Nessun'altra soluzione può raggiungere questo obiettivo. Gli approcci standard basati esclusivamente su silicio digitale continueranno a comportare costi ed energia sempre maggiori per ogni aumento delle prestazioni. La fotonica al silicio non è in grado di raggiungere l'ampiezza vettoriale necessaria e, di conseguenza, le aziende che erano alla ricerca di fotonica integrata per l'elaborazione dei dati nei data center si sono spostate verso altre componenti del data center, ad esempio l'interconnessione ottica o la commutazione ottica.

Quale ruolo ritieni che giocherà l'informatica ottica nel futuro dell'intelligenza artificiale e, più in generale, nell'informatica nel suo complesso?

L'ottica nel suo complesso giocherà un ruolo fondamentale nei data center del futuro: dall'interconnessione ottica, al networking ottico, alla commutazione ottica e, naturalmente, all'elaborazione ottica dell'intelligenza artificiale. Le esigenze che l'intelligenza artificiale impone ai data center sono il motore principale di questo passaggio all'ottica. L'interconnessione ottica consentirà connessioni più veloci tra i processori di intelligenza artificiale, essenziale per i modelli di intelligenza artificiale di grandi dimensioni. La commutazione ottica consentirà un networking più efficiente e il calcolo ottico consentirà un'elaborazione di intelligenza artificiale più rapida, efficiente dal punto di vista energetico e a basso costo. Insieme, contribuiranno a rendere possibile un'intelligenza artificiale ancora più avanzata, superando le sfide del rallentamento della scalabilità del silicio sul lato computing e i limiti di velocità del rame sul lato interconnessione.

Grazie per l'ottima intervista, i lettori che desiderano saperne di più dovrebbero visitare Lumai.