Jay Dawani è co-fondatore e CEO di Lemurian Labs – Serie di interviste

Jay Dawani è co-fondatore e CEO di Lemurian Labs. Laboratori Lemuriani ha la missione di fornire computer IA convenienti, accessibili ed efficienti, guidata dalla convinzione che l'intelligenza artificiale non dovrebbe essere un lusso ma uno strumento accessibile a tutti. Il team fondatore di Lemurian Labs combina competenze in intelligenza artificiale, compilatori, algoritmi numerici e architettura informatica, uniti da un unico scopo: reimmaginare il calcolo accelerato.

Puoi illustrarci il tuo background e wcosa ti ha portato all'intelligenza artificiale per cominciare?

Assolutamente. Programmavo da quando avevo 12 anni e costruivo i miei giochi e cose del genere, ma in realtà mi sono avvicinato all'intelligenza artificiale quando avevo 15 anni grazie a un amico di mio padre che era appassionato di computer. Ha alimentato la mia curiosità e mi ha dato libri da leggere come "Il computer e il cervello" di Von Neumann, "Perceptrons" di Minsky, "AI A Modern Approach" di Russel e Norvig. Questi libri hanno influenzato molto il mio pensiero e allora sembrava quasi ovvio che l’intelligenza artificiale sarebbe stata trasformativa e dovevo semplicemente far parte di questo campo. 

Quando è arrivato il momento dell'università volevo davvero studiare l'intelligenza artificiale ma non ho trovato nessuna università che lo offrisse, quindi ho deciso di specializzarmi in matematica applicata e poco dopo essermi iscritto all'università ho sentito parlare dei risultati di AlexNet su ImageNet, che è stato davvero emozionante. A quel tempo avevo in testa questo momento "ora o mai più" e mi sono annoiato a leggere ogni articolo e libro su cui potevo mettere le mani relativo alle reti neurali e ho cercato tutti i leader del settore per imparare da loro, perché come spesso puoi essere presente alla nascita di un nuovo settore e imparare dai suoi pionieri. 

Molto rapidamente ho capito che non mi piace la ricerca, ma mi piace risolvere problemi e creare prodotti abilitati all'intelligenza artificiale. Ciò mi ha portato a lavorare su auto e robot autonomi, intelligenza artificiale per la scoperta di materiali, modelli generativi per simulazioni multifisiche, simulatori basati su intelligenza artificiale per la formazione di conducenti di auto da corsa professionisti e aiuto con la configurazione di auto, robot spaziali, trading algoritmico e molto altro. 

Ora, dopo aver fatto tutto ciò, sto cercando di contenere i costi della formazione e dell’implementazione dell’IA perché questo sarà l’ostacolo più grande che dovremo affrontare nel nostro percorso per creare un mondo in cui ogni persona e azienda possa avere accesso e trarre vantaggio dall’IA nel modo più economico possibile.

Molte aziende che lavorano nel campo dell’informatica accelerata hanno fondatori che hanno costruito carriere nel settore dei semiconduttori e delle infrastrutture. In che modo pensi che la tua passata esperienza nel campo dell'intelligenza artificiale e della matematica influenzi la tua capacità di comprendere il mercato e competere in modo efficace?

In realtà penso che non provenire dal settore mi dia il vantaggio di avere il vantaggio di essere un outsider. Ho scoperto che molto spesso accade che non avere conoscenza delle norme del settore o delle convinzioni convenzionali dia la libertà di esplorare più liberamente e di andare più in profondità di quanto farebbe la maggior parte degli altri perché non si è gravati da pregiudizi. 

Ho la libertà di porre domande "più stupide" e di testare ipotesi in un modo che la maggior parte degli altri non farebbe perché molte cose sono verità accettate. Negli ultimi due anni ho avuto diverse conversazioni con persone del settore in cui sono molto dogmatici su qualcosa ma non sanno dirmi la provenienza dell'idea, cosa che trovo molto sconcertante. Mi piace capire perché sono state fatte certe scelte, quali presupposti o condizioni c'erano in quel momento e se sono ancora valide. 

Venendo da un background di intelligenza artificiale, tendo ad avere una visione del software osservando dove sono i carichi di lavoro oggi, ed ecco tutti i possibili modi in cui possono cambiare nel tempo, e modellando l'intera pipeline ML per l'addestramento e l'inferenza per comprendere i colli di bottiglia, il che dice dove sono le opportunità per offrire valore. E poiché provengo da un background matematico, mi piace modellare le cose per avvicinarmi il più possibile alla verità e farmi guidare da questo. Ad esempio, abbiamo creato modelli per calcolare le prestazioni del sistema rispetto al costo totale di proprietà e possiamo misurare il vantaggio che possiamo offrire ai clienti con software e/o hardware e per comprendere meglio i nostri limiti e le diverse manopole a nostra disposizione, e decine di altri modelli per varie cose. Siamo molto guidati dai dati e utilizziamo le informazioni provenienti da questi modelli per guidare i nostri sforzi e i nostri compromessi. 

Sembra che i progressi nell’intelligenza artificiale siano derivati ​​principalmente dalla scalabilità, che richiede esponenzialmente più calcolo ed energia. Sembra che siamo in una corsa agli armamenti con ogni azienda che cerca di costruire il modello più grande, e non sembra esserci fine in vista. Pensi che ci sia una via d'uscita da tutto questo?

Ci sono sempre dei modi. Il ridimensionamento si è rivelato estremamente utile e non credo che abbiamo ancora visto la fine. Molto presto vedremo dei modelli addestrati con un costo di almeno un miliardo di dollari. Se vuoi essere un leader nell'intelligenza artificiale generativa e creare modelli di base all'avanguardia, dovrai spendere almeno qualche miliardo all'anno in elaborazione. Ora, ci sono limiti naturali alla scalabilità, come la capacità di costruire un set di dati sufficientemente grande per un modello di quelle dimensioni, l’accesso a persone con il giusto know-how e l’accesso a risorse di elaborazione sufficienti. 

Il continuo ridimensionamento delle dimensioni del modello è inevitabile, ma non possiamo nemmeno trasformare l’intera superficie terrestre in un supercomputer di dimensioni planetarie per addestrare e servire gli LLM per ovvie ragioni. Per tenere tutto sotto controllo abbiamo diverse manopole con cui possiamo giocare: set di dati migliori, nuove architetture di modelli, nuovi metodi di addestramento, compilatori migliori, miglioramenti e sfruttamenti algoritmici, migliori architetture di computer e così via. Se facciamo tutto questo, possiamo trovare circa tre ordini di grandezza di miglioramento. Questa è la soluzione migliore. 

Credi nel pensiero dei principi primi, come questo modella la tua mentalità per il modo in cui gestisci Lemurian Labs?

Sicuramente utilizziamo molti principi primi pensando a Lemurian. Ho sempre trovato fuorviante la saggezza convenzionale perché quella conoscenza si è formata in un certo momento in cui erano valide determinate ipotesi, ma le cose cambiano sempre ed è necessario ripetere spesso le ipotesi, soprattutto quando si vive in un mondo così frenetico. 

Spesso mi ritrovo a fare domande del tipo “sembra davvero una buona idea, ma perché potrebbe non funzionare”, o “cosa deve essere vero affinché funzioni”, o “cosa sappiamo che sono verità assolute e quali sono le ipotesi che stiamo facendo e perché?”, oppure “perché crediamo che questo particolare approccio sia il modo migliore per risolvere questo problema”. L’obiettivo è invalidare e uccidere le idee nel modo più rapido ed economico possibile. Vogliamo provare a massimizzare il numero di cose che stiamo provando in un dato momento. Si tratta di essere ossessionati dal problema che deve essere risolto e di non essere eccessivamente supponenti su quale sia la tecnologia migliore. Troppe persone tendono a concentrarsi eccessivamente sulla tecnologia e finiscono per fraintendere i problemi dei clienti e perdere le transizioni in atto nel settore che potrebbero invalidare il loro approccio con conseguente incapacità di adattarsi al nuovo stato del mondo.

Ma il pensiero basato sui principi primi non è poi così utile di per sé. Tendiamo ad associarlo al backcasting, che fondamentalmente significa immaginare un risultato futuro ideale o desiderato e lavorare a ritroso per identificare i diversi passaggi o azioni necessarie per realizzarlo. Ciò garantisce la convergenza su una soluzione significativa che non sia solo innovativa ma anche fondata sulla realtà. Non ha senso perdere tempo a trovare la soluzione perfetta solo per rendersi conto che non è fattibile da realizzare a causa di una serie di vincoli del mondo reale come risorse, tempo, regolamentazione o costruire una soluzione apparentemente perfetta ma poi scoprirla hai reso troppo difficile l'adozione da parte dei clienti.

Ogni tanto ci troviamo in una situazione in cui dobbiamo prendere una decisione ma non disponiamo di dati, e in questo scenario utilizziamo ipotesi minime verificabili che ci danno un segnale se ha senso o meno perseguire qualcosa con il minimo sforzo del dispendio energetico. 

Tutto ciò combinato ci offre agilità, cicli di iterazione rapidi per ridurre rapidamente i rischi e ci ha aiutato ad adattare le strategie con elevata sicurezza e a fare molti progressi su problemi molto difficili in un brevissimo lasso di tempo. 

Inizialmente eri concentrato su bordo AI, cosa ti ha spinto a concentrarti nuovamente e a orientarti verso il cloud computing?

Abbiamo iniziato con l’intelligenza artificiale edge perché a quel tempo ero molto concentrato nel cercare di risolvere un problema molto particolare che avevo dovuto affrontare nel tentativo di inaugurare un mondo di robotica autonoma per scopi generali. La robotica autonoma promette di essere il più grande cambiamento di piattaforma nella nostra storia collettiva e sembrava che avessimo tutto il necessario per costruire un modello di base per la robotica, ma ci mancava il chip di inferenza ideale con il giusto equilibrio tra throughput, latenza ed efficienza energetica e programmabilità per eseguire detto modello di base.

Non stavo pensando al data center in quel momento perché c'erano più che sufficienti aziende che si concentravano lì e mi aspettavo che avrebbero capito come risolverlo. Abbiamo progettato un'architettura davvero potente per questo spazio applicativo e ci stavamo preparando a realizzarla, ma poi è diventato evidente che il mondo era cambiato e il problema era veramente nel data center. La velocità con cui gli LLM si sono evoluti e hanno consumato risorse di calcolo supera di gran lunga il ritmo dei progressi nel settore informatico e, se si tiene conto dell’adozione, si inizia a dipingere un quadro preoccupante. 

Sembrava che questo fosse il punto in cui dovremmo concentrare i nostri sforzi, per ridurre il più possibile il costo energetico dell’intelligenza artificiale nei data center senza imporre restrizioni su dove e come l’intelligenza artificiale dovrebbe evolversi. E quindi, dobbiamo lavorare per risolvere questo problema. 

Puoi condividere la storia della genesi della co-fondazione di Lemurian Labs?

La storia inizia all'inizio del 2018. Stavo lavorando all'addestramento di un modello di base per l'autonomia per scopi generali insieme a un modello per la simulazione multifisica generativa per addestrare l'agente e perfezionarlo per diverse applicazioni, e alcune altre cose per aiutare a scalare in multi -ambienti degli agenti. Ma molto rapidamente ho esaurito la quantità di calcolo a mia disposizione e ho stimato di aver bisogno di più di 20,000 GPU V100. Ho provato a raccogliere abbastanza per avere accesso al computer, ma il mercato non era ancora pronto per quel tipo di scala. Tuttavia, mi ha fatto pensare al lato dell'implementazione delle cose e mi sono seduto per calcolare la quantità di prestazioni di cui avrei avuto bisogno per servire questo modello negli ambienti di destinazione e ho capito che non esisteva alcun chip che potesse portarmi lì. 

Un paio di anni dopo, nel 2020, ho incontrato Vassil – il mio futuro cofondatore – per aggiornarmi e ho condiviso le sfide che ho affrontato nella costruzione di un modello di base per l’autonomia, e lui ha suggerito di costruire un chip di inferenza in grado di gestire le fondamenta modello, e ha condiviso che aveva pensato molto ai formati dei numeri e a rappresentazioni migliori avrebbero aiutato non solo a far sì che le reti neurali mantenessero la precisione a larghezze di bit inferiori, ma anche a creare architetture più potenti. 

Era un'idea intrigante ma era decisamente fuori dalle mie possibilità. Ma non mi lasciava, il che mi ha spinto a passare mesi e mesi ad apprendere le complessità dell'architettura del computer, dei set di istruzioni, dei tempi di esecuzione, dei compilatori e dei modelli di programmazione. Alla fine, costruire un’azienda di semiconduttori cominciò ad avere un senso e avevo formulato una tesi su quale fosse il problema e come risolverlo. E poi, verso la fine dell'anno, abbiamo avviato Lemurian. 

Hai parlato in precedenza della necessità di affrontare prima il software quando si costruisce l'hardware, potresti approfondire la tua opinione sul perché il problema hardware è prima di tutto un problema software?

Ciò che molte persone non capiscono è che il lato software dei semiconduttori è molto più difficile dell'hardware stesso. Costruire un'architettura informatica utile che i clienti possano utilizzare e da cui traggano vantaggio è un problema completo e, se non si dispone di tale comprensione e preparazione, ci si ritroverà con un'architettura dall'aspetto gradevole, molto performante ed efficiente, ma totalmente inutilizzabile dagli sviluppatori, che è ciò che è veramente importante. 

Ci sono anche altri vantaggi nell’adottare un approccio software first, ovviamente, come un time-to-market più veloce. Questo è fondamentale nel mondo in rapida evoluzione di oggi, dove essere troppo ottimisti su un'architettura o una funzionalità potrebbe significare perdere completamente il mercato. 

Non avere una visione prioritaria del software generalmente significa non aver sottovalutato gli aspetti importanti richiesti per l'adozione del prodotto sul mercato, non essere in grado di rispondere ai cambiamenti del mercato, ad esempio quando i carichi di lavoro si evolvono in modo inaspettato, e avere hardware sottoutilizzato. Non tutte cose eccezionali. Questo è uno dei motivi principali per cui ci preoccupiamo molto di essere incentrati sul software e perché la nostra opinione è che non si può essere un'azienda di semiconduttori senza essere realmente un'azienda di software. 

Puoi parlare dei tuoi obiettivi immediati in termini di stack software?

Quando stavamo progettando la nostra architettura e pensando alla tabella di marcia lungimirante e alle opportunità per portare maggiori prestazioni ed efficienza energetica, ha iniziato a diventare molto chiaro che avremmo visto molta più eterogeneità, il che avrebbe creato molti problemi sul software. E non dobbiamo solo essere in grado di programmare in modo produttivo architetture eterogenee, dobbiamo affrontarle su scala di data center, il che è una sfida mai vista prima. 

Questo ci ha preoccupato perché l’ultima volta che abbiamo dovuto affrontare una transizione importante è stato quando il settore è passato dalle architetture single-core a quelle multi-core e a quel tempo ci sono voluti 10 anni per far funzionare il software e far sì che le persone lo utilizzassero. Non possiamo permetterci di aspettare 10 anni per capire il software per l'eterogeneità su larga scala, dobbiamo risolverlo ora. E così, dobbiamo lavorare per comprendere il problema e cosa deve esistere affinché questo stack di software possa esistere. 

Attualmente stiamo collaborando con molte delle principali aziende di semiconduttori e hyperscaler/fornitori di servizi cloud e rilasceremo il nostro stack software nei prossimi 12 mesi. Si tratta di un modello di programmazione unificato con un compilatore e un runtime in grado di prendere di mira qualsiasi tipo di architettura e orchestrare il lavoro su cluster composti da diversi tipi di hardware ed è in grado di scalare da un singolo nodo a un cluster di mille nodi per le massime prestazioni possibili .

Grazie per l'ottima intervista, i lettori che desiderano saperne di più dovrebbero visitare Laboratori Lemuriani.