Jay Dawani è co-fondatore e CEO di Lemurian Labs – Serie di interviste

Jay Dawani è co-fondatore e CEO di Lemurian Labs. Lemurian Labs ha una missione di fornire computer AI accessibili, efficienti e convenienti, guidati dalla convinzione che l’AI non dovrebbe essere un lusso, ma uno strumento accessibile a tutti. Il team fondatore di Lemurian Labs combina competenze in AI, compilatori, algoritmi numerici e architettura informatica, uniti da un unico scopo: reinventare l’elaborazione accelerata.

Ci può raccontare il suo background e cosa l’ha portato all’AI all’inizio?

Certo. Io ero già un programmatore da quando avevo 12 anni e costruivo i miei giochi e così via, ma in realtà mi sono avvicinato all’AI quando avevo 15 anni grazie a un amico di mio padre che era appassionato di computer. Lui ha alimentato la mia curiosità e mi ha dato dei libri da leggere come “Il computer e il cervello” di Von Neumann, “Perceptroni” di Minsky, “AI: un approccio moderno” di Russel e Norvig. Questi libri hanno influenzato molto il mio pensiero e mi sono sembrati quasi ovvi all’epoca, e ho capito che l’AI sarebbe stata trasformativa e che dovevo farne parte.

Quando è arrivato il momento di andare all’università, volevo studiare AI, ma non ho trovato nessuna università che offrisse quel corso, quindi ho deciso di laurearmi in matematica applicata. Poco dopo, ho sentito parlare dei risultati di AlexNet su ImageNet, che era davvero emozionante. A quel punto, ho avuto un momento di “ora o mai più” e mi sono immerso nella lettura di ogni articolo e libro che potevo trovare sull’argomento, e ho cercato di imparare da tutti i leader del settore, perché non si può essere presenti alla nascita di una nuova industria e imparare dai suoi pionieri.

Ben presto mi sono reso conto che non mi piaceva la ricerca, ma mi piaceva risolvere problemi e costruire prodotti abilitati all’AI. Questo mi ha portato a lavorare su auto autonome e robot, AI per la scoperta di materiali, modelli generativi per simulazioni multi-fisiche, simulatori di addestramento per piloti di auto da corsa e per aiutare con le impostazioni delle auto, robot spaziali, trading algoritmico e molto altro.

Ora, dopo aver fatto tutto questo, sto cercando di ridurre i costi di formazione e distribuzione dell’AI, perché questo sarà l’ostacolo più grande che affronteremo nel nostro percorso per consentire a ogni persona e azienda di avere accesso e trarre beneficio dall’AI nel modo più economico possibile.

Molte aziende che lavorano nel settore dell’elaborazione accelerata hanno fondatori che hanno costruito la loro carriera nei semiconduttori e nell’infrastruttura. Come pensa che la sua esperienza passata in AI e matematica influenzi la sua capacità di comprendere il mercato e competere efficacemente?

In realtà, credo che non provenire dall’industria mi dia il vantaggio di essere un outsider. Ho trovato che spesso non avere conoscenze delle norme dell’industria o della saggezza convenzionale mi dia la libertà di esplorare più a fondo e di andare oltre gli altri, perché non sono condizionato da pregiudizi.

Ho la libertà di fare domande “più stupide” e di testare le ipotesi in un modo che gli altri non farebbero, perché molte cose sono considerate verità assodate. Negli ultimi due anni, ho avuto diverse conversazioni con persone del settore che sono molto dogmatiche su qualcosa, ma non possono dirmi la provenienza dell’idea, il che trovo molto strano. Mi piace capire perché certe scelte sono state fatte e quali assunzioni o condizioni c’erano all’epoca e se sono ancora valide.

Provenendo da un background di AI, tendo a considerare il punto di vista del software, guardando dove sono i carichi di lavoro oggi e come potrebbero cambiare nel tempo, e modellando l’intero flusso di lavoro di ML per la formazione e l’inferenza per capire i collo di bottiglia, che mi dice dove ci sono le opportunità di fornire valore. E poiché provengo da un background matematico, mi piace modellare le cose per arrivare il più vicino possibile alla verità e far guidare da questo. Ad esempio, abbiamo costruito modelli per calcolare le prestazioni del sistema per il costo totale di proprietà e possiamo misurare il beneficio che possiamo portare ai clienti con il software e/o l’hardware e per capire meglio i nostri vincoli e i diversi parametri disponibili per noi, e decine di altri modelli per varie cose. Siamo molto guidati dai dati e usiamo le informazioni da questi modelli per guidare i nostri sforzi e compromessi.

Sembra che i progressi nell’AI siano stati principalmente guidati dalla scalabilità, che richiede una quantità esponenzialmente maggiore di calcolo e energia. Sembra che siamo in una corsa agli armamenti con ogni azienda che cerca di costruire il modello più grande, e non sembra esserci una fine in vista. Pensa che ci sia una via d’uscita da questo?

Ci sono sempre delle vie d’uscita. La scalabilità si è rivelata estremamente utile e non credo che abbiamo ancora visto la fine. Presto vedremo modelli addestrati con un costo di almeno un miliardo di dollari. Se si vuole essere un leader nell’AI generativa e creare modelli di base di alta qualità, si dovrà spendere almeno alcuni miliardi di dollari all’anno per il calcolo. Ora, ci sono limiti naturali alla scalabilità, come ad esempio la possibilità di costruire un set di dati abbastanza grande per un modello di quella dimensione, ottenere l’accesso a persone con le giuste competenze e ottenere l’accesso a sufficiente calcolo.

La scalabilità continua del modello è inevitabile, ma non possiamo trasformare l’intera superficie terrestre in un supercomputer di dimensioni planetarie per addestrare e servire i modelli di linguaggio, per ovvi motivi. Per mettere questo sotto controllo, abbiamo diversi parametri che possiamo utilizzare: migliori set di dati, nuove architetture di modelli, nuovi metodi di addestramento, migliori compilatori, miglioramenti algoritmici e sfruttamento, migliori architetture informatiche e così via. Se facciamo tutto questo, ci sono circa tre ordini di grandezza di miglioramento da trovare. Questo è il miglior modo per uscirne.

Lei è un sostenitore del pensiero basato sui principi fondamentali, come questo influenza la sua mentalità nel gestire Lemurian Labs?

Utilizziamo sicuramente molto il pensiero basato sui principi fondamentali a Lemurian. Ho sempre trovato che la saggezza convenzionale è ingannevole perché quella conoscenza è stata formata in un certo momento nel tempo quando certe assunzioni erano valide, ma le cose cambiano sempre e si deve riprovare le assunzioni spesso, specialmente in un mondo così veloce.

Mi piace fare domande come “questa sembra una buona idea, ma perché potrebbe non funzionare”, o “cosa deve essere vero affinché funzioni”, o “cosa sappiamo che sono verità assolute e quali sono le assunzioni che stiamo facendo e perché?”, o “perché crediamo che questo approccio particolare sia il modo migliore per risolvere questo problema”. L’obiettivo è quello di invalidare e uccidere le idee il più rapidamente e a basso costo possibile. Vogliamo provare a massimizzare il numero di cose che stiamo provando in ogni dato momento.

Il pensiero basato sui principi fondamentali non è molto utile di per sé. Tendiamo ad abbinarlo con la proiezione all’indietro, che significa immaginare un risultato ideale o desiderato e lavorare all’indietro per identificare i diversi passaggi o azioni necessarie per realizzarlo. Ciò ci assicura di convergere su una soluzione significativa che non solo è innovativa, ma anche radicata nella realtà.

A volte ci troviamo in una situazione in cui dobbiamo prendere una decisione, ma non abbiamo dati, e in questo scenario utilizziamo ipotesi minime verificabili che ci danno un segnale su se qualcosa ha senso perseguirlo con la minima quantità di energia.

Tutto ciò combinato ci dà agilità, cicli di iterazione rapidi per ridurre rapidamente gli elementi a rischio, e ci ha aiutato ad adattare le strategie con alta fiducia e a fare molti progressi su problemi molto difficili in un tempo molto breve.

Inizialmente, si concentrava sull’AI edge, cosa l’ha portato a riorientare e spostare l’attenzione sul cloud computing?

Abbiamo iniziato con l’AI edge perché all’epoca ero molto concentrato nel risolvere un problema specifico che avevo incontrato nel cercare di introdurre un mondo di robotica autonoma generale. La robotica autonoma tiene la promessa di essere il più grande cambiamento di piattaforma nella nostra storia collettiva, e sembrava che avessimo tutto il necessario per costruire un modello di base per la robotica, ma ci mancava il chip di inferenza ideale con il giusto equilibrio di throughput, latenza, efficienza energetica e programmabilità per eseguire il modello di base.

Non stavo pensando al data center in quel momento perché c’erano già abbastanza aziende che si concentravano lì e mi aspettavo che avrebbero risolto il problema. Abbiamo progettato un’architettura molto potente per questo spazio di applicazioni e stavamo per metterla in produzione, e poi è diventato chiaro che il mondo era cambiato e il problema vero era nel data center. Il tasso al quale i modelli di linguaggio stavano scalando e consumando calcolo superava di gran lunga il ritmo del progresso nel calcolo, e quando si considera l’adozione, inizia a dipingere un quadro preoccupante.

Mi è sembrato che questo fosse il posto in cui dovevamo concentrare i nostri sforzi, per ridurre il più possibile il costo energetico dell’AI nei data center senza imporre restrizioni su dove e come l’AI dovrebbe evolversi. E così, ci siamo messi al lavoro per risolvere questo problema.

Ci può raccontare la storia della fondazione di Lemurian Labs?

La storia inizia all’inizio del 2018. Stavo lavorando sull’addestramento di un modello di base per l’autonomia generale insieme a un modello per la simulazione multi-fisica generativa per addestrare l’agente e adattarlo per diverse applicazioni, e alcune altre cose per aiutare a scalare in ambienti multi-agente. Ma molto presto mi sono reso conto che avevo esaurito la quantità di calcolo che avevo, e ho stimato di aver bisogno di più di 20.000 GPU V100. Ho cercato di raccogliere abbastanza denaro per ottenere l’accesso al calcolo, ma il mercato non era pronto per quel tipo di scala all’epoca. Tuttavia, mi ha fatto pensare al lato della distribuzione e mi sono seduto per calcolare quante prestazioni avrei avuto bisogno per eseguire il modello nel target ambiente e ho realizzato che non c’era chip in esistenza che potesse portarmi lì.

Un paio di anni dopo, nel 2020, mi sono incontrato con Vassil, il mio futuro co-fondatore, per fare quattro chiacchiere e gli ho condiviso le sfide che avevo affrontato nel costruire un modello di base per l’autonomia, e lui ha suggerito di costruire un chip di inferenza che potesse eseguire il modello di base, e ha condiviso che aveva pensato molto ai formati numerici e che rappresentazioni migliori avrebbero aiutato non solo a mantenere l’accuratezza dei reti neurali a bit-width più bassi, ma anche a creare architetture più potenti.

Era un’idea intrigante, ma era ben al di fuori della mia portata. Ma non mi ha lasciato, il che mi ha spinto a trascorrere mesi e mesi imparando le intricacies dell’architettura informatica, dei set di istruzioni, dei runtime, dei compilatori e dei modelli di programmazione. Alla fine, costruire un’azienda di semiconduttori ha iniziato ad avere senso e avevo formato una tesi su cosa fosse il problema e come affrontarlo. E poi, verso la fine dell’anno, abbiamo iniziato Lemurian.

Ha parlato in precedenza della necessità di affrontare prima il software quando si costruisce l’hardware, potrebbe spiegare meglio la sua visione sul perché il problema dell’hardware è in primo luogo un problema di software?

Cosa che molte persone non capiscono è che il lato software dei semiconduttori è molto più difficile dell’hardware stesso. Costruire un’architettura informatica utile per i clienti è un problema full-stack, e se non si ha quella comprensione e preparazione all’inizio, si finisce con un’architettura bellissima e molto performante, ma assolutamente inutilizzabile per gli sviluppatori, il che è ciò che è realmente importante.

Ci sono altri vantaggi nell’approccio software-first, come ad esempio un tempo di mercato più veloce. Questo è cruciale in un mondo in rapido movimento, dove essere troppo ottimisti su un’architettura o una funzionalità potrebbe significare perdere il mercato interamente.

Non adottare un approccio software-first di solito porta a non aver deriskato le cose importanti richieste per l’adozione del prodotto sul mercato, a non essere in grado di rispondere ai cambiamenti del mercato, ad esempio quando i carichi di lavoro evolvono in modo inaspettato, e ad avere hardware sottoutilizzato. Tutte cose non buone. Questo è un grande motivo per cui ci preoccupiamo molto di essere centrati sul software e perché la nostra visione è che non si può essere un’azienda di semiconduttori senza essere realmente un’azienda di software.

Ci può parlare dei suoi obiettivi immediati per lo stack di software?

Quando abbiamo progettato la nostra architettura e pensato alla roadmap futura e a dove fossero le opportunità per portare più prestazioni e efficienza energetica, è diventato chiaro che avremmo visto molta più eterogeneità, il che avrebbe creato molti problemi sul software. E non solo dobbiamo essere in grado di programmare in modo produttivo architetture eterogenee, ma dobbiamo anche farlo a scala di data center, il che è una sfida come non ne abbiamo mai viste prima.

Ciò ci ha preoccupati perché l’ultima volta che abbiamo dovuto affrontare una transizione importante è stato quando l’industria è passata dalle architetture a singolo core a quelle multi-core, e all’epoca ci sono voluti 10 anni per far funzionare il software. Non possiamo permetterci di aspettare 10 anni per capire come far funzionare il software per l’eterogeneità a scala, deve essere risolto adesso. E così, ci siamo messi al lavoro per capire il problema e cosa deve esistere affinché questo stack di software esista.

Stiamo attualmente collaborando con molte delle principali aziende di semiconduttori e fornitori di servizi cloud e rilasceremo il nostro stack di software nei prossimi 12 mesi. È un modello di programmazione unificato con un compilatore e un runtime in grado di puntare a qualsiasi tipo di architettura, e di orchestrare il lavoro attraverso cluster composti da diversi tipi di hardware, e in grado di scalare da un singolo nodo a un cluster di mille nodi per le massime prestazioni possibili.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Lemurian Labs.