Elad Raz, CEO di NextSilicon – Serie di Interviste

Elad Raz, CEO di NextSilicon, è un imprenditore esperto e leader tecnologico ampiamente rispettato per la sua profonda esperienza in sistemi a basso livello, sicurezza, networking e sviluppo di file system. Nel corso di una carriera che comprende ruoli di ingegneria militare di élite, leadership software senior, costruzione di aziende e investimenti a lungo termine, Raz ha guidato progetti complessi e critici per la missione in tutto il mondo, attraverso gli interni dei sistemi operativi e l’integrazione hardware-software. Prima di fondare NextSilicon, ha costruito e ceduto diverse aziende tecnologiche, ha ricoperto ruoli di leadership senior in una società di semiconduttori leader e ha investito in un portfolio diversificato di startup, combinando una profonda conoscenza tecnica con una forte esecuzione e una visione strategica a lungo termine.

NextSilicon è un’azienda israeliana di calcolo ad alte prestazioni e semiconduttori fondata nel 2017 che sta ridefinendo l’architettura del calcolo per carichi di lavoro impegnativi come l’intelligenza artificiale e il calcolo scientifico. L’azienda ha sviluppato una piattaforma di calcolo intelligente definita dal software progettata per offrire elevate prestazioni ed efficienza senza richiedere ai sviluppatori di riscrivere le applicazioni. Concentrandosi sull’adattabilità a livello di hardware, NextSilicon mira a risolvere i collo di bottiglia fondamentali nei moderni data center e ambienti di calcolo ad alte prestazioni, posizionandosi come un’alternativa di prossima generazione agli acceleratori tradizionali.

Ci può raccontare del suo percorso che ha portato alla fondazione di NextSilicon? Qual è stata l’idea iniziale e come le sue prime esperienze con il calcolo hanno plasmato la sua visione?

Sono stato affascinato dai computer fin da bambino. Quell’affascinamento mi ha portato dal giocare con vecchi Commodore 64 e Atari (che ancora colleziono) a co-fondare startup e, infine, a vendere la mia precedente azienda a Mellanox. Ma anche con quei primi successi, continuavo a vedere la stessa sfida ripetersi nel settore. Man mano che i carichi di lavoro computazionali diventavano più complessi, le architetture tradizionali di CPU e GPU raggiungevano i limiti di prestazioni, efficienza energetica e scalabilità. Sia che si ottimizzassero algoritmi o si eseguissero simulazioni su larga scala, divenne chiaro che le architetture attuali costringevano i carichi di lavoro ad adattarsi all’hardware – e non viceversa.

L’idea per NextSilicon nacque da questa sfida ricorrente e sollevò la domanda: e se potessimo capovolgere la situazione e costruire architetture di calcolo che si adattino ai carichi di lavoro, anziché costringere i carichi di lavoro ad adattarsi all’hardware? La mia prima esposizione alla progettazione di algoritmi e hardware mi ha insegnato che il vero breakthrough sarebbe venuto dal combinare i due in tempo reale. Questo è il fondamento della nostra Architettura di Calcolo Intelligente (ICA) e la visione guida di NextSilicon fin dall’inizio.

Maverick-2 è descritto come un Acceleratore di Calcolo Intelligente che si adatta ai carichi di lavoro in tempo reale. Come la sua architettura differisce dalle tradizionali GPU o FPGA e cosa consente quel livello di adattabilità?

Le CPU e le GPU hanno trasformato il nostro mondo e ci hanno servito bene. Ma non sono state progettate per soddisfare le esigenze dei carichi di lavoro di intelligenza artificiale e calcolo ad alte prestazioni (HPC) moderni in campi come la scienza, il meteo, l’energia e la difesa. Questi carichi di lavoro presentano dipendenze di dati complesse, modelli di accesso alla memoria e modelli computazionali che i processori attuali non sono stati progettati per gestire. Il risultato sono collo di bottiglia che rallentano l’innovazione.

La differenza chiave di Maverick-2 è il suo approccio innovativo che combina un motore di flusso di dati riorganizzabile con un’ottimizzazione del software in tempo reale. La differenza architettonica fondamentale è che l’hardware è configurato in base al carico di lavoro, e non viceversa. Per Maverick-2, la disponibilità dei dati guida il calcolo, anziché un contatore di programma che guida l’esecuzione delle istruzioni come nei processori tradizionali. Ciò ci consente di creare unità di elaborazione virtuali definite dal software che possono essere configurate e riorganizzate in tempo reale per corrispondere ai modelli di carico di lavoro specifici.

I risultati parlano da soli: Maverick-2 offre oltre 4 volte le prestazioni per watt delle GPU e più di 20 volte quelle delle CPU, riducendo i costi operativi di oltre la metà. Di conseguenza, i ricercatori e gli ingegneri possono eseguire simulazioni su larga scala, irregolari e più efficienti, sbloccando insight e innovazioni in una frazione del tempo.

Ha riportato di aver raggiunto oltre 4 volte le prestazioni per watt rispetto alle GPU e più di 20 volte rispetto alle CPU di fascia alta. Quali sono le innovazioni chiave che guidano quei guadagni di prestazioni in carichi di lavoro reali?

I guadagni di prestazioni derivano da alcune innovazioni chiave che lavorano insieme.

Innanzitutto, ci siamo allontanati dal modello di Von Neumann che ha dominato il calcolo per 80 anni. Anziché l’esecuzione sequenziale delle istruzioni, Maverick-2 utilizza un’architettura di flusso di dati in cui il calcolo segue la disponibilità dei dati. Questo è fondamentalmente meglio adatto per carichi di lavoro irregolari e intensivi in termini di memoria.

In secondo luogo, la nostra architettura auto-ottimizzante genera core di processore definiti dal software in tempo reale. L’hardware si adatta alle esigenze di ogni applicazione senza richiedere la riscrittura del codice – si ottiene l’ottimizzazione senza l’onere.

In terzo luogo, e questo è critico: ci concentriamo sulle prestazioni sostenute nel mondo reale, non sui picchi teorici. Molte architetture sembrano grandi sulla carta, ma vacillano sui carichi di lavoro reali. Maverick-2 mantiene l’efficienza in tutto il settore dell’intelligenza artificiale, del calcolo ad alte prestazioni e dei database vettoriali, continuando ad adattarsi alle esigenze del carico di lavoro.

Maverick-2 supporta C/C++, Fortran, OpenMP e Kokkos senza richiedere modifiche al codice. Come hanno risposto gli sviluppatori a questa compatibilità e quali sono i piani per supportare CUDA, ROCm o framework di intelligenza artificiale popolari?

Gli sviluppatori amano il fatto che Maverick-2 sia un vero e proprio “sostituto drop-in”. Possono eseguire le loro applicazioni esistenti immediatamente senza le barriere di porting che affliggono questo settore. Attualmente supportiamo C/C++, Fortran, OpenMP e Kokkos senza modifiche, con CUDA, ROCm e principali framework di intelligenza artificiale come TensorFlow, JAX, PyTorch e ONNX in fase di sviluppo attivo. Ciò elimina il blocco del fornitore e le costose riscritture del codice, consentendo ai clienti di valutare e adottare nuove architetture senza interrompere i loro flussi di lavoro.

Come funziona l’ottimizzazione del sistema basata sulla telemetria di Maverick-2 dietro le quinte? Cosa è coinvolto nel profilo e riorganizzare il chip in tempo reale?

Pensate alla nostra ottimizzazione del sistema come a un ciclo continuo: durante l’esecuzione, il nostro sistema di telemetria misura centinaia di indicatori di prestazione (ad esempio, larghezza di banda della memoria, utilizzo, profondità delle code). Tutti questi dati vengono alimentati in un ottimizzatore in tempo reale che determina se la configurazione hardware attuale rimane ottimale per il carico di lavoro e le sue esigenze previste. Se non lo è, può ri-partizionare le risorse, riordinare i percorsi dei dati e regolare le pipeline di calcolo in modo continuo, il che significa che l’applicazione non si ferma. Ciò avviene entro millisecondi, quindi l’applicazione mantiene un’efficienza costante mentre il suo profilo computazionale cambia.

Ci sono tipi specifici di carichi di lavoro o casi limite in cui l’ottimizzazione delle prestazioni in tempo reale è meno efficace o introduce compromessi in termini di latenza o potenza?

Ogni architettura avrà compromessi. Maverick-2 eccelle in carichi di lavoro complessi e irregolari con modelli computazionali e di accesso ai dati in evoluzione. Per carichi di lavoro altamente prevedibili e a funzione fissa, una GPU ben ottimizzata può essere molto efficiente senza l’onere dell’adattamento. In quei casi, la nostra adattabilità offre comunque prestazioni solide, ma il vantaggio relativo potrebbe essere più piccolo.

La progettazione di NextSilicon è tutta sulla versatilità e sulla competitività nei casi semplici, ma è trasformativa in quelli impegnativi.

Perché ha deciso di dare priorità al mercato HPC fin dall’inizio, quando la maggior parte delle startup si affrettava a entrare nel settore dell’intelligenza artificiale? Come ciò ha plasmato la sua strategia di prodotto e di business?

HPC rappresenta il confine della complessità computazionale e della risoluzione dei problemi per grandi set di dati, accessi alla memoria irregolari e modelli computazionali imprevedibili. Se si può costruire un’architettura che prosperi lì – come eseguire simulazioni su scala esabite nel modello climatico o nella fisica delle particelle, allora eccellerà anche nell’intelligenza artificiale.

Concentrandosi sull’HPC fin dall’inizio, abbiamo dimostrato la validità di Maverick-2 sui carichi di lavoro più impegnativi nel modello climatico, nella fisica e nelle scienze della vita. Ciò ci ha dato credibilità, dati di prestazioni nel mondo reale e un prodotto maturo prima di spingerci più a fondo nei mercati dell’intelligenza artificiale. Ora siamo posizionati per servire entrambi, senza aver compromesso la nostra architettura per capitalizzare le tendenze o le esigenze a breve termine.

Ora che Maverick-2 è in produzione e distribuito tra decine di clienti, può condividere esempi di come viene utilizzato? Ci sono risultati o benchmark specifici da dispiegamenti di bandiera?

Un esempio di bandiera è il nostro dispiegamento presso i Sandia National Labs, dove Maverick-2 alimenta il loro supercomputer Spectra come parte del programma Vanguard-II. Stiamo vedendo risultati di prestazioni impressionanti senza richiedere modifiche al codice. Stiamo anche lavorando con ODISSEE (Online Data Intensive Solutions for Science in the Exabytes Era), che riunisce istituzioni di ricerca leader per gestire dati su scala esabite provenienti dal Large Hadron Collider di CERN e dall’Osservatorio Square Kilometre Array. Il ruolo che Maverick-2 giocherà sarà quello di risolvere la sfida dell’elaborazione di petabyte di dati sperimentali grezzi in una frazione del tempo e dell’energia precedentemente richiesta. L’obiettivo finale è consentire analisi fisiche e scoperte astronomiche più rapide.

Ha raccolto oltre 300 milioni di dollari, con round di finanziamento importanti annunciati nel 2021 e più di recente. Può condividere come quel finanziamento ha accelerato lo sviluppo del prodotto e la portata del mercato?

Il finanziamento ci ha permesso di fare tre cose. Innanzitutto, abbiamo potuto spingere l’architettura più in là, non solo miglioramenti incrementali, ma avanzamenti fondamentali che hanno reso Maverick-2 pronto per la produzione. In secondo luogo, abbiamo scalato la nostra produzione e la catena di approvvigionamento per soddisfare la crescente domanda, una sfida non banale per nuove tecnologie. In terzo luogo, abbiamo ampliato il nostro ecosistema software per consentire ai clienti di integrare e distribuire più velocemente.

Ha anche reso possibile partnership strategiche con centri di calcolo ad alte prestazioni e fornitori di servizi cloud, permettendoci di semplificare il nostro processo da concept a deploy e di espanderci molto più velocemente delle startup di hardware tradizionali.

In un panorama che include Cerebras (CBRS ), SambaNova e Nvidia (NVDA ), come vede NextSilicon posizionarsi? Qual è il suo approccio di andare al mercato come sfidante?

Ci vediamo come un’azienda tecnologica più che come un’altra azienda di chip. Ottimizziamo ogni carico di lavoro, offriamo adattabilità e non blocciamo i clienti in programmazione o hardware proprietari. I nostri clienti possono portare il loro codice esistente e ottenere un’accelerazione immediata senza lunghi cicli di porting o blocco del fornitore in un unico ecosistema, come CUDA. Ciò conta soprattutto poiché i carichi di lavoro di intelligenza artificiale evolvono oltre la formazione pura. I modelli di ragionamento, l’inferenza estesa e le finestre di contesto più ampie richiedono modelli di calcolo fondamentalmente diversi: accesso alla memoria più dinamico, calcolo a lunghezza variabile e allocazione delle risorse adattiva. Questi non sono problemi che si risolvono con più della stessa architettura fissa.

La nostra strategia di andare al mercato si concentra sul risolvere i problemi più difficili per primi: lavorare con istituzioni di ricerca, laboratori nazionali e aziende in cui le prestazioni, l’efficienza energetica e la flessibilità sono critiche. Da lì, ci espandiamo nei mercati più ampi dell’intelligenza artificiale e dei dati intensivi. L’industria è dominata da architetture fisse. Noi offriamo qualcosa di diverso, l’adattabilità costruita fin dall’inizio. L’intelligenza artificiale sta passando dalla pura scala all’intelligenza. Modelli più grandi stanno abilitando un ragionamento più intelligente, da prompt brevi a comprensione del contesto lungo. In questa transizione, le architetture adattabili non saranno solo nuove; saranno essenziali.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare NextSilicon.