Interviste
Ludovic Larzul, Fondatore e Amministratore Delegato di Mipsology – Serie di Interviste
Aggiungi Unite.AI alle tue fonti preferite su Google
Ludovic Larzul è il fondatore e amministratore delegato di Mipsology, una startup innovativa focalizzata sull’accelerazione di stato dell’arte per l’inferenza del deep learning. Hanno ideato una tecnologia per accelerare i calcoli delle reti neurali di inferenza e nascondere l’acceleratore hardware agli utenti di intelligenza artificiale. Zebra di Mipsology è il primo acceleratore commerciale che incorpora tale tecnologia per fornire elevate prestazioni e facilità d’uso.
Cosa ti ha portato a interessarti di intelligenza artificiale e microchip?
Ho lavorato per circa 20 anni nel design di un tipo specifico di supercomputer con la mia precedente azienda EVE, prima che venisse acquisita da Synopsys nel 2012. Quei computer, noti anche come emulatori di ASIC, vengono utilizzati da molte aziende che progettano ASIC in tutto il mondo. Ho apprezzato molto la complessità e la diversità di quel lavoro. Per avere successo, è necessario (a) comprendere l’elettronica, il software, gli algoritmi complessi, come le persone progettano i chip e come assicurarsi che funzionino correttamente, l’architettura del chip, la potenza e altro tecnologia avanzata, (b) prevedere correttamente le esigenze dei clienti alcuni anni in anticipo, (c) innovare continuamente e (d) come startup, sconfiggere la concorrenza con molte meno risorse. Dopo 20 anni di successo, stavo cercando una nuova sfida. Questo era il momento in cui l’intelligenza artificiale aveva iniziato a tornare alla ribalta. AlexNet aveva fatto un balzo in avanti nella comprensione delle immagini (e guardando indietro, era ancora in una fase iniziale). Il deep learning era completamente nuovo, ma promettente (Chi si ricorda di quando ci volevano giorni per ottenere un risultato su una rete semplice?). Ho trovato che fosse abbastanza “divertente”, ma ho riconosciuto che c’erano molte sfide.
Cosa ti ha ispirato a lanciare Mipsology?
Non so se userei la parola “ispirazione”. Inizialmente era più come: “Possiamo fare qualcosa di diverso e migliore?” È iniziato con ipotesi su cosa gli utenti di intelligenza artificiale avrebbero voluto e fatto, e i prossimi anni sono stati spesi a trovare soluzioni sempre migliori in base a ciò. Credo che più che ispirazione, direi che le persone con cui lavoro amano essere le migliori in ciò che creano, in un’attitudine di competizione positiva. Ciò crea una squadra forte che può risolvere problemi che altri non riescono a risolvere adeguatamente.
Mipsology utilizza schede FPGA invece di GPU. Puoi descrivere cosa sono gli FPGA?
Gli FPGA sono componenti elettronici che possono essere programmati a livello di hardware. Puoi immaginarli come un set di Lego — alcuni milioni di essi. Ogni piccolo blocco esegue un’operazione semplice come memorizzare un valore o operazioni leggermente più complesse come l’addizione. Raggruppando tutti questi blocchi, è possibile creare un comportamento specifico dopo la produzione del chip. Ciò è l’opposto delle GPU e quasi tutti gli altri chip, che sono progettati per una funzione specifica e non possono essere modificati successivamente.
Alcuni, come le CPU e le GPU, possono essere programmati, ma non sono così paralleli come gli FPGA. In qualsiasi momento, un FPGA esegue alcune milioni di operazioni semplicistiche. E ciò può accadere sei o settecento milioni di volte al secondo. Poiché sono programmabili, ciò che fanno può essere modificato in qualsiasi momento per adattarsi a problemi diversi, quindi la potenza di calcolo straordinaria può essere efficace. Gli FPGA sono già quasi ovunque, comprese le stazioni di base dei telefoni cellulari, le reti, i satelliti, le auto, ecc. Le persone non li conoscono bene, tuttavia, perché non sono così visibili come una CPU come quella nel tuo laptop.
Cosa rende queste schede FPGA la soluzione superiore rispetto alle più popolari GPU?
Gli FPGA sono superiori in molti aspetti. Concentriamoci solo su alcuni aspetti importanti.
Le GPU sono progettate per la renderizzazione di immagini, principalmente per i giochi. Sono state trovate a corrispondere bene con alcuni calcoli nell’intelligenza artificiale a causa della somiglianza delle operazioni. Tuttavia, rimangono principalmente dedicate ai giochi, il che significa che vengono con vincoli che non si adattano bene alle reti neurali.
La loro programmazione è anche limitata alle istruzioni decise due o tre anni prima che siano disponibili. Il problema è che le reti neurali stanno avanzando più rapidamente del design degli ASIC, e le GPU sono ASIC. Quindi, è come cercare di prevedere il futuro: non è semplice essere nel giusto. Puoi vedere le tendenze, ma sono i dettagli che hanno un impatto reale sui risultati, come le prestazioni. Al contrario, poiché gli FPGA sono programmabili a livello di hardware, possiamo tenere meglio il passo con i progressi dell’intelligenza artificiale. Ciò ci consente di offrire un prodotto migliore con prestazioni più elevate e di soddisfare le esigenze del cliente senza dover aspettare la prossima generazione di silicio.
Inoltre, le GPU sono progettate per essere prodotti di consumo. La loro durata di vita è intenzionalmente breve, perché le aziende che progettano le GPU vogliono vendere nuove GPU alcuni anni dopo ai giocatori. Ciò non funziona bene nei sistemi elettronici che devono essere affidabili per molti anni. Gli FPGA sono progettati per essere robusti e utilizzati 24/7 per molti anni.
Altri vantaggi ben noti degli FPGA includono:
- Esistono molte opzioni che possono adattarsi a specifiche aree come la rete o l’elaborazione video
- Funzionano altrettanto bene nei data center, al margine o in sistemi integrati
- Non richiedono un raffreddamento specifico (molto meno il raffreddamento ad acqua come le grandi GPU)
Un grande svantaggio è che gli FPGA sono difficili da programmare. Richiede conoscenze specifiche. Anche se le aziende che vendono gli FPGA hanno fatto grandi sforzi per colmare il divario di complessità, non è ancora così semplice come una CPU. In realtà, le GPU non sono semplici nemmeno loro. Ma il software che nasconde la loro programmazione per l’intelligenza artificiale rende quella conoscenza non necessaria. Quello è il problema che Mipsology è la prima a risolvere: rimuovere la necessità di programmazione o conoscenza di FPGA per il calcolo dell’intelligenza artificiale.
Esistono limitazioni attuali per le schede FPGA?
Alcune schede FPGA sono come alcune schede GPU. Possono essere inserite nelle slot PCIe di un computer. Un vantaggio ben noto, oltre alla durata di vita che ho menzionato prima, è che il consumo di potenza è generalmente inferiore alle GPU. Un altro meno noto è che esiste una selezione più ampia di schede FPGA rispetto alle schede GPU. Ci sono più FPGA per più mercati, il che porta a più schede che si adattano a diverse aree dei mercati. Ciò significa semplicemente che ci sono più possibilità per il calcolo delle reti neurali ovunque a un costo inferiore. Le GPU sono più limitate; si adattano ai data center, ma non molto altro.
Zebra di Mipsology è il primo acceleratore commerciale che incorpora le schede FPGA per fornire elevate prestazioni e facilità d’uso. Puoi descrivere cosa è Zebra?
Per coloro che sono familiari con l’intelligenza artificiale e le GPU, la descrizione più semplice è che Zebra è agli FPGA ciò che Cuda/CuDNN è alle GPU. È uno stack di software che nasconde completamente l’FPGA dietro framework usuali come PyTorch o TensorFlow. Stiamo puntando principalmente all’inferenza per immagini e video. Zebra inizia con una rete neurale che è stata addestrata tipicamente in virgola mobile e, senza alcuno sforzo manuale dell’utente o strumento proprietario, la fa eseguire su qualsiasi scheda basata su FPGA. È così semplice: inserisci la scheda FPGA, carica il driver, imposta l’ambiente Zebra e avvia la stessa applicazione di inferenza come quella in esecuzione su CPU o GPU. Abbiamo la nostra quantizzazione che mantiene l’accuratezza e le prestazioni sono immediate. Non c’è uno strumento proprietario che l’utente debba imparare e non richiede ore di tempo di ingegneria per ottenere un alto throughput o una bassa latenza. Ciò significa transizioni rapide, che riducono anche i costi e il tempo di mercato.
Quali sono i diversi tipi di applicazioni per cui Zebra è meglio progettato?
Zebra è un motore di accelerazione generico, quindi può accelerare il calcolo per qualsiasi applicazione che necessita di calcolare reti neurali, con un focus principale su immagini e video perché le esigenze di calcolo sono più grandi per questo tipo di dati. Abbiamo richieste da mercati molto diversi, ma sono tutti simili quando si tratta di calcolare le reti neurali. Tutti richiedono tipicamente classificazione, segmentazione, risoluzione super, posizionamento del corpo, ecc.
Poiché Zebra funziona su FPGA, qualsiasi tipo di scheda può essere utilizzato. Alcune hanno un alto throughput e vengono tipicamente utilizzate nei data center. Altre sono più adatte all’uso al margine o in sistemi integrati. La nostra visione è che, se un FPGA può essere inserito, gli utenti possano utilizzare Zebra per accelerare i calcoli delle reti neurali immediatamente. E se vengono utilizzate GPU o CPU, Zebra può sostituirle e ridurre i costi dell’infrastruttura di intelligenza artificiale. La maggior parte delle aziende con cui parliamo sta affrontando problemi simili: potrebbero distribuire più applicazioni basate sull’intelligenza artificiale, ma il costo li limita.
Per un’azienda che desidera utilizzare Zebra, qual è il processo?
Semplicemente facci sapere all’indirizzo support@mipsology.com e ti aiuteremo a iniziare.
C’è qualcos’altro che vorresti condividere su Mipsology?
Siamo molto incoraggiati dal feedback che riceviamo dalla comunità di intelligenza artificiale per la nostra soluzione Zebra. In particolare, ci viene detto che questo è probabilmente il miglior acceleratore sul mercato. Dopo solo alcuni mesi, continuiamo ad aggiungere a un ecosistema in crescita di partner interessati, tra cui Xilinx, Dell, Western Digital (WDC ), Avnet, TUL e Advantech, per citarne alcuni.
Ho realmente apprezzato imparare su questa tecnologia innovativa. I lettori che desiderano saperne di più possono visitare Mipsology.
