Finanziamenti
Ludovic Larzul, Fondatore e Amministratore Delegato di Mipsology – Serie di Interviste
Ludovic Larzul è il fondatore e amministratore delegato di Mipsology, una startup innovativa focalizzata sull’accelerazione di stato dell’arte per l’inferenza del deep learning. Hanno ideato una tecnologia per accelerare i calcoli delle reti neurali di inferenza e nascondere l’acceleratore hardware agli utenti di intelligenza artificiale. Zebra di Mipsology è il primo acceleratore commerciale che incorpora tale tecnologia per fornire elevate prestazioni e facilità d’uso.
Cosa ti ha inizialmente interessato all’IA e ai microchip?
Ho lavorato nel design di un tipo specifico di supercomputer per circa 20 anni con la mia precedente azienda EVE, prima che venisse acquisita da Synopsys nel 2012. Quei computer, chiamati anche emulatori di ASIC, sono utilizzati da molte aziende che progettano ASIC in tutto il mondo. Ho apprezzato molto la complessità e la diversità di quel lavoro. Per avere successo, è necessario (a) comprendere l’elettronica, il software, gli algoritmi complessi, come le persone progettano i chip e come assicurarsi che funzionino correttamente, l’architettura del chip, la potenza e altro tecnologia avanzata, (b) prevedere correttamente le esigenze dei clienti alcuni anni in anticipo, (c) innovare continuamente e (d) come startup, sconfiggere la concorrenza con molte meno risorse. Dopo 20 anni di successo, stavo cercando una nuova sfida. Questo era il momento in cui l’IA aveva iniziato a tornare alla ribalta. AlexNet aveva fatto un balzo in avanti nella comprensione delle immagini (e guardando indietro, era ancora in una fase iniziale). Il deep learning era completamente nuovo, ma promettente (Chi si ricorda di quando ci volevano giorni per ottenere un risultato su una rete semplice?). Ho trovato che fosse piuttosto “divertente”, ma ho riconosciuto che c’erano molte sfide.
Qual è stata l’ispirazione dietro il lancio di Mipsology?
Non so se userei la parola “ispirazione”. Inizialmente era più come: “Possiamo fare qualcosa di diverso e migliore?” È iniziato con assunzioni su cosa gli utenti di IA avrebbero voluto e fatto, e i prossimi anni sono stati trascorsi trovando soluzioni sempre migliori in base a ciò. Credo che più che ispirazione, direi che le persone con cui lavoro vogliono essere le migliori in ciò che creano, in un’attitudine di competizione positiva. Ciò rende un team forte che può risolvere problemi che altri non riescono a risolvere adeguatamente.
Mipsology utilizza schede FPGA invece di GPU. Puoi descrivere cosa sono le FPGA?
Le FPGA sono componenti elettronici che possono essere programmati a livello hardware. Puoi immaginarle come un set di Lego — alcuni milioni di essi. Ogni piccolo blocco esegue un’operazione semplice come memorizzare un valore o operazioni leggermente più complesse come l’addizione. Raggruppando tutti questi blocchi, è possibile creare un comportamento specifico dopo la produzione del chip. Ciò è l’opposto delle GPU e quasi tutti gli altri chip, che sono progettati per una funzione specifica e non possono essere modificati successivamente.
Alcuni, come le CPU e le GPU, possono essere programmati, ma non sono così paralleli come le FPGA. In qualsiasi momento, una FPGA esegue alcuni milioni di operazioni semplicistiche. E ciò può accadere sei o settecento milioni di volte al secondo. Poiché sono programmabili, ciò che fanno può essere modificato in qualsiasi momento per adattarsi a diversi problemi, quindi il potere di calcolo straordinario può essere efficace. Le FPGA sono già quasi ovunque, comprese le stazioni di base dei telefoni cellulari, le reti, i satelliti, le auto, ecc. Le persone non le conoscono bene, tuttavia, perché non sono così visibili come una CPU come quella nel tuo laptop.
Cosa rende queste schede FPGA la soluzione superiore alle più popolari GPU?
Le FPGA sono superiori in molti aspetti. Concentriamoci solo su alcuni aspetti importanti.
Le GPU sono progettate per la renderizzazione di immagini, principalmente per i giochi. Sono state trovate a corrispondere bene con alcuni calcoli nell’IA a causa della somiglianza delle operazioni. Tuttavia, rimangono principalmente dedicate ai giochi, il che significa che vengono con vincoli che non si adattano bene alle reti neurali.
La loro programmazione è anche limitata alle istruzioni che sono state decise due o tre anni prima che siano disponibili. Il problema è che le reti neurali stanno avanzando più rapidamente del design degli ASIC, e le GPU sono ASIC. Quindi, è come cercare di prevedere il futuro: non è semplice essere nel giusto. Puoi vedere le tendenze, ma sono i dettagli che hanno un impatto reale sui risultati, come le prestazioni. Al contrario, poiché le FPGA sono programmabili a livello hardware, possiamo più facilmente stare al passo con i progressi dell’IA. Ciò ci consente di offrire un prodotto migliore con prestazioni più elevate e di soddisfare le esigenze dei clienti senza dover aspettare la prossima generazione di silicio.
Inoltre, le GPU sono progettate per essere prodotti di consumo. La loro durata di vita è intenzionalmente breve, perché le aziende che progettano le GPU vogliono venderne di nuove alcuni anni dopo ai giocatori. Ciò non funziona bene nei sistemi elettronici che devono essere affidabili per molti anni. Le FPGA sono progettate per essere robuste e utilizzate 24/7 per molti anni.
Altri vantaggi ben noti delle FPGA includono:
- Ci sono molte opzioni che possono adattarsi a specifiche aree come la rete o l’elaborazione video
- Funzionano altrettanto bene nei data center come al margine o in sistemi integrati
- Non richiedono un raffreddamento specifico (molto meno raffreddamento ad acqua come le grandi GPU)
Un grande svantaggio è che le FPGA sono difficili da programmare. Richiede conoscenze specifiche. Anche se le aziende che vendono le FPGA hanno fatto grandi sforzi per colmare il divario di complessità, non è ancora così semplice come una CPU. In realtà, le GPU non sono semplici nemmeno loro. Ma il software che nasconde la loro programmazione per l’IA rende tale conoscenza non necessaria. Quello è il problema che Mipsology è il primo a risolvere: rimuovere la necessità di programmazione o conoscenza di FPGA per il calcolo dell’IA.
Esistono attualmente limitazioni alle schede FPGA?
Alcune schede FPGA sono come alcune schede GPU. Possono essere inserite nelle slot PCIe di un computer. Un vantaggio ben noto, oltre alla durata di vita che ho menzionato prima, è che il consumo di potenza è generalmente inferiore alle GPU. Un altro meno noto è che c’è una selezione più ampia di schede FPGA rispetto alle schede GPU. Ci sono più FPGA per più mercati, il che porta a più schede che si adattano a diverse aree dei mercati. Ciò significa semplicemente che ci sono più possibilità per il calcolo delle reti neurali ovunque a un costo inferiore. Le GPU sono più limitate; si adattano ai data center, ma non molto altro.
Zebra di Mipsology è il primo acceleratore commerciale che incorpora le schede FPGA per fornire elevate prestazioni e facilità d’uso. Puoi descrivere cosa è Zebra?
Per coloro che sono familiari con l’IA e le GPU, la descrizione più semplice è che Zebra è alle FPGA ciò che Cuda/CuDNN è alle GPU. È uno stack di software che nasconde completamente la FPGA dietro framework usuali come PyTorch o TensorFlow. Stiamo puntando principalmente all’inferenza per immagini e video. Zebra inizia con una rete neurale che è stata addestrata tipicamente in virgola mobile, e senza alcuno sforzo manuale o strumento proprietario, la fa funzionare su qualsiasi scheda basata su FPGA. È così semplice: inserisci la scheda FPGA, carica il driver, imposta l’ambiente Zebra e avvia la stessa applicazione di inferenza come quella in esecuzione su CPU o GPU. Abbiamo la nostra quantizzazione che mantiene l’accuratezza e le prestazioni sono fuori dalla scatola. Non c’è uno strumento proprietario che l’utente debba imparare e non richiede ore di tempo di ingegneria per ottenere un alto throughput o una bassa latenza. Ciò significa semplicemente transizioni rapide, il che riduce anche i costi e il tempo di mercato.
Quali sono i diversi tipi di applicazioni per cui Zebra è meglio progettata?
Zebra è un motore di accelerazione generico, quindi può accelerare il calcolo per qualsiasi applicazione che debba calcolare reti neurali, con un focus primario su immagini e video perché i requisiti di calcolo sono più grandi per questo tipo di dati. Abbiamo richieste da mercati molto diversi, ma sono tutti simili quando si tratta di calcolare le reti neurali. Tutti richiedono generalmente classificazione, segmentazione, super risoluzione, posizionamento del corpo, ecc.
Poiché Zebra funziona su FPGA, qualsiasi tipo di scheda può essere utilizzato. Alcune hanno un alto throughput e sono tipicamente utilizzate nei data center. Altre sono più adatte per l’uso al margine o in sistemi integrati. La nostra visione è che, se una FPGA può adattarsi, gli utenti possano utilizzare Zebra per accelerare i calcoli delle loro reti neurali subito. E se le GPU o le CPU vengono utilizzate, Zebra può sostituirle e ridurre i costi dell’infrastruttura di IA. La maggior parte delle aziende con cui parliamo sta affrontando problemi simili: potrebbero distribuire più applicazioni basate su IA, ma il costo li sta limitando.
Per un’azienda che desidera utilizzare Zebra, qual è il processo?
Semplicemente facci sapere a [email protected] e ti aiuteremo a iniziare.
C’è qualcos’altro che ti piacerebbe condividere su Mipsology?
Siamo molto incoraggiati dal feedback che riceviamo dalla comunità di IA per la nostra soluzione Zebra. In particolare, ci viene detto che questo è probabilmente il miglior acceleratore sul mercato. Dopo solo alcuni mesi, continuiamo ad aggiungere a un crescente ecosistema di partner interessati, tra cui Xilinx, Dell, Western Digital, Avnet, TUL e Advantech, per citarne alcuni.
Ho realmente apprezzato imparare su questa tecnologia innovativa. I lettori che desiderano saperne di più possono visitare Mipsology.
