Kevin Tubbs, PhD, SVP Strategic Solutions Group presso Penguin Computing – Intervista

Kevin Tubbs, PhD, è il Senior Vice President del Strategic Solutions Group di Penguin Computing. Penguin Computing progetta soluzioni personalizzate, agnostiche e complete (hardware/software/cloud/servizi) per risolvere i complessi problemi scientifici, analitici e di ingegneria che le aziende Fortune 500, le startup, le istituzioni accademiche e le organizzazioni federali affrontano oggi

Cosa ti ha inizialmente attirato verso il campo dell’informatica?

I miei genitori mi hanno comprato un computer quando ero molto giovane e ho sempre avuto un interesse e una inclinazione per i computer e il lavoro di sperimentazione. Attraverso la mia formazione, mi sono sempre orientato verso i campi STEM e questo mi ha portato a voler essere coinvolto in un campo più applicativo. La mia formazione è in fisica e calcolo ad alte prestazioni (HPC). Avere una passione per i computer fin da piccolo mi ha permesso di mantenere l’informatica al centro di qualsiasi altro interesse scientifico, matematico o di ingegneria che ho avuto, il che mi ha portato a dove sono oggi.

Penguin Computing lavora a stretto contatto con il progetto Open Compute (OCP) – cosa è esattamente?

Fin dall’inizio del movimento Open Compute Project (OCP), Penguin Computing è stato un adottatore precoce, un sostenitore e un contributore importante per portare i benefici dell’OCP al calcolo ad alte prestazioni (HPC) e all’intelligenza artificiale (AI).

L’obiettivo dell’OCP è quello di riunire una comunità globale di sviluppatori per creare un ecosistema completo di tecnologie di infrastruttura ripensate per essere più efficienti, flessibili e scalabili. Penguin Computing si è unita all’OCP a causa delle tecnologie open e dell’idea di una comunità. Quello che abbiamo fatto nel tempo è assicurarci che l’eredità e le tecnologie dei tradizionali HPC e delle tendenze emergenti in AI e Analytics possano scalare in modo efficiente – Penguin Computing guida queste cose all’interno dell’OCP.

Uno dei vantaggi dell’OCP è che riduce il costo totale di proprietà (TCO) – minori spese di capitale, grazie alla rimozione di tutti gli elementi di vanità, e minori spese operative a causa del servizio dal fronte, della condivisione dell’alimentazione e di altri cambiamenti di progettazione – il che rende la tecnologia basata su OCP perfetta per la scalabilità.

Penguin Computing ha diversi prodotti OCP, tra cui la piattaforma Penguin Computing Tundra Extreme Scale e la piattaforma Penguin Computing Tundra AP. Le piattaforme Tundra sono anche compatibili con i carichi di lavoro HPC e AI.

Tundra AP, l’ultima generazione della nostra piattaforma di supercalcolo Tundra ad alta densità, combina la potenza di elaborazione dei processori Intel (INTC ) Xeon Scalable 9200 series con il server Relion XO1122eAP Server di Penguin Computing in un fattore di forma OCP che fornisce un’elevata densità di core CPU per rack.

Quando si tratta di big data, per ottimizzare i livelli di prestazione gli utenti devono rimuovere gli ostacoli che rallentano l’accesso ai dati. Come affronta Penguin Computing questo problema?

Penguin Computing ha sfruttato la nostra capacità di utilizzare tecnologie open e di muoversi rapidamente con le tendenze attuali – una delle quali è il big data o la crescita dei dati e dei carichi di lavoro guidati dai dati. In risposta a ciò, abbiamo costruito il nostro Strategic Solutions Group per affrontare questo problema direttamente.

Nell’affrontare il problema, abbiamo scoperto che la maggior parte dei carichi di lavoro, anche quelli provenienti dal calcolo tecnico tradizionale, sono tutti motivati a essere più guidati dai dati. Di conseguenza, Penguin Computing progetta soluzioni complete end-to-end cercando di comprendere il carico di lavoro dell’utente. Per creare una soluzione end-to-end ottimizzata per il carico di lavoro, ci concentriamo sul livello di software ottimizzato per il carico di lavoro, che include l’orchestrazione e la consegna del carico di lavoro. Fondamentalmente, dobbiamo capire come l’utente utilizzerà l’infrastruttura.

Poi, cerchiamo di concentrarci sull’infrastruttura di calcolo ottimizzata per il carico di lavoro. Ci sono vari livelli di dati e sfide di IO che esercitano una grande pressione sulla parte di calcolo. Ad esempio, diversi carichi di lavoro richiedono diverse combinazioni di infrastrutture di calcolo accelerate da CPU, GPU, larghezza di banda della memoria e networking che consente di far fluire i dati e di calcolarli.

Infine, dobbiamo capire quali soluzioni ci permetteranno di consegnare quei dati. Esaminiamo le infrastrutture di dati ottimizzate per il carico di lavoro per capire come il carico di lavoro interagisce con i dati, quali sono i requisiti di capacità e i modelli di IO. Una volta che abbiamo queste informazioni, ci aiutano a progettare un sistema ottimizzato.

Una volta che abbiamo tutte le informazioni, sfruttiamo la nostra competenza interna presso Penguin Computing per progettare e realizzare una soluzione completa. Sapendo che è progettata dal punto di vista delle prestazioni, dobbiamo capire dove viene distribuita (in loco, cloud, edge, combinazione di tutti, ecc.). Questo è l’approccio di Penguin Computing per consegnare una soluzione ottimizzata per i carichi di lavoro guidati dai dati.

Potresti discutere l’importanza dell’utilizzo di una GPU invece di una CPU per l’apprendimento profondo?

Una delle tendenze più grandi che ho visto riguardo all’importanza delle GPU per l’apprendimento profondo (DL) è stato il passaggio all’utilizzo di GPU general purpose (GPGPU) come pezzo di hardware parallelo che ha consentito di accelerare notevolmente la quantità di calcolo che si può eseguire per risolvere un problema di calcolo parallelo. Ciò è stato in corso per gli ultimi dieci anni.

Ho partecipato alle prime fasi della programmazione GPGPU quando ero alla scuola di specializzazione e all’inizio della mia carriera. Credo che avere quel balzo nella densità di calcolo, dove una GPU fornisce una grande quantità di core di calcolo e analisi su un dispositivo e consente di ottenere di più in uno spazio del server e di poter riutilizzare qualcosa che era originariamente destinato alla grafica come motore di calcolo, sia stata una vera e propria tendenza nell’HPC e nelle comunità AI.

Tuttavia, gran parte di ciò ha richiesto la conversione e l’ottimizzazione del codice per eseguirlo su GPU invece di CPU. Mentre facevamo tutto quel lavoro, aspettavamo il concetto dell’applicazione killer – l’applicazione o il caso d’uso che realmente decolla o è abilitato da una GPU. Per la comunità GPGPU, DL è stata quell’applicazione killer che ha galvanizzato gli sforzi e lo sviluppo nell’accelerazione dei carichi di lavoro HPC e AI.

Nel tempo, c’è stata una rinascita dell’AI e dell’apprendimento automatico (ML), e DL è entrata in gioco. Ci siamo resi conto che l’addestramento di una rete neurale utilizzando DL si adattava molto bene alla progettazione sottostante di una GPU. Credo che una volta che queste due cose si sono combinate, si ha la capacità di eseguire il tipo di DL che non era possibile in precedenza con i processori CPU e che alla fine ha limitato la nostra capacità di fare AI sia in scala che nella pratica.

Una volta che le GPU sono entrate in scena, hanno effettivamente rienergizzato la comunità di ricerca e sviluppo intorno all’AI e al DL, perché non si aveva semplicemente il livello di calcolo per farlo in modo efficiente e non era democratizzato. La GPU consente effettivamente di consegnare un calcolo più denso che, nel suo nucleo, è progettato bene per DL e l’ha portata a un livello di soluzioni di architettura hardware che ha reso più facile raggiungere più ricercatori e scienziati. Credo che questo sia uno dei grandi motivi per cui le GPU sono migliori per lo studio del DL.

Quali sono alcune delle soluzioni di calcolo accelerate da GPU offerte da Penguin Computing?

Penguin Computing si concentra attualmente su soluzioni end-to-end lavorate dal nostro Strategic Solutions Group, in particolare con la pratica AI e Analytics di Penguin Computing. All’interno di questa pratica, ci concentriamo su tre approcci di alto livello per soluzioni accelerate da GPU.

Primo, offriamo un’architettura di riferimento per l’analisi edge, dove cerchiamo di progettare soluzioni che si adattino ai data center non tradizionali (sull’edge o near edge). Ciò può includere data center edge di Teleco, strutture retail, stazioni di servizio e altro. Queste sono tutte soluzioni di inferenza AI basate. Alcune soluzioni sono rivolte all’analisi video per la tracciabilità dei contatti e al riconoscimento dei gesti per determinare se qualcuno si lava le mani o indossa una maschera. Queste sono applicazioni di soluzioni complete che includono hardware accelerate da GPU che sono ottimizzate per distribuzioni edge o non tradizionali, nonché stack di software per abilitare i ricercatori e gli utenti finali a utilizzarle in modo efficace.

La prossima classe di soluzioni di Penguin Computing è costruita per l’addestramento e l’inferenza AI di riferimento nelle architetture del data center e del core. Potresti pensare a sederti all’interno di un grande data center o nel cloud (Penguin Computing Cloud) dove alcuni dei nostri clienti stanno eseguendo un addestramento su larga scala utilizzando migliaia di GPU per accelerare il DL. Esaminiamo come consegnare soluzioni complete e architetture di riferimento che supportano tutti questi carichi di lavoro software e la containerizzazione attraverso la progettazione e la disposizione della GPU, fino alle esigenze di infrastruttura dei dati che la supportano.

La terza classe di architetture di riferimento in questa pratica è una combinazione delle due precedenti. Quello che cerchiamo nella nostra terza architettura di riferimento è come creare i tessuti di dati e i percorsi e i flussi di lavoro per abilitare l’apprendimento continuo in modo che si possa eseguire l’inferenza utilizzando le nostre soluzioni di edge accelerate da GPU, spingere quei dati al cloud privato o pubblico, continuare ad addestrare e, una volta che i nuovi modelli di addestramento vengono aggiornati, spingere quei modelli indietro all’inferenza. In questo modo, abbiamo un ciclo iterativo di apprendimento continuo e modelli AI.

Penguin Computing ha recentemente distribuito un nuovo supercomputer per LLNL in partnership con Intel e CoolIT. Potresti dirci qualcosa su questo supercomputer e per cosa è stato progettato?

Il supercomputer Magma, distribuito presso LLNL, è stato acquisito attraverso il contratto Commodity Technology Systems (CTS-1) con l’Amministrazione per la sicurezza nucleare nazionale (NNSA) ed è una delle prime distribuzioni dei processori Intel Xeon Platinum 9200 series con supporto per il raffreddamento a liquido completo di CoolIT Systems e l’interconnessione Omni-Path.

Finanziato attraverso il programma Advanced Simulation & Computing (ASC) dell’NNSA, Magma supporterà il programma di estensione della vita dell’NNSA e gli sforzi critici per garantire la sicurezza, la sicurezza e l’affidabilità delle armi nucleari della nazione in assenza di test sotterranei.

Il supercomputer Magma è un sistema HPC che è migliorato dall’intelligenza artificiale e rappresenta una piattaforma convergente che consente all’AI di accelerare la modellazione HPC. Magma è stato classificato nella lista Top500 di giugno 2020, entrando nella top 100, al #80.

Sotto il contratto CTS-1, Penguin Computing ha consegnato oltre 22 petaflops di capacità di calcolo per supportare il programma ASC presso i laboratori tri-nazionali dell’NNSA di Lawrence Livermore, Los Alamos e Sandia.

Quali sono alcuni dei modi diversi in cui Penguin Computing sta supportando la lotta contro il COVID-19?

Nel giugno 2020, Penguin Computing ha ufficialmente collaborato con AMD per fornire capacità di calcolo HPC ai ricercatori di tre importanti università negli Stati Uniti – New York University (NYU), Massachusetts Institute of Technology (MIT) e Rice University – per aiutare nella lotta contro il COVID-19.

Penguin Computing ha collaborato direttamente con il fondo HPC COVID-19 di AMD per fornire alle istituzioni di ricerca risorse di calcolo significative per accelerare la ricerca medica sul COVID-19 e altre malattie. Penguin Computing e AMD stanno collaborando per consegnare una costellazione di soluzioni HPC basate su cloud e on-premises a NYU, MIT e Rice University per aiutare a elevare le capacità di ricerca di centinaia di scienziati che contribuiranno alla comprensione del nuovo coronavirus.

Alimentati dai più recenti processori AMD EPYC di seconda generazione e acceleratori GPU Radeon Instinct MI50, i sistemi donati alle università sono attesi per fornire oltre un petaflop di prestazioni di calcolo. Un’ulteriore capacità di calcolo di quattro petaflop sarà resa disponibile ai ricercatori attraverso il nostro servizio cloud HPC, Penguin Computing On-Demand (POD). Combinati, i sistemi donati forniranno ai ricercatori oltre sette petaflop di potenza di calcolo accelerata da GPU che possono essere applicati per combattere il COVID-19.

Le università destinatarie sono attese per utilizzare la nuova capacità di calcolo in una gamma di carichi di lavoro relativi alla pandemia, tra cui genomica, sviluppo di vaccini, scienza della trasmissione e modellazione.

Altro che vorresti condividere su Penguin Computing?

Per oltre due decenni, Penguin Computing ha fornito soluzioni personalizzate, innovative e open al mondo del calcolo ad alte prestazioni e del calcolo tecnico. Le soluzioni di Penguin Computing danno alle organizzazioni l’agilità e la libertà di cui hanno bisogno per sfruttare le tecnologie più recenti nei loro ambienti di calcolo. Le organizzazioni possono concentrare le loro risorse sull’introduzione di prodotti e idee sul mercato in tempi record, invece di concentrarsi sulle tecnologie sottostanti. La gamma completa di soluzioni di Penguin Computing per AI/ML/Analytics, HPC, DataOps e tecnologie cloud native può essere personalizzata e combinata non solo per soddisfare le esigenze attuali, ma anche per adattarsi rapidamente alle future esigenze e ai cambiamenti tecnologici. I servizi professionali e gestiti di Penguin Computing aiutano con l’integrazione, l’implementazione e la gestione delle soluzioni. I servizi di hosting di Penguin Computing possono aiutare con il “dove” dell’ambiente di calcolo, fornendo alle organizzazioni opzioni di proprietà e la flessibilità di eseguire il codice on-premises, su cloud pubblico o dedicato, ospitato o come servizio.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Penguin Computing.