Kevin Tubbs, PhD, Directeur des solutions stratégiques chez Penguin Computing – Série d’entretiens

Kevin Tubbs, PhD, est le directeur des solutions stratégiques chez Penguin Computing. Penguin Computing conçoit des solutions agnostiques, complètes et intégrées (matériel/logiciel/nuage/services) pour résoudre les problèmes scientifiques, analytiques et d’ingénierie complexes auxquels sont confrontées les entreprises du Fortune 500, les startups, les institutions universitaires et les organisations fédérales.

Qu’est-ce qui vous a initialement attiré dans le domaine de l’informatique ?

Mes parents m’ont offert un ordinateur lorsque j’étais très jeune, et j’ai toujours eu un intérêt et un don pour les ordinateurs et la bidouille. Au travers de mes études, j’ai constamment été attiré par les domaines STEM et cela m’a conduit à vouloir être impliqué dans un domaine plus appliqué. Mon background est la physique et l’informatique haute performance (HPC). Avoir une passion pour les ordinateurs dès le début m’a permis de garder l’informatique au premier plan de tous mes autres intérêts pour la science, les mathématiques et l’ingénierie, ce qui m’a mené à où je suis aujourd’hui.

Penguin Computing travaille étroitement avec le projet Open Compute (OCP) – qu’est-ce que c’est exactement ?

Depuis le début du mouvement Open Compute Project (OCP), Penguin Computing a été un des premiers à adopter, à soutenir et à contribuer de manière significative à l’effort pour apporter les avantages de l’OCP à l’informatique haute performance (HPC) et à l’intelligence artificielle (IA).

L’objectif de l’OCP est de rassembler une communauté mondiale de développeurs pour créer un écosystème complet de technologie d’infrastructure réimaginée pour être plus efficace, flexible et évolutif. Penguin Computing a rejoint l’OCP en raison des technologies ouvertes et de l’idée de communauté. Ce que nous avons fait au fil du temps, c’est nous assurer que l’héritage et les technologies des HPC traditionnels et des tendances émergentes en IA et en analyse puissent être mis à l’échelle de manière efficace – Penguin Computing impulse ces choses dans l’OCP.

L’un des avantages de l’OCP est qu’il réduit le coût total de possession (TCO) – coûts d’investissement plus bas, grâce à la suppression de tous les éléments de vanité, et coûts d’exploitation plus bas en raison du service depuis l’avant, de l’alimentation partagée et d’autres changements de conception – ce qui rend la technologie basée sur l’OCP parfaite pour la mise à l’échelle.

Penguin Computing propose plusieurs produits OCP, notamment la plate-forme Penguin Computing Tundra Extreme Scale et la plate-forme Penguin Computing Tundra AP. Les plate-formes Tundra sont également compatibles avec les charges de travail HPC et IA.

Tundra AP, la dernière génération de notre plate-forme de supercalcul haute densité Tundra, combine la puissance de traitement des processeurs Intel (INTC ) Xeon Scalable 9200 série avec le serveur Relion XO1122eAP de Penguin Computing dans un facteur de forme OCP qui offre une haute densité de cœurs CPU par rack.

En ce qui concerne les grandes données, pour optimiser les niveaux de performance, les utilisateurs doivent supprimer les goulots d’étranglement qui ralentissent leur accès aux données. Comment Penguin Computing aborde-t-il ce problème ?

Penguin Computing a exploité sa capacité à utiliser des technologies ouvertes et à suivre les tendances actuelles – l’une desquelles est la croissance des données et des charges de travail axées sur les données. En réponse à cela, nous avons construit notre groupe de solutions stratégiques pour résoudre ce problème de front.

En abordant le problème, nous avons constaté que la majorité des charges de travail, même celles des calculs techniques traditionnels, sont toutes motivées pour être plus axées sur les données. En conséquence, Penguin Computing conçoit des solutions complètes et intégrées en essayant de comprendre la charge de travail de l’utilisateur. Pour créer une solution intégrée et optimisée pour la charge de travail, nous nous concentrons sur la couche de logiciel optimisée pour la charge de travail, qui comprend l’orchestration et la livraison de la charge de travail. Essentiellement, nous devons comprendre comment l’utilisateur utilisera l’infrastructure.

Ensuite, nous essayons de nous concentrer sur l’infrastructure de calcul optimisée pour la charge de travail. Il existe différents niveaux de défis de données et d’E/S qui mettent une grande pression sur la partie de calcul. Par exemple, les différentes charges de travail nécessitent des combinaisons différentes d’infrastructures de calcul accélérées à partir de CPU, de GPU, de bande passante de mémoire et de réseau qui permettent aux données d’être acheminées et traitées.

Enfin, nous devons déterminer quels types de solutions permettront de livrer ces données. Nous examinons les infrastructures de données optimisées pour la charge de travail pour comprendre comment la charge de travail interagit avec les données, quels sont les besoins de capacité et les modèles d’E/S. Une fois que nous avons ces informations, cela nous aide à concevoir un système optimisé pour la charge de travail.

Une fois que nous avons toutes les informations, nous exploitons notre expertise interne chez Penguin Computing pour concevoir et proposer une solution complète. Sachant qu’il est conçu du point de vue des performances, nous devons comprendre où il est déployé (sur site, dans le cloud, sur le bord, combinaison de tous, etc.). C’est l’approche de Penguin Computing pour proposer une solution optimisée pour les charges de travail axées sur les données.

Pouvez-vous discuter de l’importance de l’utilisation d’une GPU au lieu d’un CPU pour l’apprentissage profond ?

L’une des plus grandes tendances que j’ai vues en ce qui concerne l’importance des GPU pour l’apprentissage profond (DL) était le passage de l’utilisation de GPU généraux (GPGPU) comme un élément de données parallèles qui permettait d’accélérer massivement la quantité de cœurs de calcul que vous pouvez livrer pour résoudre un problème de calcul parallèle. Cela se déroule depuis les dix dernières années.

J’ai participé aux premières étapes de la programmation GPGPU lorsque j’étais à l’université et au début de ma carrière. Je crois que cette augmentation de la densité de calcul, où une GPU offre une grande quantité de calcul et d’analyse dense sur un appareil et vous permet d’en avoir plus dans un espace de serveur et en étant capable de réutiliser quelque chose qui était à l’origine destiné aux graphiques en un moteur de calcul, était une véritable tendance révélatrice dans les communautés HPC et IA.

Cependant, une grande partie de cela reposait sur la conversion et l’optimisation du code pour qu’il s’exécute sur des GPU au lieu de CPU. Alors que nous faisions tout ce travail, nous attendions le concept d’une application tueuse – l’application ou le cas d’utilisation qui prend vraiment son essor ou est rendu possible par une GPU. Pour la communauté GPGPU, l’apprentissage profond était cette application tueuse qui a galvanisé les efforts et le développement pour accélérer les charges de travail HPC et IA.

Au fil du temps, il y a eu un regain d’intérêt pour l’IA et l’apprentissage automatique (ML), et l’apprentissage profond est devenu une réalité. Nous avons réalisé que la formation d’un réseau neuronal à l’aide de l’apprentissage profond correspondait très bien à la conception sous-jacente d’une GPU. Je crois qu’une fois que ces deux choses se sont conjuguées, vous avez la capacité de faire les types d’apprentissage profond qui n’étaient pas possibles auparavant avec les processeurs CPU et qui ont finalement limité notre capacité à faire de l’IA à la fois à grande échelle et dans la pratique.

Une fois que les GPU sont devenus disponibles, cela a réellement ravivé la communauté de recherche et de développement autour de l’IA et de l’apprentissage profond, car vous n’aviez simplement pas le niveau de calcul pour le faire de manière efficace et ce n’était pas démocratisé. La GPU permet réellement de livrer un calcul plus dense qui, à son cœur, est bien conçu pour l’apprentissage profond et l’a rendu plus accessible à davantage de chercheurs et de scientifiques. Je crois que c’est l’une des grandes raisons pour lesquelles les GPU sont meilleurs pour l’apprentissage profond.

Quelles sont certaines des solutions de calcul accélérées par GPU proposées par Penguin Computing ?

Penguin Computing se concentre actuellement sur des solutions complètes et intégrées proposées par notre groupe de solutions stratégiques, en particulier avec la pratique d’IA et d’analyse de Penguin Computing. Dans cette pratique, nous nous concentrons sur trois approches de haut niveau pour les solutions accélérées par GPU.

Tout d’abord, nous proposons une architecture de référence pour l’analyse de bord, où nous concevons des solutions qui conviennent aux centres de données non traditionnels (au bord ou près du bord). Cela peut inclure les centres de données de bord de télécommunication, les installations de détail, les stations-service, etc. Ce sont toutes des solutions d’IA basées sur l’inférence. Certaines solutions sont conçues pour l’analyse de vidéos pour la traçabilité des contacts et la reconnaissance des gestes pour déterminer si quelqu’un se lave les mains ou porte un masque. Ce sont des applications de solutions complètes qui incluent du matériel accéléré par GPU qui est finement ajusté pour les déploiements de bord non traditionnels, ainsi que les piles logicielles pour permettre aux chercheurs et aux utilisateurs finals de les utiliser efficacement.

La classe suivante de solutions Penguin Computing est conçue pour les architectures de référence d’entraînement et d’inférence d’IA en centre de données et en nuage. Vous pourriez penser à vous asseoir à l’intérieur d’un grand centre de données ou dans le cloud (Penguin Computing Cloud) où certains de nos clients effectuent un entraînement à grande échelle en utilisant des milliers de GPU pour accélérer l’apprentissage profond. Nous examinons la manière dont nous livrons des solutions complètes et des architectures de référence qui prennent en charge tous ces workloads logiciels et la conteneurisation via la conception et la disposition de la GPU, ainsi que les exigences d’infrastructure de données qui les soutiennent.

La troisième classe d’architectures de référence dans cette pratique est une combinaison des deux précédentes. Ce que nous recherchons dans notre troisième famille d’architectures de référence est la manière de créer les tissus de données et les flux de travail pour permettre un apprentissage continu, afin que vous puissiez exécuter l’inférence en utilisant nos solutions accélérées par GPU de bord, pousser ces données vers le cloud privé ou public, continuer à former sur elles, et lorsque les nouveaux modèles de formation sont mis à jour, les repousser vers l’inférence. De cette façon, nous avons un cycle itératif d’apprentissage continu et de modèles d’IA.

Penguin Computing a récemment déployé un nouveau supercalculateur pour LLNL en partenariat avec Intel et CoolIT. Pouvez-vous nous en dire plus sur ce supercalculateur et à quoi il était destiné ?

Le supercalculateur Magma, déployé à LLNL, a été acquis via le contrat Commodity Technology Systems (CTS-1) avec l’Administration nationale de la sécurité nucléaire (NNSA) et constitue l’un des premiers déploiements de processeurs Intel Xeon Platinum 9200 série avec le système de refroidissement complet par liquide CoolIT et l’interconnecteur Omni-Path.

Financé par le programme Advanced Simulation & Computing (ASC) de la NNSA, Magma soutiendra le programme de prolongation de vie de la NNSA et les efforts critiques pour assurer la sécurité, la sûreté et la fiabilité de l’arsenal nucléaire de la nation en l’absence d’essais souterrains.

Le supercalculateur Magma est un système HPC qui est amélioré par l’IA et constitue une plate-forme convergée qui permet à l’IA d’accélérer la modélisation HPC. Magma a été classé dans la liste Top500 de juin 2020, se hissant dans le top 100, à la 80e place.

Sous le contrat CTS-1, Penguin Computing a livré plus de 22 petaflops de capacité de calcul pour soutenir le programme ASC aux laboratoires nationaux de Lawrence Livermore, Los Alamos et Sandia.

Quelles sont certaines des différentes manières dont Penguin Computing soutient la lutte contre le COVID-19 ?

En juin 2020, Penguin Computing a officiellement conclu un partenariat avec AMD pour fournir des capacités HPC aux chercheurs de trois des meilleures universités des États-Unis – New York University (NYU), Massachusetts Institute of Technology (MIT) et Rice University – pour aider à lutter contre le COVID-19.

Penguin Computing a conclu un partenariat direct avec le fonds HPC COVID-19 d’AMD pour fournir des ressources de calcul importantes aux institutions de recherche pour accélérer la recherche médicale sur le COVID-19 et d’autres maladies. Penguin Computing et AMD collaborent pour livrer une constellation de solutions HPC sur site et basées sur le cloud aux universités NYU, MIT et Rice University pour aider à élever les capacités de recherche de centaines de scientifiques qui contribueront finalement à une meilleure compréhension du coronavirus.

Équipés des derniers processeurs AMD EPYC de 2e génération et des accélérateurs de GPU Radeon Instinct MI50, les systèmes donnés aux universités devraient chacun fournir plus d’un petaflop de performances de calcul. Une capacité de calcul supplémentaire de quatre petaflops sera mise à la disposition des chercheurs via notre service HPC cloud, Penguin Computing On-Demand (POD). Combinés, les systèmes donnés fourniront aux chercheurs plus de sept petaflops de puissance de calcul accélérée par GPU qui peuvent être appliqués pour lutter contre le COVID-19.

Les universités bénéficiaires devraient utiliser la nouvelle capacité de calcul sur une gamme de charges de travail liées à la pandémie, notamment la génomique, le développement de vaccins, la science de la transmission et la modélisation.

Avez-vous autre chose à partager sur Penguin Computing ?

Pendant plus de deux décennies, Penguin Computing a fourni des solutions personnalisées, innovantes et ouvertes au monde de l’informatique haute performance et technique. Les solutions de Penguin Computing donnent aux organisations l’agilité et la liberté dont elles ont besoin pour exploiter les dernières technologies dans leurs environnements de calcul. Les organisations peuvent concentrer leurs ressources sur la livraison de produits et d’idées sur le marché en un temps record, au lieu de se concentrer sur les technologies sous-jacentes. La gamme complète de solutions de Penguin Computing pour les technologies d’IA/ML/Analyse, HPC, DataOps et cloud natives peut être personnalisée et combinée pour répondre non seulement aux besoins actuels, mais également pour s’adapter rapidement aux besoins et aux changements technologiques futurs. Les services professionnels et gérés de Penguin Computing aident à intégrer, à mettre en œuvre et à gérer les solutions. Les services d’hébergement de Penguin Computing peuvent aider pour le « où » de l’environnement de calcul en offrant aux organisations des options de propriété et la flexibilité de fonctionner sur site, sur le cloud public ou dédié, hébergé ou en tant que service.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Penguin Computing.