Kevin Tubbs, PhD, Vicepresidente de Grupo de Soluciones Estratégicas en Penguin Computing – Serie de Entrevistas

Kevin Tubbs, PhD, es el Vicepresidente de Grupo de Soluciones Estratégicas en Penguin Computing. Penguin Computing diseña soluciones personalizadas y agnósticas, de extremo a extremo (hardware/software/nube/servicios) para resolver los complejos problemas científicos, analíticos e ingenieriles que enfrentan las empresas Fortune 500, startups, instituciones académicas y organizaciones federales de hoy en día

¿Qué te atrajo inicialmente al campo de la informática?

Mis padres me compraron una computadora cuando era muy joven, y siempre he tenido interés y habilidad para las computadoras y la experimentación. A través de mi educación, me incliné constantemente hacia los campos STEM y eso me llevó a querer involucrarme en un campo más aplicado. Mi fondo es física y Computación de Alto Rendimiento (HPC). Tener un amor por las computadoras desde temprano me permitió mantener la informática en el frente de cualquier otro interés científico, matemático o de ingeniería que he tenido, lo que me ha llevado a donde estoy hoy.

Penguin Computing trabaja en estrecha colaboración con el Proyecto Open Compute (OCP) – ¿qué es exactamente?

Desde el inicio del movimiento Proyecto Open Compute (OCP), Penguin Computing ha sido un adoptador temprano, partidario y contribuyente importante para llevar los beneficios de OCP a la Computación de Alto Rendimiento (HPC) y la inteligencia artificial (IA).

El enfoque de OCP es reunir a una comunidad global de desarrolladores para crear un ecosistema completo de tecnología de infraestructura reinventada para ser más eficiente, flexible y escalable. Penguin Computing se unió a OCP debido a las tecnologías abiertas y la idea de una comunidad. Lo que hemos hecho con el tiempo es asegurarnos de que el patrimonio y las tecnologías de la HPC tradicional y las tendencias emergentes en IA y Análisis puedan escalar de manera eficiente – Penguin Computing impulsa esas cosas en OCP.

Una de las ventajas de OCP es que reduce el costo total de propiedad (TCO) – menores gastos de capital, gracias a la eliminación de todos los elementos de vanidad, y menores gastos de operación debido al servicio desde el frente, la energía compartida y otros cambios de diseño – lo que hace que la tecnología basada en OCP sea perfecta para la escalabilidad.

Penguin Computing tiene varios productos OCP, incluyendo la Plataforma de Escala Extrema Tundra de Penguin Computing y la Plataforma Tundra AP. Las plataformas Tundra también son compatibles con cargas de trabajo de HPC y IA.

La Plataforma Tundra AP, la última generación de nuestra plataforma de supercomputación Tundra de alta densidad, combina el poder de procesamiento de los procesadores Intel (INTC ) ® Xeon® Scalable 9200 series con el servidor Relion XO1122eAP de Penguin Computing en un factor de forma OCP que ofrece una alta densidad de núcleos de CPU por rack.

¿Cómo aborda Penguin Computing el problema de optimizar los niveles de rendimiento cuando se trata de grandes datos y es necesario eliminar cuellos de botella que ralentizan el acceso a los datos?

Penguin Computing ha aprovechado nuestra capacidad para utilizar tecnologías abiertas y avanzar rápidamente con las tendencias actuales – una de las cuales es el crecimiento de los datos y las cargas de trabajo impulsadas por datos. En respuesta a esto, hemos construido nuestro Grupo de Soluciones Estratégicas para abordar este problema de frente.

Al abordar el problema, hemos encontrado que la mayoría de las cargas de trabajo, incluso de la computación técnica tradicional, están motivadas para ser más impulsadas por datos. Como resultado, Penguin Computing diseña soluciones de extremo a extremo completas tratando de entender la carga de trabajo del usuario. Para crear una solución de extremo a extremo optimizada para la carga de trabajo, nos enfocamos en la capa de software optimizada para la carga de trabajo, que incluye la orquestación y la entrega de la carga de trabajo. Esencialmente, necesitamos entender cómo el usuario utilizará la infraestructura.

A continuación, tratamos de centrarnos en la infraestructura de cómputo optimizada para la carga de trabajo. Hay diferentes niveles de desafíos de datos y E/S que ejercen mucha presión sobre la parte de cómputo. Por ejemplo, diferentes cargas de trabajo requieren diferentes combinaciones de infraestructura de cómputo acelerada desde CPUs, GPUs, ancho de banda de memoria y redes que permiten que los datos fluyan a través y se calculen.

Finalmente, necesitamos averiguar qué tipo de soluciones nos permitirán entregar esos datos. Examinamos las infraestructuras de datos optimizadas para la carga de trabajo para entender cómo la carga de trabajo interactúa con los datos, qué son los requisitos de capacidad y los patrones de E/S. Una vez que tenemos esa información, nos ayuda a diseñar un sistema optimizado para la carga de trabajo.

Una vez que tenemos toda la información, aprovechamos nuestra experiencia interna en Penguin Computing para arquitectar un diseño y una solución completa. Sabiendo que está diseñado desde una perspectiva de rendimiento, necesitamos entender dónde se despliega (en las instalaciones, en la nube, en el borde, combinación de todos, etc.). Esa es la aproximación de Penguin Computing para entregar una solución optimizada para cargas de trabajo impulsadas por datos.

¿Podrías discutir la importancia de utilizar una GPU en lugar de una CPU para el aprendizaje profundo?

Una de las tendencias más grandes que he visto en cuanto a la importancia de las GPUs para el Aprendizaje Profundo (DL) fue el movimiento hacia el uso de GPUs de propósito general (GPGPU) como una pieza de hardware de datos paralelos que nos permitió acelerar enormemente la cantidad de núcleos de cómputo que se pueden entregar para resolver un problema de cómputo paralelo. Esto ha estado sucediendo durante los últimos diez años.

Participé en las primeras etapas de la programación GPGPU cuando estaba en la escuela de posgrado y al comienzo de mi carrera. Creo que tener ese salto en densidad de cómputo, donde una GPU proporciona una gran cantidad de núcleos de análisis densos en un dispositivo y nos permite obtener más en un espacio de servidor y ser capaces de reutilizar algo que originalmente estaba destinado a gráficos como un motor de cómputo, fue una tendencia real en las comunidades HPC y AI.

Sin embargo, gran parte de eso dependió de convertir y optimizar el código para ejecutarse en GPUs en lugar de CPUs. A medida que hicimos todo ese trabajo, estábamos esperando el concepto de la aplicación asesina – la aplicación o caso de uso que realmente despega o es habilitado por una GPU. Para la comunidad GPGPU, DL fue esa aplicación asesina que galvanizó los esfuerzos y el desarrollo para acelerar las cargas de trabajo de HPC y AI.

Con el tiempo, hubo un resurgimiento de la IA y el aprendizaje automático (ML), y DL se convirtió en un factor importante. Nos dimos cuenta de que entrenar una red neuronal utilizando DL en realidad se ajustaba muy bien al diseño subyacente de una GPU. Creo que una vez que esas dos cosas convergieron, tuvimos la capacidad de hacer el tipo de DL que no era posible anteriormente con procesadores CPU y, en última instancia, limitó nuestra capacidad para hacer IA a escala y en la práctica.

Una vez que las GPUs se convirtieron en una realidad, realmente reenergizaron la comunidad de investigación y desarrollo alrededor de la IA y DL porque simplemente no teníamos el nivel de cómputo para hacerlo de manera eficiente y no estaba democratizado. La GPU realmente nos permite entregar un cómputo más denso que, en su núcleo, está diseñado bien para DL y lo trajo a un nivel de soluciones de arquitectura de hardware que lo hizo más fácil para que más investigadores y científicos lo obtuvieran. Creo que esa es una de las grandes razones por las que las GPUs son mejores para estudiar DL.

¿Cuáles son algunas de las soluciones de cómputo aceleradas por GPU que ofrece Penguin Computing?

Penguin Computing se centra actualmente en soluciones de extremo a extremo que se están trabajando en nuestro Grupo de Soluciones Estratégicas, particularmente con la Práctica de IA y Análisis de Penguin Computing. Dentro de esta práctica, nos centramos en tres enfoques generales para soluciones aceleradas por GPU.

Primero, ofrecemos una arquitectura de referencia para análisis de borde, donde estamos diseñando soluciones que se ajustan a centros de datos no tradicionales (en el borde o cerca del borde). Esto puede incluir centros de datos de borde de telecomunicaciones, instalaciones minoristas, estaciones de servicio y más. Estas son todas soluciones de inferencia basadas en IA. Algunas soluciones están orientadas hacia el análisis de video para el seguimiento de contactos y el reconocimiento de gestos para determinar si alguien se lava las manos o lleva una mascarilla. Estas son aplicaciones de soluciones completas que incluyen hardware acelerado por GPU que está afinado para despliegues no tradicionales o de borde, así como las pilas de software para permitir que los investigadores y los usuarios finales las utilicen de manera efectiva.

La siguiente clase de soluciones de Penguin Computing están diseñadas para arquitecturas de referencia de entrenamiento y inferencia de IA en centros de datos y núcleo. Podrías pensar en sentarte dentro de un gran centro de datos o en la nube (Nube de Penguin Computing) donde algunos de nuestros clientes están haciendo entrenamiento a gran escala utilizando miles de GPUs para acelerar DL. Examinamos cómo entregamos soluciones y arquitecturas de referencia completas que admiten todas estas cargas de trabajo de software y contenedorización a través del diseño y la disposición de GPU, todo el camino a través de los requisitos de infraestructura de datos que lo respaldan.

La tercera clase de arquitecturas de referencia en esta práctica es una combinación de las dos anteriores. Lo que estamos buscando en nuestra tercera familia de arquitecturas de referencia es cómo creamos los tejidos de datos y las vías y los flujos de trabajo para permitir el aprendizaje continuo para que podamos ejecutar inferencia utilizando nuestras soluciones aceleradas por GPU de borde, empujar esos datos a la nube privada o pública, continuar entrenando en ellos, y cuando los nuevos modelos de entrenamiento se actualizan, empujarlos de regreso a la inferencia. De esta manera, tenemos un ciclo iterativo de aprendizaje continuo y modelos de IA.

Penguin Computing desplegó recientemente un nuevo supercomputador para LLNL en asociación con Intel y CoolIT. ¿Podrías contarnos sobre este supercomputador y para qué se diseñó?

El supercomputador Magma, desplegado en LLNL, se adquirió a través del contrato Commodity Technology Systems (CTS-1) con la Administración Nacional de Seguridad Nuclear (NNSA) y es uno de los primeros despliegues de procesadores Intel Xeon Platinum 9200 series con soporte de CoolIT Systems de enfriamiento líquido directo completo y Omni-Path interconectado.

Financiado a través del programa Advanced Simulation & Computing (ASC) de la NNSA, Magma apoyará el Programa de Extensión de Vida de la NNSA y los esfuerzos críticos para garantizar la seguridad, la seguridad y la confiabilidad de las armas nucleares de la nación en ausencia de pruebas subterráneas.

El supercomputador Magma es un sistema HPC que se ve mejorado por la inteligencia artificial y es una plataforma convergente que permite que la IA acelere el modelado HPC. Magma se clasificó en la lista Top500 de junio de 2020, rompiendo el top 100, llegando al #80.

Bajo el contrato CTS-1, Penguin Computing ha entregado más de 22 petaflops de capacidad de cómputo para apoyar el programa ASC en los laboratorios tri-nacionales de la NNSA de Lawrence Livermore, Los Alamos y Sandia.

¿Cuáles son algunas de las diferentes maneras en que Penguin Computing está apoyando la lucha contra el COVID-19?

En junio de 2020, Penguin Computing se asoció oficialmente con AMD para entregar capacidades de HPC a investigadores en tres de las principales universidades de EE. UU. – Universidad de Nueva York (NYU), Instituto de Tecnología de Massachusetts (MIT) y Universidad de Rice – para ayudar en la lucha contra el COVID-19.

Penguin Computing se asoció directamente con el Fondo de HPC de COVID-19 de AMD para proporcionar a las instituciones de investigación recursos informáticos significativos para acelerar la investigación médica sobre el COVID-19 y otras enfermedades. Penguin Computing y AMD están colaborando para entregar una constelación de soluciones de HPC basadas en las instalaciones y en la nube a NYU, MIT y la Universidad de Rice para ayudar a elevar las capacidades de investigación de cientos de científicos que finalmente contribuirán a una mayor comprensión del coronavirus novel.

Impulsados por los procesadores AMD EPYC de segunda generación y los aceleradores de GPU Radeon Instinct MI50, los sistemas donados a las universidades se espera que proporcionen más de un petaflop de rendimiento de cómputo. Se pondrán a disposición de los investigadores cuatro petaflops adicionales de capacidad de cómputo a través de nuestro servicio de nube HPC, Penguin Computing On-Demand (POD). Combinados, los sistemas donados proporcionarán a los investigadores más de siete petaflops de poder de cómputo acelerado por GPU que se pueden aplicar para luchar contra el COVID-19.

Se espera que las universidades receptoras utilicen la nueva capacidad de cómputo en una variedad de cargas de trabajo relacionadas con la pandemia, incluida la genómica, el desarrollo de vacunas, la ciencia de la transmisión y la modelización.

¿Hay algo más que te gustaría compartir sobre Penguin Computing?

Durante más de dos décadas, Penguin Computing ha estado entregando soluciones personalizadas, innovadoras y abiertas al mundo de la informática de alto rendimiento y técnica. Las soluciones de Penguin Computing brindan a las organizaciones la agilidad y la libertad que necesitan para aprovechar las últimas tecnologías en sus entornos de cómputo. Las organizaciones pueden centrar sus recursos en entregar productos e ideas al mercado en tiempo récord en lugar de en las tecnologías subyacentes. La amplia gama de soluciones de Penguin Computing para tecnologías de AI/ML/Análisis, HPC, DataOps y nativas en la nube se pueden personalizar y combinar para adaptarse no solo a las necesidades actuales, sino también para adaptarse rápidamente a las necesidades y cambios tecnológicos futuros. Los Servicios Profesionales y Administrados de Penguin Computing ayudan con la integración, implementación y administración de soluciones. Los Servicios de Hosting de Penguin Computing pueden ayudar con el “dónde” del entorno de cómputo, brindando a las organizaciones opciones de propiedad y la flexibilidad para ejecutar en las instalaciones, en la nube pública o dedicada, alojado o como servicio.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Penguin Computing.