Kevin Tubbs, PhD, Vice-Presidente de Soluções Estratégicas do Grupo da Penguin Computing – Série de Entrevistas

Kevin Tubbs, PhD, é o Vice-Presidente de Soluções Estratégicas do Grupo da Penguin Computing. A Penguin Computing projeta soluções personalizadas, agnósticas e de ponta a ponta (hardware/software/nuvem/serviços) para resolver os complexos problemas científicos, analíticos e de engenharia que as empresas do Fortune 500, startups, instituições acadêmicas e organizações federais enfrentam hoje.

O que o atraiu inicialmente para o campo da ciência da computação?

Meus pais me deram um computador quando eu era muito jovem, e eu sempre tive um interesse e habilidade para computadores e brincar. Através da minha educação, eu consistentemente me inclinei para campos de STEM e isso me levou a querer estar envolvido em um campo mais aplicado. Minha formação é em física e Computação de Alto Desempenho (HPC). Ter um amor por computadores desde cedo me permitiu manter a ciência da computação no centro de qualquer outro interesse em ciência, matemática ou engenharia que eu tenha tido, o que me levou aonde estou hoje.

A Penguin Computing trabalha em estreita colaboração com o Open Compute Project (OCP) – o que é exatamente?

Desde o início do movimento do Open Compute Project (OCP), a Penguin Computing tem sido uma das primeiras a adotar, apoiar e contribuir significativamente para o esforço de trazer os benefícios do OCP para a Computação de Alto Desempenho (HPC) e inteligência artificial (IA).

O foco do OCP é reunir uma comunidade global de desenvolvedores para criar um ecossistema completo de tecnologia de infraestrutura reimaginada para ser mais eficiente, flexível e escalável. A Penguin Computing se juntou ao OCP devido às tecnologias abertas e à ideia de uma comunidade. O que fizemos ao longo do tempo foi garantir que o legado e as tecnologias provenientes da HPC tradicional e das tendências emergentes em IA e Análise possam escalar de forma eficiente – a Penguin Computing impulsiona essas coisas no OCP.

Um dos benefícios do OCP é que ele reduz o custo total de propriedade (TCO) – menores despesas de capital, graças à remoção de todos os elementos de vaidade, e menores despesas operacionais devido ao serviço a partir da frente, compartilhamento de energia e outras alterações de design – o que torna a tecnologia baseada em OCP perfeita para escala.

A Penguin Computing tem vários produtos OCP, incluindo a Plataforma de Escala Extrema Tundra da Penguin Computing e a Tundra AP da Penguin Computing. As plataformas Tundra também são compatíveis com cargas de trabalho de HPC e IA.

A Tundra AP, a última geração de nossa plataforma de supercomputação de alta densidade Tundra, combina o poder de processamento dos processadores Intel (INTC ) ® Xeon® Scalable 9200 series com o servidor Relion XO1122eAP da Penguin Computing em um fator de forma OCP que entrega uma alta densidade de núcleos de CPU por rack.

Quando se trata de big data, para otimizar os níveis de desempenho, os usuários precisam remover gargalos que retardam o acesso aos dados. Como a Penguin Computing aborda esse problema?

A Penguin Computing aproveitou nossa capacidade de usar tecnologias abertas e se mover rapidamente com as tendências atuais – uma delas é o big data ou o crescimento dos dados e das cargas de trabalho orientadas a dados. Em resposta a isso, construímos nosso Grupo de Soluções Estratégicas para abordar esse problema diretamente.

Ao abordar o problema, descobrimos que a maioria das cargas de trabalho, mesmo as de computação técnica tradicional, está motivada a ser mais orientada a dados. Como resultado, a Penguin Computing projeta soluções de ponta a ponta completas, tentando entender a carga de trabalho do usuário. Para criar uma solução de ponta a ponta otimizada para a carga de trabalho, nos concentramos na camada de software otimizada para a carga de trabalho, que inclui orquestração e entrega de carga de trabalho. Basicamente, precisamos entender como o usuário fará uso da infraestrutura.

Em seguida, tentamos nos concentrar na infraestrutura de computação otimizada para a carga de trabalho. Há vários níveis de desafios de dados e IO que colocam muita pressão na parte de computação. Por exemplo, diferentes cargas de trabalho exigem combinações diferentes de infraestrutura de computação acelerada, desde CPUs, GPUs, largura de banda de memória e rede que permite que os dados sejam transmitidos e processados.

Finalmente, precisamos descobrir que tipos de soluções permitirão que entreguemos esses dados. Analisamos as infraestruturas de dados otimizadas para a carga de trabalho para entender como a carga de trabalho interage com os dados, quais são os requisitos de capacidade e padrões de IO. Uma vez que temos essas informações, isso nos ajuda a projetar um sistema otimizado.

Uma vez que temos todas as informações, aproveitamos nossa expertise interna na Penguin Computing para arquitetar um design e uma solução completa. Sabendo que é projetado do ponto de vista do desempenho, precisamos entender onde ele é implantado (no local, na nuvem, na borda, combinação de todos, etc.). Essa é a abordagem da Penguin Computing para entregar uma solução otimizada para cargas de trabalho orientadas a dados.

Poderia discutir a importância de usar uma GPU em vez de uma CPU para aprendizado profundo?

Uma das maiores tendências que eu vi em relação à importância das GPUs para o Aprendizado Profundo (DL) foi a mudança para o uso de GPUs de propósito geral (GPGPU) como um pedaço de hardware paralelo que permitia acelerar massivamente a quantidade de cálculos que você pode realizar para resolver um problema de computação paralela. Isso tem acontecido nos últimos dez anos.

Participei dos estágios iniciais de programação GPGPU quando estava na faculdade e no início da minha carreira. Acredito que ter esse salto na densidade de computação, onde uma GPU fornece muitos núcleos de computação e análise densos em um dispositivo e permite que você obtenha mais em um espaço de servidor e ser capaz de reutilizar algo que foi originalmente projetado para gráficos para um motor de computação, foi uma tendência real de abertura nos mundos de HPC e AI.

No entanto, muito disso dependia de converter e otimizar o código para rodar em GPUs em vez de CPUs. À medida que fizemos todo esse trabalho, estávamos esperando pelo conceito do aplicativo matador – o aplicativo ou caso de uso que realmente decola ou é habilitado por uma GPU. Para a comunidade GPGPU, o DL foi esse aplicativo matador que galvanizou esforços e desenvolvimento na aceleração de cargas de trabalho de HPC e IA.

Com o tempo, houve um ressurgimento da IA e do aprendizado de máquina (ML), e o DL entrou em cena. Percebemos que o treinamento de uma rede neural usando DL mapeia muito bem o design subjacente de uma GPU. Acredito que, uma vez que essas duas coisas convergiram, você tem a capacidade de fazer os tipos de DL que não eram possíveis anteriormente com processadores CPU e, em última análise, limitaram nossa capacidade de fazer IA em escala e na prática.

Uma vez que as GPUs entraram em cena, elas realmente reenergizaram a comunidade de pesquisa e desenvolvimento em torno da IA e do DL, porque você simplesmente não tinha o nível de computação para fazer isso de forma eficiente e não era democratizado. A GPU realmente permite entregar um cálculo mais denso que, em sua essência, é projetado bem para o DL e o trouxe para um nível de soluções de arquitetura de hardware que tornou mais fácil chegar a mais pesquisadores e cientistas. Acredito que essa seja uma das grandes razões pelas quais as GPUs são melhores para estudar DL.

Quais são algumas das soluções de computação acelerada por GPU oferecidas pela Penguin Computing?

A Penguin Computing está atualmente focada em soluções de ponta a ponta trabalhadas por nosso Grupo de Soluções Estratégicas, particularmente com a Prática de IA e Análise da Penguin Computing. Dentro dessa prática, estamos focados em três abordagens de alto nível para soluções aceleradas por GPU.

Primeiro, oferecemos uma arquitetura de referência para análise de borda, onde estamos procurando projetar soluções que se encaixem em centros de dados não tradicionais (na borda ou perto da borda). Isso pode incluir centros de dados de edge de telecomunicações, instalações de varejo, postos de gasolina e mais. Essas são todas soluções de IA baseadas em inferência. Algumas soluções são direcionadas para análise de vídeo para rastreamento de contatos e reconhecimento de gestos para determinar se alguém está lavando as mãos ou usando uma máscara. Essas são aplicações de soluções completas que incluem hardware acelerado por GPU afinado para implantações de borda não tradicionais, bem como pilhas de software para permitir que pesquisadores e usuários finais as usem de forma eficaz.

A próxima classe de soluções da Penguin Computing é construída para arquiteturas de referência de treinamento e inferência de IA em centros de dados e núcleo. Você pode pensar em sentar-se dentro de um grande centro de dados ou na nuvem (Nuvem da Penguin Computing) onde alguns de nossos clientes estão realizando treinamento em larga escala usando milhares de GPUs para acelerar o DL. Analisamos como entregamos soluções e arquiteturas de referência completas que suportam todas essas cargas de trabalho de software e contêinerização por meio do design e layout de GPU, até as necessidades de infraestrutura de dados que a suportam.

A terceira classe de arquiteturas de referência nessa prática é uma combinação das duas anteriores. O que estamos procurando em nossa terceira família de arquiteturas de referência é como criamos os tecidos de dados e caminhos e fluxos de trabalho para permitir o aprendizado contínuo, para que você possa executar inferência usando nossas soluções aceleradas por GPU de borda, empurrar esses dados para nuvem privada ou pública, continuar treinando neles e, à medida que os novos modelos de treinamento são atualizados, empurrá-los de volta para inferência. Dessa forma, temos um ciclo iterativo de aprendizado contínuo e modelos de IA.

A Penguin Computing implantou recentemente um novo supercomputador para o LLNL em parceria com a Intel e a CoolIT. Poderia nos contar sobre esse supercomputador e para o que foi projetado?

O supercomputador Magma, implantado no LLNL, foi adquirido por meio do contrato Commodity Technology Systems (CTS-1) com a Administração Nacional de Segurança Nuclear (NNSA) e é uma das primeiras implantações de processadores Intel Xeon Platinum 9200 series com suporte ao sistema de resfriamento líquido direto completo da CoolIT Systems e interconexão Omni-Path.

Financiado pelo programa Advanced Simulation & Computing (ASC) da NNSA, o Magma apoiará o Programa de Extensão de Vida da NNSA e esforços críticos para garantir a segurança, segurança e confiabilidade das armas nucleares da nação na ausência de testes subterrâneos.

O supercomputador Magma é um sistema de HPC que é aprimorado pela inteligência artificial e é uma plataforma convergente que permite que a IA acelere a modelagem de HPC. O Magma foi classificado na lista Top500 de junho de 2020, entrando no top 100, ficando em #80.

Por meio do contrato CTS-1, a Penguin Computing entregou mais de 22 petaflops de capacidade de computação para apoiar o programa ASC nos laboratórios tripartites da NNSA: Lawrence Livermore, Los Alamos e Sandia National Laboratories.

Quais são algumas das diferentes maneiras pelas quais a Penguin Computing está apoiando a luta contra a COVID-19?

Em junho de 2020, a Penguin Computing se associou oficialmente à AMD para entregar capacidades de HPC a pesquisadores em três universidades de ponta nos EUA – Universidade de Nova York (NYU), Instituto de Tecnologia de Massachusetts (MIT) e Universidade de Rice – para ajudar na luta contra a COVID-19.

A Penguin Computing se associou diretamente ao Fundo de HPC para COVID-19 da AMD para fornecer instituições de pesquisa com recursos computacionais significativos para acelerar a pesquisa médica sobre a COVID-19 e outras doenças. A Penguin Computing e a AMD estão colaborando para entregar uma constelação de soluções de HPC baseadas em nuvem e no local para a NYU, MIT e Universidade de Rice para ajudar a elevar as capacidades de pesquisa de centenas de cientistas que, por sua vez, contribuirão para uma maior compreensão do coronavírus.

Impulsionados pelos processadores AMD EPYC de 2ª geração e aceleradores de GPU Radeon Instinct MI50, os sistemas doados às universidades devem fornecer mais de um petaflop de desempenho de computação. Mais quatro petaflops de capacidade de computação estarão disponíveis para os pesquisadores por meio de nosso serviço de nuvem HPC, Penguin Computing On-Demand (POD). Combinados, os sistemas doados fornecerão aos pesquisadores mais de sete petaflops de poder de computação acelerado por GPU que podem ser aplicados para lutar contra a COVID-19.

As universidades receptoras devem utilizar a nova capacidade de computação em uma variedade de cargas de trabalho relacionadas à pandemia, incluindo genômica, desenvolvimento de vacinas, ciência de transmissão e modelagem.

Há algo mais que você gostaria de compartilhar sobre a Penguin Computing?

Por mais de duas décadas, a Penguin Computing tem entregado soluções personalizadas, inovadoras e abertas ao mundo de computação técnica de alto desempenho. As soluções da Penguin Computing dão às organizações a agilidade e a liberdade que elas precisam para aproveitar as últimas tecnologias em seus ambientes de computação. As organizações podem concentrar seus recursos em entregar produtos e ideias ao mercado em tempo recorde, em vez de se concentrar nas tecnologias subjacentes. A ampla gama de soluções da Penguin Computing para AI/ML/Análise, HPC, DataOps e tecnologias nativas de nuvem pode ser personalizada e combinada para atender não apenas às necessidades atuais, mas também para se adaptar rapidamente às necessidades e mudanças tecnológicas futuras. Os Serviços Profissionais e Gerenciados da Penguin Computing ajudam a integrar, implementar e gerenciar soluções. Os Serviços de Hospedagem da Penguin Computing podem ajudar com o “onde” do ambiente de computação, fornecendo às organizações opções de propriedade e flexibilidade para executar no local, na nuvem pública ou dedicada, hospedada ou como serviço.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Penguin Computing.