Andrew Feldman, Co-fundador e CEO da Cerebras Systems – Série de Entrevistas

Andrew é co-fundador e CEO da Cerebras Systems (CBRS ). Ele é um empreendedor dedicado a empurrar os limites no espaço de computação. Antes da Cerebras, ele co-fundou e foi CEO da SeaMicro, uma pioneira em microservidores de alta largura de banda e eficiência energética. A SeaMicro foi adquirida pela AMD em 2012 por $357 milhões. Antes da SeaMicro, Andrew foi Vice-Presidente de Gerenciamento de Produto, Marketing e Desenvolvimento de Negócios da Force10 Networks, que mais tarde foi vendida para a Dell Computing por $800 milhões. Antes da Force10 Networks, Andrew foi Vice-Presidente de Marketing e Desenvolvimento Corporativo da RiverStone Networks, desde a criação da empresa até a oferta pública inicial em 2001. Andrew tem um BA e um MBA pela Universidade de Stanford.

A Cerebras Systems está construindo uma nova classe de sistema de computador, projetado desde o início para o objetivo singular de acelerar a IA e mudar o futuro do trabalho de IA.

Poderia compartilhar a história de criação por trás da Cerebras Systems?

Meus co-fundadores e eu todos trabalhamos juntos em uma startup anterior que meu CTO Gary e eu criamos em 2007, chamada SeaMicro (que foi vendida para a AMD em 2012 por $334 milhões). Meus co-fundadores são alguns dos principais arquitetos e engenheiros de computador da indústria – Gary Lauterbach, Sean Lie, JP Fricker e Michael James. Quando nos reunimos novamente em 2015, escrevemos duas coisas em um quadro branco – que queríamos trabalhar juntos e que queríamos construir algo que transformasse a indústria e estivesse no Museu de História do Computador, que é o equivalente ao Hall da Fama do Computador. Ficamos honrados quando o Museu de História do Computador reconheceu nossos feitos e adicionou o processador WSE-2 à sua coleção no ano passado, citando como ele transformou o cenário de inteligência artificial.

A Cerebras Systems é uma equipe de arquitetos de computador pioneiros, cientistas da computação, pesquisadores de aprendizado profundo e engenheiros de todos os tipos que amam fazer engenharia sem medo. Nossa missão quando nos reunimos foi construir um novo tipo de computador para acelerar o aprendizado profundo, que surgiu como uma das principais cargas de trabalho de nossa época.

Percebemos que o aprendizado profundo tem requisitos computacionais únicos, massivos e em crescimento. E não é bem compatível com máquinas legadas como unidades de processamento gráfico (GPUs), que foram fundamentalmente projetadas para outros trabalhos. Como resultado, a IA de hoje é limitada não por aplicações ou ideias, mas pela disponibilidade de computação. Testar uma única nova hipótese – treinar um novo modelo – pode levar dias, semanas ou até meses e custar centenas de milhares de dólares em tempo de computação. Isso é um grande obstáculo à inovação.

Então, a criação da Cerebras foi para construir um novo tipo de computador otimizado exclusivamente para o aprendizado profundo, a partir de um papel em branco. Para atender às enormes demandas computacionais do aprendizado profundo, projetamos e fabricamos o maior chip já construído – o Wafer-Scale Engine (WSE). Ao criar o primeiro processador de escala de wafer do mundo, superamos desafios em design, fabricação e embalagem – todos os quais haviam sido considerados impossíveis para a história de 70 anos dos computadores. Cada elemento do WSE é projetado para permitir a pesquisa de aprendizado profundo em velocidades e escala sem precedentes, alimentando o supercomputador de IA mais rápido da indústria, o Cerebras CS-2.

Com cada componente otimizado para o trabalho de IA, o CS-2 entrega mais desempenho de computação em menos espaço e com menos energia do que qualquer outro sistema. Ele faz isso enquanto reduz radicalmente a complexidade de programação, o tempo de computação em parede e o tempo de solução. Dependendo da carga de trabalho, desde a IA até o HPC, o CS-2 entrega centenas ou milhares de vezes mais desempenho do que as alternativas legadas. O CS-2 fornece os recursos de computação de aprendizado profundo equivalentes a centenas de GPUs, enquanto fornece a facilidade de programação, gerenciamento e implantação de um dispositivo único.

Nos últimos meses, a Cerebras parece estar em todas as notícias, o que você pode nos dizer sobre o novo supercomputador de IA Andromeda?

Anunciamos o Andromeda em novembro do ano passado, e é um dos maiores e mais poderosos supercomputadores de IA já construídos. Entregando mais de 1 Exaflop de computação de IA e 120 Petaflops de computação densa, o Andromeda tem 13,5 milhões de núcleos em 16 sistemas CS-2 e é o único supercomputador de IA a demonstrar escalabilidade linear quase perfeita em cargas de trabalho de modelos de linguagem grande. Ele também é muito simples de usar.

Como lembrete, o maior supercomputador da Terra – Frontier – tem 8,7 milhões de núcleos. Em contagem de núcleos brutos, o Andromeda é mais de uma vez e meia maior. Ele faz trabalhos diferentes, obviamente, mas isso dá uma ideia do escopo: quase 100 terabits de largura de banda interna, quase 20.000 núcleos AMD Epyc alimentam-no, e – ao contrário dos supercomputadores gigantes que levam anos para serem implantados – montamos o Andromeda em três dias e, imediatamente após, ele estava entregando escalabilidade linear quase perfeita de IA.

O Laboratório Nacional de Energia de Argonne foi nosso primeiro cliente a usar o Andromeda, e eles o aplicaram a um problema que estava quebrando seu cluster de 2.000 GPUs chamado Polaris. O problema era executar modelos de linguagem grandes, GPT-3XL, enquanto colocava o genoma completo do Covid na janela de sequência, para que você pudesse analisar cada gene no contexto do genoma completo do Covid. O Andromeda executou uma carga de trabalho genética única com comprimentos de sequência longos (MSL de 10K) em 1, 2, 4, 8 e 16 nós, com escalabilidade linear quase perfeita. A escalabilidade linear é uma das características mais procuradas de um cluster grande. O Andromeda entregou 15,87 vezes mais taxa de transferência em 16 sistemas CS-2, em comparação com um único CS-2, e uma redução no tempo de treinamento para corresponder.

Poderia nos contar sobre a parceria com a Jasper que foi anunciada no final de novembro e o que isso significa para ambas as empresas?

A Jasper é uma empresa muito interessante. Eles são líderes em conteúdo de IA gerativo para marketing, e seus produtos são usados por mais de 100.000 clientes em todo o mundo para escrever cópias para marketing, anúncios, livros e mais. É obviamente um espaço muito emocionante e de rápido crescimento agora. No ano passado, anunciamos uma parceria com eles para acelerar a adoção e melhorar a precisão da IA gerativa em aplicações empresariais e de consumidor. A Jasper está usando nosso supercomputador Andromeda para treinar seus modelos computacionalmente intensivos em uma fração do tempo. Isso estenderá o alcance dos modelos de IA gerativa para as massas.

Com o poder do supercomputador Andromeda da Cerebras, a Jasper pode avançar dramaticamente o trabalho de IA, incluindo o treinamento de redes GPT para ajustar as saídas de IA a todos os níveis de complexidade e granularidade do usuário final. Isso melhora a precisão contextual dos modelos gerativos e permitirá que a Jasper personalize o conteúdo em várias classes de clientes rapidamente e facilmente.

Nossa parceria permite que a Jasper invente o futuro da IA gerativa, fazendo coisas que são impraticáveis ou simplesmente impossíveis com a infraestrutura tradicional, e acelera o potencial da IA gerativa, trazendo seus benefícios para nossa base de clientes em rápido crescimento em todo o mundo.

Em um comunicado de imprensa recente, o Laboratório Nacional de Tecnologia de Energia e o Centro de Supercomputação de Pittsburgh anunciaram a primeira simulação de Dinâmica de Fluidos Computacional já realizada no motor de escala de wafer da Cerebras. Poderia descrever o que é exatamente um motor de escala de wafer e como ele funciona?

Nosso Wafer-Scale Engine (WSE) é o processador de IA revolucionário para nosso sistema de computador de aprendizado profundo, o CS-2. Ao contrário dos processadores legados de propósito geral, o WSE foi construído desde o início para acelerar o aprendizado profundo: ele tem 850.000 núcleos otimizados para IA para operações de tensor esparsas, memória de largura de banda alta no chip e interconexões com ordens de magnitude mais rápidas do que um cluster tradicional poderia possivelmente alcançar. Isso tudo nos dá os recursos de computação de aprendizado profundo equivalentes a um cluster de máquinas legadas em um único dispositivo, fácil de programar como um nó único – reduzindo radicalmente a complexidade de programação, o tempo de computação em parede e o tempo de solução.

Nossa segunda geração WSE-2, que alimenta nosso sistema CS-2, pode resolver problemas extremamente rápido. Rápido o suficiente para permitir modelos de alta fidelidade em tempo real de sistemas de engenharia de interesse. É um exemplo raro de “escalabilidade forte”, que é o uso de paralelismo para reduzir o tempo de solução com um problema de tamanho fixo.

E é isso que o Laboratório Nacional de Tecnologia de Energia e o Centro de Supercomputação de Pittsburgh estão usando. Acabamos de anunciar alguns resultados muito emocionais de uma simulação de dinâmica de fluidos computacional (CFD), composta por cerca de 200 milhões de células, em taxas quase em tempo real. Este vídeo mostra a simulação de alta resolução da convecção de Rayleigh-Bénard, que ocorre quando uma camada de fluido é aquecida por baixo e resfriada por cima. Esses fluxos de fluidos termicamente impulsionados estão por toda parte – desde dias ventosos, até tempestades de neve do lago, até correntes de magma no núcleo da Terra e movimento de plasma no Sol. Como o narrador diz, não é apenas a beleza visual da simulação que é importante: é a velocidade com que podemos calculá-la. Pela primeira vez, usando nosso Wafer-Scale Engine, o NETL é capaz de manipular uma grade de quase 200 milhões de células em quase tempo real.

Que tipo de dados está sendo simulado?

A carga de trabalho testada foi fluxos de fluidos termicamente impulsionados, também conhecidos como convecção natural, que é uma aplicação da dinâmica de fluidos computacional (CFD). Fluxos de fluidos ocorrem naturalmente por toda parte — desde dias ventosos, até tempestades de neve do lago, até o movimento de placas tectônicas. Esta simulação, composta por cerca de 200 milhões de células, se concentra em um fenômeno conhecido como “convecção de Rayleigh-Bénard”, que ocorre quando um fluido é aquecido por baixo e resfriado por cima. Na natureza, este fenômeno pode levar a eventos climáticos severos, como downbursts, microbursts e derechos. Ele também é responsável pelo movimento de magma no núcleo da Terra e pelo movimento de plasma no Sol.

Em novembro de 2022, o NETL introduziu uma nova API de modelagem de equações de campo, alimentada pelo sistema CS-2, que foi até 470 vezes mais rápida do que o que era possível no supercomputador Joule da NETL. Isso significa que pode entregar velocidades além do que clusters de qualquer número de CPUs ou GPUs possam alcançar. Usando uma API Python simples que habilita o processamento de escala de wafer para grande parte da ciência computacional, a WFA entrega ganhos em desempenho e usabilidade que não poderiam ser obtidos em computadores e supercomputadores convencionais – na verdade, superou o OpenFOAM no supercomputador Joule 2.0 da NETL por mais de duas ordens de magnitude no tempo de solução.

Devido à simplicidade da API WFA, os resultados foram alcançados em apenas algumas semanas e continuam a colaboração estreita entre o NETL, o PSC e a Cerebras Systems.

Ao transformar a velocidade da CFD (que sempre foi uma tarefa lenta e off-line) em nosso WSE, podemos abrir um conjunto inteiro de novos casos de uso em tempo real para isso e muitas outras aplicações de HPC principais. Nosso objetivo é que, ao permitir mais poder de computação, nossos clientes possam realizar mais experimentos e inventar melhor ciência. O diretor do laboratório NETL, Brian Anderson, nos disse que isso acelerará drasticamente e melhorará o processo de design para alguns projetos muito grandes em que o NETL está trabalhando para mitigar as mudanças climáticas e permitir um futuro energético seguro — projetos como a captura de carbono e a produção de hidrogênio azul.

A Cerebras está constantemente superando a concorrência quando se trata de lançar supercomputadores, quais são alguns dos desafios por trás da construção de supercomputadores de ponta?

Ironicamente, um dos desafios mais difíceis do grande AI não é o AI. É a computação distribuída.

Para treinar as redes neurais de ponta de hoje, os pesquisadores frequentemente usam centenas a milhares de GPUs. E não é fácil. Escalar o treinamento de modelos de linguagem grande em um cluster de GPUs requer distribuir uma carga de trabalho em muitos dispositivos pequenos, lidar com tamanhos de memória de dispositivo e limitações de largura de banda de memória e gerenciar cuidadosamente as sobrecargas de comunicação e sincronização.

Tomamos uma abordagem completamente diferente ao projetar nossos supercomputadores por meio do desenvolvimento do Cluster de Escala de Wafer da Cerebras e do modo de execução de streaming de pesos da Cerebras. Com essas tecnologias, a Cerebras aborda uma nova forma de escalabilidade com base em três pontos principais:

A substituição do processamento de CPU e GPU por aceleradores de escala de wafer, como o sistema CS-2 da Cerebras. Essa mudança reduz o número de unidades de computação necessárias para alcançar uma velocidade de computação aceitável.

Para atender ao desafio do tamanho do modelo, empregamos uma arquitetura de sistema que desagrega a computação do armazenamento do modelo. Um serviço de computação baseado em um cluster de sistemas CS-2 (fornecendo largura de banda de computação adequada) é fortemente acoplado a um serviço de memória (com grande capacidade de memória) que fornece subconjuntos do modelo ao cluster de computação sob demanda. Como de costume, um serviço de dados fornece lotes de dados de treinamento ao serviço de computação conforme necessário.

Um modelo inovador para o agendamento e coordenação do trabalho de treinamento em todo o cluster CS-2 que emprega paralelismo de dados, treinamento por camada por vez com pesos esparsos transmitidos sob demanda e retenção de ativações no serviço de computação.

Há temores de que o fim da Lei de Moore esteja próximo por quase uma década, quantos anos mais a indústria pode se esforçar e quais inovações são necessárias para isso?

Acho que a pergunta com a qual todos estamos lidando é se a Lei de Moore – como escrita por Moore – está morta. Não está levando dois anos para obter mais transistores. Agora está levando quatro ou cinco anos. E esses transistores não estão vindo ao mesmo preço – estão vindo a preços muito mais altos. Então, a pergunta se torna: ainda estamos obtendo os mesmos benefícios de mudar de sete para cinco para três nanômetros? Os benefícios são menores e custam mais, e as soluções se tornam mais complicadas do que simplesmente o chip.

Jack Dongarra, um arquiteto de computador líder, deu uma palestra recentemente e disse: “Nós nos tornamos muito melhores em fazer FLOPs e em fazer I/O.” Isso é realmente verdade. Nossa capacidade de mover dados fora do chip fica atrás de nossa capacidade de aumentar o desempenho no chip por uma grande margem. Na Cerebras, ficamos felizes quando ele disse isso, porque valida nossa decisão de fazer um chip maior e mover menos coisas fora do chip. Isso também fornece alguma orientação sobre como fazer sistemas com chips performar melhor no futuro. Há trabalho a ser feito, não apenas em obter mais FLOPs, mas também em técnicas para movê-los e mover os dados de chip para chip – mesmo de um chip muito grande para outro chip muito grande.

Há algo mais que você gostaria de compartilhar sobre a Cerebras Systems?

Para melhor ou para pior, as pessoas frequentemente colocam a Cerebras nessa categoria de “os caras do chip realmente grande”. Nós conseguimos fornecer soluções convincentes para redes neurais muito grandes, eliminando assim a necessidade de fazer computação distribuída dolorosa. Acredito que isso seja enormemente interessante e esteja no coração de por que nossos clientes nos amam. O domínio interessante para 2023 será como fazer computação grande para um nível mais alto de precisão, usando menos FLOPs.

Nosso trabalho sobre esparsidade fornece uma abordagem extremamente interessante. Nós não fazemos trabalho que não nos leve em direção à linha de chegada, e multiplicar por zero é uma má ideia. Vamos lançar um papel muito interessante sobre esparsidade em breve, e acho que haverá mais esforço em olhar para como chegamos a esses pontos eficientes e como fazemos isso com menos energia. E não apenas com menos energia e treinamento; como minimizamos o custo e o poder usado na inferência? Acho que a esparsidade ajuda em ambos os fronts.

Obrigado por essas respostas aprofundadas, leitores que desejam aprender mais devem visitar Cerebras Systems.