Sistema Cerebras CS-1 integrado ao supercomputador Lassen

Um novo estudo de caso realizado por Cerebras em parceria com a Laboratório Nacional Lawrence Livermore (LLNL) detalha como o sistema Cerebras CS-1 foi integrado ao supercomputador Lassen do LLNL para permitir avanços em simulações de fusão nuclear. 

O LLNL é um centro de pesquisa federal em Livermore, Califórnia, e é financiado principalmente pela Administração Nacional de Segurança Nuclear (NNSA) do Departamento de Energia dos Estados Unidos. De acordo com o LLNL, sua missão é fortalecer a segurança dos EUA desenvolvendo e aplicando ciência, tecnologia e engenharia de classe mundial. 

O laboratório contém o National Ignition Facility (NIF), que realiza pesquisas de fusão nuclear com o laser mais poderoso do mundo. Com isso dito, alguns dos principais obstáculos incluem experimentos de confinamento inercial caros e demorados, de modo que o laboratório executa experimentos simulados com um pacote de software multifísico chamado HYDRA no supercomputador Lassen. Os modelos HYDRA são validados por meio de dados do mundo real do NIF, o que permite que os modelos sejam mais precisos na previsão do resultado de experimentos do mundo real. 

Parte do HYDRA modela a cinética atômica e a radiação, e essa parte é chamada de CRETIN. Ele prevê como um átomo se comportará sob certas condições, e o CRETIN pode representar dezenas de por cento da carga total de computação para HYDRA.

Ao substituir o CRETIN por um modelo de rede neural profunda (DNN), ou o substituto do CRETIN, os pesquisadores do LLNL podem reduzir a intensidade computacional. 

Sistema Cerebras CS-1

O sistema Cerebras CS-1 foi escolhido pelo LLNL para realizar sua inferência de substituto de CRETIN. O sistema foi integrado ao supercomputador Lassen e a instalação levou menos de 20 horas. Os técnicos da Cerebras também instalaram um “cooling shell” e os trilhos de suporte mecânico e hardware. 

Engenheiros de software de aprendizado de máquina trabalharam com colegas do LLNL para escrever uma API C++ que permite que o código HYDRA chame o modelo substituto do CRETIN. O modelo depende de um autoencoder para compactar os dados de entrada em representações dimensionais mais baixas, e estes são então processados ​​por um modelo preditivo construído com DJINN, que é um novo algoritmo de rede neural profunda. Esse algoritmo escolhe automaticamente uma arquitetura de rede neural apropriada para os dados fornecidos e não exige que o usuário ajuste manualmente as configurações.

Resultados do Estudo de Caso

Os primeiros resultados demonstraram que a combinação do sistema Lassen com o acelerador Cerebras é extremamente eficiente. Ao conectar o sistema CS-1 à rede InfiniBand de Lassen, foi possível obter largura de banda de 1.2 terabits por segundo para o sistema CS-1.

Devido aos seus 19 GB de memória SRAM acoplados a 400,000 núcleos de computação AI, o sistema CS-1 foi capaz de executar muitas instâncias do modelo DNN relativamente compacto em paralelo. Por meio da combinação de largura de banda e potência, a HYDRA conseguiu realizar inferências em 18 milhões de amostras a cada segundo. 

Tudo isso significa que o LLNL agora pode executar experimentos que antes eram computacionalmente intratáveis ​​com o sistema Cerebras, e envolve apenas uma integração simples e uma fração do custo. 

A pesquisa agora se concentrará em direcionar a simulação e fornecer informações sobre a simulação durante sua execução, o que permite aos pesquisadores monitorar e interromper a execução se a simulação não estiver funcionando bem. Os resultados de cada execução tornam-se parte do conjunto de treinamento do modelo, para que ele possa ser treinado continuamente. Um modelo de “aprendizagem ativa” pode ser criado e pode otimizar execuções futuras escolhendo os parâmetros e o condicionamento de limite inicial para o próximo experimento.