Meta e NVIDIA se unem para construir um supercomputador de IA

Meta e NVIDIA (NVDA ) anunciaram que estão trabalhando na construção de um supercomputador de IA maciço. O AI Research SuperCluster (RSC) está atualmente treinando novos modelos para avançar a IA.

O RSC deve ser a maior instalação de sistemas NVIDIA DGX A100 para clientes uma vez que esteja totalmente implantado. Ele deve ser totalmente construído até o final deste ano e será usado para treinar modelos de IA com mais de um trilhão de parâmetros. O supercomputador será útil para muitos campos diferentes, como processamento de linguagem natural (NLP).

De acordo com a Meta, a empresa está focada em permitir o desempenho em escala e confiabilidade extrema, segurança, privacidade e flexibilidade para lidar com vários modelos de IA.

Especificações do RSC

O RSC usa 760 sistemas NVIDIA DGX A100 como seus nós de computação e eles têm 6.080 GPUs NVIDIA A100 conectadas em uma rede InfiniBand NVIDIA Quantum 200Gb/s. Tudo isso permite que ele entregue 1.895 petaflops de desempenho TF32.

O RSC levou apenas 18 meses para alcançar um supercomputador de IA funcional, o que é impressionante, considerando o efeito da pandemia de COVID-19 no desenvolvimento.

Benchmarks iniciais no RSC, em comparação com a infraestrutura de produção e pesquisa legada da Meta, demonstraram que ele pode executar fluxos de trabalho de visão computacional até 20 vezes mais rápido. Ele também pode executar a Biblioteca de Comunicação Coletiva da NVIDIA (NCCL) mais de nove vezes mais rápido e treinar modelos de NLP de grande escala três vezes mais rápido. Em outras palavras, um modelo com dezenas de bilhões de parâmetros poderia terminar o treinamento em três semanas, em comparação com o benchmark anterior de nove semanas.

O que o RSC permitirá

O RSC permitirá que os pesquisadores de IA da Meta criem novos modelos de IA que possam aprender com trilhões de exemplos. Os pesquisadores também poderão trabalhar em centenas de idiomas diferentes; analisar texto, imagens e vídeo juntos; desenvolver novas ferramentas de realidade aumentada e mais.

A Meta espera que o RSC permita que a empresa forneça traduções de voz em tempo real para grandes grupos de pessoas, mesmo que cada uma esteja falando um idioma diferente. Isso permitirá que equipes extremamente diversificadas colaborem em projetos de pesquisa.

“Esperamos que o RSC nos ajude a construir sistemas de IA completamente novos que possam, por exemplo, fornecer traduções de voz em tempo real para grandes grupos de pessoas, cada uma falando um idioma diferente, para que possam colaborar de forma transparente em um projeto de pesquisa ou jogar um jogo de realidade aumentada juntos”, disse a Meta.

Essa nova colaboração irá longe no desenvolvimento de um dos próximos supercomputadores de IA de ponta que pode ser usado em uma ampla gama de indústrias.