메타, 엔비디아가 함께 AI 슈퍼컴퓨터 개발

메타와 엔비디아는 거대한 AI 슈퍼컴퓨터를 개발 중이라고 발표했다. AI 연구 슈퍼클러스터(RSC)는 현재 새로운 모델을 훈련시키기 위해 사용되고 있다. (NVDA )

RSC는 완전히 배치되면 엔비디아 DGX A100 시스템의 가장 큰 고객 설치가 될 것으로 예상된다. 그것은今年 늦은 시기에 완전히 구축될 것으로 예상되며, 1조 개 이상의 매개변수를 가진 AI 모델을 훈련시키기 위해 사용될 것이다. 이 슈퍼컴퓨터는 자연어 처리(NLP)와 같은 많은 다른 분야에서 유용할 것이다.

메타에 따르면, 회사는 대규모 성능, 극한의 신뢰성, 보안, 개인 정보 보호, 다양한 AI 모델을 처리하는 유연성을 가능하게 하는 것을 목표로 하고 있다.

RSC의 세부 사항

RSC는 760개의 엔비디아 DGX A100 시스템을 컴퓨팅 노드로 사용하며, 6,080개의 엔비디아 A100 GPU가 엔비디아 Quantum 200Gb/s InfiniBand 네트워크에 연결되어 있다. 모든 것이 TF32 성능의 1,895 페타플롭스를 제공하도록 한다.

RSC는 18개월 만에 작동하는 AI 슈퍼컴퓨터에 도달했는데, 이는 COVID-19 팬데믹의 개발에 대한 영향으로 인해 인상적인 성과이다.

RSC의 초기 벤치마크는 메타의 레거시 생산 및 연구 인프라와 비교하여 컴퓨터 비전 워크플로우를 20배 빠르게 실행할 수 있으며, 엔비디아 콜렉티브 커뮤니케이션 라이브러리(NCCL)를 9배 빠르게 실행할 수 있으며, 대규모 NLP 모델을 3배 빠르게 훈련시킬 수 있다. 즉, 수십억 개의 매개변수를 가진 모델은 3주 만에 훈련을 완료할 수 있을 것이다. 이전 9주 벤치마크와 비교하면 말이다.

RSC가 가능하게 할 것

RSC는 메타 AI 연구자들이 수조 개의 예제에서 학습할 수 있는 새로운 AI 모델을 생성할 수 있게 할 것이다. 연구자들은 또한 수백 개의 다른 언어를 처리할 수 있으며, 텍스트, 이미지, 비디오를 함께 분석할 수 있으며, 새로운 증강 현실 도구를 개발할 수 있으며, 더 많은 것을 할 수 있다.

메타는 RSC가 회사가 실시간 음성 번역을 다양한 언어를 사용하는 대규모 그룹에 제공할 수 있게 할 것이라고 희망한다. 이것은 매우 다양한 팀이 연구 프로젝트에 협력할 수 있게 할 것이다.

“우리는 RSC가 완전히 새로운 AI 시스템을 구축하는 데 도움이 될 것이라고 희망한다. 예를 들어, 대규모 그룹의 사람들이 서로 다른 언어를 사용하여 실시간 음성 번역을 제공하여 연구 프로젝트나 증강 현실 게임을 함께玩할 수 있게 할 것이다”라고 메타는 말했다.

이 새로운 협력은 다양한 산업에서 사용할 수 있는 차세대 최첨단 AI 슈퍼컴퓨터를 개발하는 데 큰 도움이 될 것이다.