Meta, NVIDIA Team Up to Build AI

Meta와 NVIDIA는 대규모 AI 슈퍼컴퓨터를 구축하고 있다고 발표했습니다. AI 연구 슈퍼클러스터 (RSC)는 현재 새로운 모델을 훈련하여 AI를 발전시키고 있습니다.

RSC는 완전히 배포되면 NVIDIA DGX A100 시스템의 가장 큰 고객 설치가 될 것으로 예상됩니다.今年後半에 완전히 구축될 예정이며, 1조 개 이상의 매개변수를 가진 AI 모델을 훈련하는 데 사용될 것입니다. 이 슈퍼컴퓨터는 자연어 처리 (NLP)와 같은 다양한 분야에서 유용할 것입니다.

Meta에 따르면, 회사는 대규모 성능, 극단적인 신뢰성, 보안, 개인 정보 보호 및 다양한 AI 모델을 처리하는 유연성을 가능하게 하는 데 중점을 두고 있습니다.

RSC의 세부 사항

RSC는 760개의 NVIDIA DGX A100 시스템을 컴퓨팅 노드로 사용하며, NVIDIA Quantum 200Gb/s InfiniBand 네트워크에 연결된 6,080개의 NVIDIA A100 GPU를 사용합니다. 모든 것이 TF32 성능의 1,895 페타플롭스를 제공할 수 있습니다.

RSC는 작동하는 AI 슈퍼컴퓨터에 도달하기 위해 18개월이 걸렸습니다. 이는 COVID-19 팬데믹의 개발에 대한 영향이 고려될 때 인상적인 것입니다.

RSC의 초기 벤치마크는 Meta의 기존 생산 및 연구 인프라와 비교하여 컴퓨터 비전 워크플로우를 최대 20배 빠르게 실행할 수 있으며, NVIDIA Collective Communication Library (NCCL)를 9배 이상 빠르게 실행할 수 있으며, 대규모 NLP 모델을 3배 빠르게 훈련할 수 있음을 보여주었습니다. 즉, 수십억 개의 매개변수를 가진 모델은 3주 만에 훈련을 완료할 수 있으며, 이전에는 9주가 걸렸습니다.

RSC가 가능하게 하는 것

RSC는 Meta AI 연구자가 수조 개의 예제에서 학습할 수 있는 새로운 AI 모델을 생성할 수 있게 할 것입니다. 연구자들은 또한 수백 개의 다른 언어를 처리할 수 있으며, 텍스트, 이미지 및 비디오를 함께 분석할 수 있으며, 새로운 증강 현실 도구를 개발할 수 있으며, 더 많은 것을 할 수 있습니다.

Meta는 RSC가 회사가 서로 다른 언어를 사용하는 대규모 그룹에게 실시간 음성 번역을 제공할 수 있게 해줄 것이라고希望합니다. 이는 매우 다양한 팀이 연구 프로젝트에 협력할 수 있게 할 것입니다.

“우리는 RSC가 연구 프로젝트 또는 증강 현실 게임에 함께 협력할 수 있는 대규모 그룹에게 서로 다른 언어를 사용하는 사람들에게 실시간 음성 번역을 제공할 수 있는 완전히 새로운 AI 시스템을 구축하는 데 도움이 될 것이라고希望합니다.”라고 Meta는 말했습니다.

이 새로운 협력은 다양한 산업에서 사용할 수 있는 차세대 최첨단 AI 슈퍼컴퓨터를 개발하는 데 큰 도움이 될 것입니다.