Meta y NVIDIA se unen para construir una supercomputadora de IA

Meta y NVIDIA han anunciado que están trabajando en la construcción de una supercomputadora de inteligencia artificial masiva. AI Research SuperCluster (RSC) actualmente está entrenando nuevos modelos para hacer avanzar la IA.

Se espera que el RSC sea la mayor instalación de clientes de sistemas NVIDIA DGX A100 una vez que esté completamente implementado. Se espera que esté completamente construido a finales de este año y se utilizará para entrenar modelos de IA con más de un billón de parámetros. La supercomputadora será útil para muchos campos diferentes, como el procesamiento del lenguaje natural (NLP).

Según Meta, la empresa se centra en permitir el rendimiento a escala y la fiabilidad, la seguridad, la privacidad y la flexibilidad extremas para manejar varios modelos de IA.

Especificaciones del RSC

El RSC utiliza 760 sistemas NVIDIA DGX A100 como sus nodos de cómputo y tiene 6,080 GPU NVIDIA A100 enlazadas en una red NVIDIA Quantum 200Gb/s InfiniBand. Todo esto le permite ofrecer 1,895 petaflops de rendimiento TF32.

El RSC solo tardó 18 meses en llegar a una supercomputadora de IA en funcionamiento, lo cual es impresionante dado el efecto de la pandemia de COVID-19 en el desarrollo.

Los primeros puntos de referencia del RSC, en comparación con la infraestructura de producción e investigación heredada de Meta, han demostrado que puede ejecutar flujos de trabajo de visión por computadora hasta 20 veces más rápido. También puede ejecutar la Biblioteca de comunicación colectiva (NCCL) de NVIDIA nueve veces más rápido y entrenar modelos de PNL a gran escala tres veces más rápido. En otras palabras, un modelo con decenas de miles de millones de parámetros podría terminar el entrenamiento en tres semanas, en comparación con el punto de referencia anterior de nueve semanas.

Lo que permitirá el RSC

El RSC permitirá a los investigadores de Meta AI crear nuevos modelos de IA que puedan aprender de billones de ejemplos. Los investigadores también podrán trabajar en cientos de idiomas diferentes; analizar texto, imágenes y video juntos; desarrollar nuevas herramientas de realidad aumentada; y más.

Meta espera que el RSC permita a la empresa potenciar las traducciones de voz en tiempo real para grandes grupos de personas, incluso si cada uno habla un idioma diferente. Esto permitirá que equipos extremadamente diversos colaboren en proyectos de investigación.

“Esperamos que RSC nos ayude a construir sistemas de IA completamente nuevos que puedan, por ejemplo, impulsar traducciones de voz en tiempo real para grandes grupos de personas, cada una hablando un idioma diferente, para que puedan colaborar sin problemas en un proyecto de investigación o jugar un juego AR juntos”, dijo Meta.

Esta nueva colaboración contribuirá en gran medida al desarrollo de una de las próximas supercomputadoras de IA de última generación que se puede utilizar en una amplia gama de industrias.