Meta, NVIDIA se unen para construir una supercomputadora de inteligencia artificial

Meta y NVIDIA han anunciado que están trabajando en la construcción de una enorme supercomputadora de inteligencia artificial. El Clúster de Investigación de Inteligencia Artificial (RSC) está entrenando actualmente nuevos modelos para avanzar en la inteligencia artificial.

El RSC se espera que sea la instalación de cliente más grande de sistemas NVIDIA DGX A100 una vez que esté completamente desplegado. Se espera que esté completamente construido a finales de este año, y se utilizará para entrenar modelos de inteligencia artificial con más de un billón de parámetros. La supercomputadora será útil para muchos campos diferentes, como el procesamiento de lenguaje natural (NLP).

Según Meta, la empresa se centra en permitir el rendimiento a gran escala y la confiabilidad extrema, la seguridad, la privacidad y la flexibilidad para manejar varios modelos de inteligencia artificial.

Detalles del RSC

El RSC utiliza 760 sistemas NVIDIA DGX A100 como nodos de cálculo, y tienen 6,080 NVIDIA A100 GPUs vinculadas en una red NVIDIA Quantum 200Gb/s InfiniBand. Todo esto permite que entregue 1,895 petaflops de rendimiento TF32.

El RSC solo tardó 18 meses en alcanzar una supercomputadora de inteligencia artificial en funcionamiento, lo que es impresionante considerando el efecto de la pandemia de COVID-19 en el desarrollo.

Las pruebas iniciales en el RSC, en comparación con la infraestructura de producción y investigación heredada de Meta, han demostrado que puede ejecutar flujos de trabajo de visión por computadora hasta 20 veces más rápido. También puede ejecutar la Biblioteca de Comunicación Colectiva de NVIDIA (NCCL) más de nueve veces más rápido y entrenar modelos de NLP a gran escala tres veces más rápido. En otras palabras, un modelo con decenas de miles de millones de parámetros podría terminar de entrenar en tres semanas, en comparación con la referencia de nueve semanas anterior.

Qué habilitará el RSC

El RSC permitirá a los investigadores de Meta AI crear nuevos modelos de inteligencia artificial que puedan aprender de billones de ejemplos. Los investigadores también podrán trabajar en cientos de diferentes idiomas; analizar texto, imágenes y video juntos; desarrollar nuevas herramientas de realidad aumentada; y más.

Meta espera que el RSC permita a la empresa alimentar traducciones de voz en tiempo real a grandes grupos de personas, incluso si cada uno habla un idioma diferente. Esto permitirá que equipos muy diversos colaboren en proyectos de investigación.

“Esperamos que el RSC nos ayude a construir sistemas de inteligencia artificial completamente nuevos que puedan, por ejemplo, alimentar traducciones de voz en tiempo real a grandes grupos de personas, cada uno hablando un idioma diferente, para que puedan colaborar sin problemas en un proyecto de investigación o jugar un juego de realidad aumentada juntos”, dijo Meta.

Esta nueva colaboración irá muy lejos en el desarrollo de una de las supercomputadoras de inteligencia artificial de última generación que se puede utilizar en una amplia gama de industrias.