AI-modellen en platforms
Meta en NVIDIA werken samen aan AI-supercomputer
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Meta en NVIDIA (NVDA ) hebben aangekondigd dat ze samenwerken aan de bouw van een enorme AI-supercomputer. De AI Research SuperCluster (RSC) is momenteel bezig met het trainen van nieuwe modellen om AI te verbeteren.
De RSC wordt verwacht de grootste klantinstallatie van NVIDIA DGX A100-systemen te zijn zodra deze volledig is geïmplementeerd. Het wordt verwacht dat het later dit jaar volledig zal zijn gebouwd en dat het zal worden gebruikt om AI-modellen met meer dan een triljoen parameters te trainen. De supercomputer zal nuttig zijn voor veel verschillende gebieden, zoals natural-language processing (NLP).
Volgens Meta is het bedrijf gericht op het mogelijk maken van prestaties op grote schaal en extreme betrouwbaarheid, beveiliging, privacy en flexibiliteit om verschillende AI-modellen te verwerken.
Specificaties van de RSC
De RSC gebruikt 760 NVIDIA DGX A100-systemen als rekenknooppunten en heeft 6.080 NVIDIA A100-GPU’s die zijn verbonden via een NVIDIA Quantum 200Gb/s InfiniBand-netwerk. Dit maakt het mogelijk om 1.895 petaflops van TF32-prestaties te leveren.
De RSC heeft slechts 18 maanden nodig gehad om een functionerende AI-supercomputer te bereiken, wat indrukwekkend is gezien de impact van de COVID-19-pandemie op de ontwikkeling.
Vroege benchmarks op de RSC, in vergelijking met Meta’s legacy-productie- en onderzoeksinfrastructuur, hebben aangetoond dat het computer vision-workflows tot 20 keer sneller kan uitvoeren. Het kan ook de NVIDIA Collective Communication Library (NCCL) meer dan negen keer sneller uitvoeren en grote-scale NLP-modellen drie keer sneller trainen. Met andere woorden, een model met tientallen miljarden parameters zou in drie weken kunnen worden getraind, in plaats van de eerdere negen-weken-benchmark.
Wat de RSC mogelijk maakt
De RSC zal Meta AI-onderzoekers in staat stellen om nieuwe AI-modellen te creëren die kunnen leren van triljoenen voorbeelden. Onderzoekers zullen ook in staat zijn om samen te werken over honderden verschillende talen; tekst, afbeeldingen en video samen te analyseren; nieuwe augmented reality-tools te ontwikkelen en meer.
Meta hoopt dat de RSC het bedrijf in staat zal stellen om real-time spraakvertalingen te bieden aan grote groepen mensen, zelfs als elk een andere taal spreekt. Dit zal het mogelijk maken voor zeer diverse teams om samen te werken aan onderzoeksprojecten.
“We hopen dat de RSC ons zal helpen om geheel nieuwe AI-systemen te bouwen die, bijvoorbeeld, real-time spraakvertalingen kunnen bieden aan grote groepen mensen, elk met een andere taal, zodat ze samen kunnen werken aan een onderzoeksproject of een AR-spel kunnen spelen,” zei Meta.
Deze nieuwe samenwerking zal een lange weg gaan in het ontwikkelen van een van de volgende state-of-the-art AI-supercomputers die kunnen worden gebruikt in een breed scala aan industrieën.
