Modelli e piattaforme di IA
Meta e NVIDIA collaborano per costruire un supercomputer AI
Aggiungi Unite.AI alle tue fonti preferite su Google
Meta e NVIDIA (NVDA ) hanno annunciato di stare lavorando alla costruzione di un enorme supercomputer AI. L’AI Research SuperCluster (RSC) sta attualmente addestrando nuovi modelli per avanzare l’AI.
L’RSC è atteso essere la più grande installazione di sistemi NVIDIA DGX A100 una volta completamente deployato. Si prevede che sarà completamente costruito entro la fine di quest’anno e sarà utilizzato per addestrare modelli AI con oltre un trilione di parametri. Il supercomputer sarà utile per molti campi diversi come l’elaborazione del linguaggio naturale (NLP).
Secondo Meta, l’azienda si concentra sull’abilitazione delle prestazioni su larga scala e sulla massima affidabilità, sicurezza, privacy e flessibilità per gestire vari modelli AI.
Specifiche dell’RSC
L’RSC utilizza 760 sistemi NVIDIA DGX A100 come nodi di calcolo e hanno 6.080 NVIDIA A100 GPU collegati su una rete NVIDIA Quantum 200Gb/s InfiniBand. Tutto ciò consente di consegnare 1.895 petaflops di prestazioni TF32.
L’RSC ha impiegato solo 18 mesi per raggiungere un funzionante supercomputer AI, il che è impressionante considerando l’impatto della pandemia COVID-19 sullo sviluppo.
I primi benchmark sull’RSC, confrontati con l’infrastruttura di produzione e ricerca legacy di Meta, hanno dimostrato che può eseguire flussi di lavoro di visione computerizzata fino a 20 volte più velocemente. Può anche eseguire la libreria di comunicazione collettiva NVIDIA (NCCL) più di nove volte più velocemente e addestrare modelli NLP su larga scala tre volte più velocemente. In altre parole, un modello con decine di miliardi di parametri potrebbe completare l’addestramento in tre settimane, rispetto al precedente benchmark di nove settimane.
Cosa abiliterà l’RSC
L’RSC abiliterà i ricercatori AI di Meta a creare nuovi modelli AI che possono imparare da trilioni di esempi. I ricercatori saranno anche in grado di lavorare su centinaia di lingue diverse; analizzare testo, immagini e video insieme; sviluppare nuovi strumenti di realtà aumentata e altro.
Meta spera che l’RSC possa abilitare l’azienda a fornire traduzioni vocali in tempo reale a grandi gruppi di persone, anche se ognuno parla una lingua diversa. Ciò consentirà a team estremamente diversificati di collaborare a progetti di ricerca.
“Speriamo che l’RSC ci aiuti a costruire interi nuovi sistemi AI che possono, ad esempio, fornire traduzioni vocali in tempo reale a grandi gruppi di persone, ognuno che parla una lingua diversa, in modo che possano collaborare senza problemi a un progetto di ricerca o giocare a un gioco di realtà aumentata insieme”, ha detto Meta.
Questa nuova collaborazione andrà a lungo nel sviluppare uno dei prossimi supercomputer AI all’avanguardia che potrà essere utilizzato in una vasta gamma di settori.
