Meta, NVIDIA Bergabung untuk Membangun Superkomputer AI

Meta dan NVIDIA (NVDA ) telah mengumumkan bahwa mereka bekerja sama untuk membangun superkomputer AI yang masif. AI Research SuperCluster (RSC) saat ini sedang melatih model-model baru untuk meningkatkan AI.

RSC diharapkan menjadi instalasi terbesar dari sistem NVIDIA DGX A100 ketika sepenuhnya diterapkan. Diperkirakan akan selesai dibangun akhir tahun ini, dan akan digunakan untuk melatih model-model AI dengan lebih dari satu triliun parameter. Superkomputer ini akan berguna untuk banyak bidang seperti pemrosesan bahasa alami (NLP).

Menurut Meta, perusahaan ini fokus pada mengaktifkan kinerja pada skala dan keandalan ekstrem, keamanan, privasi, dan fleksibilitas untuk menangani berbagai model AI.

Spesifikasi RSC

RSC menggunakan 760 sistem NVIDIA DGX A100 sebagai node komputasi, dan mereka memiliki 6.080 NVIDIA A100 GPU yang dihubungkan pada jaringan InfiniBand 200Gb/s NVIDIA Quantum. Semua ini memungkinkan untuk mengirimkan 1.895 petaflops kinerja TF32.

RSC hanya membutuhkan 18 bulan untuk mencapai superkomputer AI yang berfungsi, yang cukup mengesankan mengingat dampak pandemi COVID-19 pada pengembangan.

Benchmarks awal pada RSC, dibandingkan dengan infrastruktur produksi dan penelitian Meta sebelumnya, telah menunjukkan bahwa dapat menjalankan alur kerja penglihatan komputer hingga 20 kali lebih cepat. Juga dapat menjalankan Perpustakaan Komunikasi Kolektif NVIDIA (NCCL) lebih dari sembilan kali lebih cepat dan melatih model-model NLP skala besar tiga kali lebih cepat. Dengan kata lain, model dengan miliaran parameter akan dapat selesai dilatih dalam tiga minggu, dibandingkan dengan benchmark sembilan minggu sebelumnya.

Apa yang Dapat Dilakukan RSC

RSC akan memungkinkan peneliti AI Meta untuk membuat model-model AI baru yang dapat belajar dari triliunan contoh. Peneliti juga dapat bekerja di seluruh ratusan bahasa yang berbeda; menganalisis teks, gambar, dan video bersama; mengembangkan alat realitas tambahan baru; dan banyak lagi.

Meta berharap RSC akan memungkinkan perusahaan untuk memungkinkan terjemahan suara waktu nyata ke kelompok besar orang, bahkan jika setiap orang berbicara bahasa yang berbeda. Ini akan memungkinkan tim yang sangat beragam untuk bekerja sama dalam proyek penelitian.

“Kami berharap RSC akan membantu kami membangun sistem AI yang sepenuhnya baru yang dapat, misalnya, memungkinkan terjemahan suara waktu nyata ke kelompok besar orang, masing-masing berbicara bahasa yang berbeda, sehingga mereka dapat bekerja sama dengan lancar dalam proyek penelitian atau bermain game AR bersama,” kata Meta.

Kolaborasi baru ini akan membantu mengembangkan salah satu superkomputer AI tercanggih berikutnya yang dapat digunakan dalam berbagai industri.