Meta, NVIDIA Bergabung untuk Membangun AI Superkomputer

Meta dan NVIDIA telah mengumumkan bahwa mereka bekerja sama untuk membangun superkomputer AI yang masif. AI Research SuperCluster (RSC) saat ini sedang melatih model baru untuk meningkatkan AI.

RSC diharapkan menjadi instalasi pelanggan terbesar dari sistem NVIDIA DGX A100 sekali sepenuhnya diterapkan. Diharapkan akan sepenuhnya dibangun pada akhir tahun ini, dan akan digunakan untuk melatih model AI dengan lebih dari satu triliun parameter. Superkomputer ini akan berguna untuk banyak bidang yang berbeda seperti pemrosesan bahasa alami (NLP).

Menurut Meta, perusahaan ini fokus pada mengaktifkan kinerja pada skala dan keandalan ekstrem, keamanan, privasi, dan fleksibilitas untuk menangani berbagai model AI.

Spesifikasi RSC

RSC menggunakan 760 sistem NVIDIA DGX A100 sebagai node komputasi, dan mereka memiliki 6.080 NVIDIA A100 GPU yang terhubung pada jaringan NVIDIA Quantum 200Gb/s InfiniBand. Semua ini memungkinkan untuk mengirimkan 1.895 petaflops kinerja TF32.

RSC hanya membutuhkan 18 bulan untuk mencapai superkomputer AI yang berfungsi, yang cukup mengesankan mengingat dampak pandemi COVID-19 pada pengembangan.

Benchmarks awal pada RSC, dibandingkan dengan infrastruktur produksi dan penelitian warisan Meta, telah menunjukkan bahwa dapat menjalankan alur kerja visi komputer hingga 20 kali lebih cepat. Juga dapat menjalankan NVIDIA Collective Communication Library (NCCL) lebih dari sembilan kali lebih cepat dan melatih model NLP skala besar tiga kali lebih cepat. Dengan kata lain, model dengan puluhan miliar parameter akan dapat menyelesaikan pelatihan dalam tiga minggu, dibandingkan dengan benchmark sembilan minggu sebelumnya.

Apa yang Dapat Dilakukan RSC

RSC akan memungkinkan peneliti AI Meta untuk membuat model AI baru yang dapat belajar dari triliunan contoh. Peneliti juga akan dapat bekerja di ratusan bahasa yang berbeda; menganalisis teks, gambar, dan video bersama; mengembangkan alat realitas tambah baru; dan lain-lain.

Meta berharap RSC akan memungkinkan perusahaan untuk memungkinkan terjemahan suara waktu nyata ke kelompok besar orang, bahkan jika masing-masing berbicara bahasa yang berbeda. Ini akan memungkinkan tim yang sangat beragam untuk berkolaborasi pada proyek penelitian.

“Kami berharap RSC akan membantu kami membangun sistem AI yang sepenuhnya baru yang dapat, misalnya, memungkinkan terjemahan suara waktu nyata ke kelompok besar orang, masing-masing berbicara bahasa yang berbeda, sehingga mereka dapat berkolaborasi dengan lancar pada proyek penelitian atau bermain game AR bersama,” kata Meta.

Kolaborasi baru ini akan membantu mengembangkan salah satu superkomputer AI tercanggih berikutnya yang dapat digunakan dalam berbagai industri.