Meta và NVIDIA hợp tác xây dựng siêu máy tính AI

Meta và NVIDIA (NVDA ) đã宣 bố rằng họ đang làm việc cùng nhau để xây dựng một siêu máy tính AI khổng lồ. Siêu máy tính nghiên cứu AI (RSC) hiện đang được đào tạo để phát triển các mô hình AI mới.

RSC dự kiến sẽ là cài đặt khách hàng lớn nhất của hệ thống NVIDIA DGX A100 khi nó được triển khai đầy đủ. Nó dự kiến sẽ được xây dựng hoàn chỉnh vào cuối năm nay và sẽ được sử dụng để đào tạo các mô hình AI với hơn một nghìn tỷ tham số. Siêu máy tính này sẽ rất hữu ích cho nhiều lĩnh vực khác nhau như xử lý ngôn ngữ tự nhiên (NLP).

Theo Meta, công ty đang tập trung vào việc cho phép hiệu suất ở quy mô lớn và độ tin cậy, bảo mật, quyền riêng tư và sự linh hoạt để xử lý các mô hình AI khác nhau.

Chi tiết về RSC

RSC sử dụng 760 hệ thống NVIDIA DGX A100 làm nút tính toán và chúng có 6.080 GPU NVIDIA A100 được liên kết trên mạng InfiniBand 200Gb/s của NVIDIA. Tất cả điều này cho phép nó cung cấp 1.895 petaflops hiệu suất TF32.

RSC chỉ mất 18 tháng để đạt được một siêu máy tính AI hoạt động, điều này ấn tượng khi xem xét ảnh hưởng của đại dịch COVID-19 đến sự phát triển.

Các thử nghiệm ban đầu trên RSC, so với cơ sở sản xuất và nghiên cứu truyền thống của Meta, đã chứng minh rằng nó có thể chạy các công việc tầm nhìn máy tính lên đến 20 lần nhanh hơn. Nó cũng có thể chạy thư viện truyền thông tập thể NVIDIA (NCCL) nhanh hơn chín lần và đào tạo các mô hình NLP lớn ba lần nhanh hơn. Nói cách khác, một mô hình có hàng chục tỷ tham số sẽ có thể hoàn thành đào tạo trong ba tuần, so với chín tuần trước đó.

RSC sẽ cho phép gì

RSC sẽ cho phép các nhà nghiên cứu AI của Meta tạo ra các mô hình AI mới có thể học từ hàng nghìn tỷ ví dụ. Các nhà nghiên cứu cũng sẽ có thể làm việc trên hàng trăm ngôn ngữ khác nhau; phân tích văn bản, hình ảnh và video cùng nhau; phát triển các công cụ thực tế ảo mới và nhiều hơn nữa.

Meta hy vọng rằng RSC sẽ cho phép công ty cung cấp khả năng dịch tiếng nói thời gian thực cho các nhóm lớn người, ngay cả khi mỗi người nói một ngôn ngữ khác nhau. Điều này sẽ cho phép các đội đa dạng làm việc cùng nhau trên các dự án nghiên cứu.

“Chúng tôi hy vọng RSC sẽ giúp chúng tôi xây dựng các hệ thống AI hoàn toàn mới có thể, ví dụ, cung cấp khả năng dịch tiếng nói thời gian thực cho các nhóm lớn người, mỗi người nói một ngôn ngữ khác nhau, để họ có thể cộng tác liền mạch trên một dự án nghiên cứu hoặc chơi một trò chơi AR cùng nhau,” Meta cho biết.

Sự hợp tác mới này sẽ đi một chặng đường dài trong việc phát triển một trong những siêu máy tính AI tiên tiến nhất tiếp theo có thể được sử dụng trong một loạt các ngành công nghiệp.