Hệ Thống Cerebras CS-1 Tích Hợp Vào Siêu Máy Tính Lassen

Một nghiên cứu trường hợp mới được thực hiện bởi Cerebras (CBRS ) hợp tác với Phòng thí nghiệm Quốc gia Lawrence Livermore (LLNL) cung cấp thông tin về việc hệ thống Cerebras CS-1 được tích hợp vào siêu máy tính Lassen của LLNL để thực hiện các mô phỏng hợp hạch hạt nhân.

LLNL là một cơ sở nghiên cứu liên bang tại Livermore, California, và được tài trợ chủ yếu bởi Cơ quan An ninh Hạt nhân Quốc gia của Bộ Năng lượng Hoa Kỳ (NNSA). Theo LLNL, sứ mệnh của họ là tăng cường an ninh quốc gia Hoa Kỳ bằng cách phát triển và áp dụng khoa học, công nghệ và kỹ thuật hàng đầu thế giới.

Phòng thí nghiệm này chứa Cơ sở Khởi động Quốc gia (NIF), nơi thực hiện nghiên cứu hợp hạch hạt nhân bằng laser mạnh nhất thế giới. Tuy nhiên, một số thách thức lớn bao gồm các thí nghiệm giam giữ quán tính tốn kém và tốn thời gian, vì vậy phòng thí nghiệm chạy các thí nghiệm mô phỏng bằng một gói phần mềm đa vật lý gọi là HYDRA trên siêu máy tính Lassen. Các mô hình HYDRA được xác thực thông qua dữ liệu thực tế từ NIF, cho phép các mô hình trở nên chính xác hơn trong việc dự đoán kết quả của các thí nghiệm thực tế.

Một phần của mô hình HYDRA mô hình hóa động lực học nguyên tử và bức xạ, và phần này được gọi là CRETIN. Nó dự đoán cách một nguyên tử sẽ hành xử trong các điều kiện nhất định, và CRETIN có thể đại diện cho hàng chục phần trăm tải trọng tính toán tổng thể cho HYDRA.

Bằng cách thay thế CRETIN bằng một mô hình mạng nơ-ron sâu (DNN), hoặc CRETIN-surrogate, các nhà nghiên cứu tại LLNL có thể giảm cường độ tính toán.

Hệ Thống Cerebras CS-1

Hệ thống Cerebras CS-1 được LLNL chọn để thực hiện suy luận CRETIN-surrogate. Hệ thống này được tích hợp với siêu máy tính Lassen, và quá trình cài đặt chỉ mất ít hơn 20 giờ. Các kỹ thuật viên của Cerebras cũng đã cài đặt một “vỏ làm mát” và các đường ray và phần cứng hỗ trợ cơ học.

Các kỹ sư phần mềm học máy đã làm việc với các đồng nghiệp tại LLNL để viết một API C++ cho phép mã HYDRA gọi mô hình CRETIN-surrogate. Mô hình này dựa trên một bộ tự động mã hóa để nén dữ liệu đầu vào thành các biểu diễn chiều thấp hơn, và những biểu diễn này sau đó được xử lý bởi một mô hình dự đoán được xây dựng bằng DJINN, một thuật toán mạng nơ-ron sâu mới. Thuật toán này tự động chọn một kiến trúc mạng nơ-ron phù hợp cho dữ liệu cho trước, và nó không yêu cầu người dùng phải điều chỉnh thủ công các cài đặt.

Kết Quả Của Nghiên Cứu Trường Hợp

Kết quả ban đầu cho thấy sự kết hợp giữa hệ thống Lassen và bộ tăng tốc Cerebras cực kỳ hiệu quả. Bằng cách cắm hệ thống CS-1 vào mạng InfiniBand của Lassen, có thể đạt được băng thông 1,2 terabit/giây đến hệ thống CS-1.

Do có 19GB bộ nhớ SRAM kết hợp với 400.000 lõi tính toán AI, hệ thống CS-1 có thể chạy nhiều phiên bản của mô hình DNN tương đối nhỏ song song. Thông qua sự kết hợp giữa băng thông và hiệu suất, HYDRA có thể thực hiện suy luận trên 18 triệu mẫu mỗi giây.

Tất cả những điều này có nghĩa là LLNL hiện có thể chạy các thí nghiệm trước đây không thể thực hiện được về mặt tính toán với hệ thống Cerebras, và điều này chỉ liên quan đến việc tích hợp đơn giản và một phần nhỏ của chi phí.

Nghiên cứu sẽ tập trung vào việc điều khiển mô phỏng và cung cấp thông tin về mô phỏng trong khi nó đang chạy, điều này cho phép các nhà nghiên cứu theo dõi và dừng chạy nếu mô phỏng không hoạt động tốt. Kết quả của mỗi chạy sau đó trở thành một phần của tập dữ liệu đào tạo của mô hình, vì vậy nó có thể được đào tạo liên tục. Một mô hình “học chủ động” có thể được tạo ra, và nó có thể tối ưu hóa các chạy tương lai bằng cách chọn các tham số và điều kiện biên ban đầu cho thí nghiệm tiếp theo.