세레브라스 CS-1 시스템이 라슨 슈퍼컴퓨터에 통합됨

새로운 사례 연구는 Cerebras (CBRS ) 와 로렌스 리버모어 국립 연구소(LLNL)가 제휴하여 수행했으며, 세레브라스 CS-1 시스템이 LLNL의 라슨 슈퍼컴퓨터에 통합되어 핵융합 시뮬레이션의 발전에 기여하는 방법을 설명합니다.

LLNL은 캘리포니아 리버모어에 있는 연방 연구 시설이며, 주로 미국 에너지부의 국립 원자력 보안국(NNSA)에서 자금을 지원받습니다. LLNL에 따르면, 그들의 임무는 세계 최고 수준의 과학, 기술 및 공학을 개발하고 적용하여 미국의 보안을 강화하는 것입니다.

연구소에는 세계에서 가장 강력한 레이저를 사용하는 핵융합 연구를 수행하는 국가 점화 시설(NIF)이 있습니다. 그러나 일부 주요 장애물로는 비용이 많이 들고 시간이 많이 걸리는 관성 구속 실험이 포함되므로, 연구소는 라슨 슈퍼컴퓨터에서 멀티 물리학 소프트웨어 패키지인 HYDRA를 사용하여 시뮬레이션 실험을 실행합니다. HYDRA 모델은 NIF의 실제 데이터를 통해 검증되므로, 실제 실험의 결과를 예측하는 모델의 정확성을 높일 수 있습니다.

HYDRA 모델의 일부는 원자 운동학 및 복사와 관련된 CRETIN입니다. 이는 특정 조건下的 원子の 행동을 예측하며, CRETIN은 HYDRA의 총 컴퓨팅 부하의 몇십 퍼센트를 차지할 수 있습니다.

CRETIN을 깊은 신경망 모델(DNN) 또는 CRETIN-대리 모델로 대체함으로써, LLNL 연구자들은 계산 강도를 줄일 수 있습니다.

세레브라스 CS-1 시스템

세레브라스 CS-1 시스템은 LLNL이 CRETIN-대리 추론을 수행하기 위해 선택했습니다. 시스템은 라슨 슈퍼컴퓨터와 통합되었으며, 설치에는 20시간 미만이 소요되었습니다. 세레브라스 기술자들은 또한 “쿨링 쉘”과 기계적 지원 레일 및 하드웨어를 설치했습니다.

기계 학습 소프트웨어 엔지니어들은 LLNL 동료들과 함께 HYDRA 코드가 CRETIN-대리 모델을 호출할 수 있는 C++ API를 작성했습니다. 모델은 입력 데이터를 저차원 표현으로 압축하기 위한 오토인코더에 의존하며, 이러한 데이터는 DJINN으로 구축된 예측 모델에 의해 처리됩니다. DJINN은 사용자가 수동으로 설정을 조정할 필요 없이 주어진 데이터에 적합한 신경망 아키텍처를 자동으로 선택하는 새로운 깊은 신경망 알고리즘입니다.

사례 연구 결과

초기 결과는 라슨 시스템과 세레브라스 가속기의 조합이 매우 효율적임을 보여주었습니다. CS-1 시스템을 라슨의 InfiniBand 네트워크에 연결함으로써, 1.2 테라비트당 초의 대역폭을 달성할 수 있었습니다.

19GB의 SRAM 메모리와 400,000개의 AI 컴퓨팅 코어가 있는 CS-1 시스템은 상대적으로.compact한 DNN 모델의 여러 인스턴스를 병렬로 실행할 수 있었습니다. 대역폭과 마력의 조합을 통해, HYDRA는 매초 1,800만 개의 샘플에 대한 추론을 수행할 수 있었습니다.

이 모든 것은 LLNL이 세레브라스 시스템을 사용하여 이전에는 계산적으로 불가능했던 실험을 실행할 수 있음을 의미하며, 이는 단순한 통합과 비용의 일부만으로 가능합니다.

연구는 이제 시뮬레이션을 제어하고 시뮬레이션이 실행 중인 동안洞察력을 제공하는 데 중점을 두고 있으며, 이는 연구자들이 시뮬레이션이 제대로 작동하지 않는 경우 실행을 중지할 수 있도록 합니다. 각 실행의 결과는 모델의 훈련 세트의 일부가 되므로, 모델을 지속적으로 훈련할 수 있습니다. “활성 학습” 모델을 생성할 수 있으며, 이는 다음 실험을 위한 매개변수와 초기 경계 조건을 선택하여 향후 실행을 최적화할 수 있습니다.