인터뷰

세레브라스 시스템즈의 공동 창립자이자 CEO인 앤드류 펠드만 – 인터뷰 시리즈

Antoine Tardif
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트Cerebras는 GPU 클러스터의 분산 컴퓨팅 문제에서 벗어나기 위해 웨이퍼 스케일 엔진을 구축했습니다.
더 보기
  • Cerebras는 GPU 클러스터의 분산 컴퓨팅 문제에서 벗어나기 위해 웨이퍼 스케일 엔진을 구축했습니다.
  • Andromeda는 기존 슈퍼컴퓨터가 달성하기 어려운 거의 완벽한 선형 확장성을 입증했습니다.
  • 희소성 연구는 0 값에 대한 낭비적인 작업을 피함으로써 효율적인 계산을 목표로 합니다.

앤드류는 세레브라스 시스템즈 (CBRS )의 공동 창립자이자 CEO이며, 컴퓨팅의 경계를 넓히는 데 힘쓰는 기업가입니다. 이전에는 에너지 효율적이고 대역폭이 높은 마이크로서버의 선구자인 SeaMicro를 공동 창립하고 CEO를 맡았습니다. SeaMicro는 2012년 AMD에 3억 5,700만 달러에 인수되었습니다. 그전에는 이후 Dell Computing에 8억 달러에 매각된 Force10 Networks에서 제품 관리, 마케팅, 사업 개발 담당 부사장으로 일했습니다. 그보다 앞서 RiverStone Networks의 창립 때부터 2001년 기업공개까지 마케팅 및 기업 개발 부사장을 맡았습니다. 스탠퍼드 대학교에서 학사와 MBA를 취득했습니다.

세레브라스 시스템즈는 AI 가속과 AI 작업의 미래를 바꾼다는 단일 목표를 위해 기본 원리부터 설계한 새로운 종류의 컴퓨터 시스템을 개발하고 있습니다.

세레브라스 시스템즈의 창립 배경을 들려주시겠습니까?

저와 공동 창립자들은 CTO인 게리와 제가 2007년에 시작한 SeaMicro라는 이전 스타트업에서 함께 일했습니다. 영문 인터뷰의 이 답변에서는 SeaMicro가 2012년 AMD에 3억 3,400만 달러에 매각됐다고 설명하며, 소개문에 적힌 3억 5,700만 달러와 금액이 다릅니다. 공동 창립자인 Gary Lauterbach, Sean Lie, JP Fricker, Michael James는 업계 최고의 컴퓨터 아키텍트와 엔지니어들입니다. 2015년 다시 모였을 때 화이트보드에 두 가지를 적었습니다. 함께 일하고 싶다는 것, 그리고 업계를 바꾸고 컴퓨팅의 명예의 전당에 해당하는 컴퓨터 역사 박물관에 들어갈 무언가를 만들고 싶다는 것이었습니다. 지난해 박물관이 우리의 성과를 인정하고 AI 환경을 바꿨다는 평가와 함께 WSE-2 프로세서를 소장품에 추가해 영광이었습니다.

세레브라스는 두려움 없이 새로운 설계에 도전하기를 좋아하는 컴퓨터 아키텍트, 컴퓨터 과학자, 딥 러닝 연구자와 여러 분야 엔지니어의 팀입니다. 함께 모였을 때 우리의 사명은 이 시대의 가장 중요한 작업 중 하나가 된 딥 러닝을 가속할 새로운 종류의 컴퓨터를 만드는 것이었습니다.

딥 러닝에는 고유하고 막대하며 계속 증가하는 컴퓨팅 요구가 있습니다. 근본적으로 다른 작업을 위해 설계된 GPU 같은 기존 장치는 이에 잘 맞지 않습니다. 그래서 오늘날 AI를 제약하는 것은 응용 분야나 아이디어가 아니라 사용 가능한 컴퓨팅 자원입니다. 새 모델을 학습시켜 가설 하나를 시험하는 데 며칠, 몇 주, 심지어 몇 달이 걸리고 컴퓨팅 시간에 수십만 달러가 들 수 있습니다. 이는 혁신의 큰 장애물입니다.

따라서 세레브라스는 백지에서 출발해 딥 러닝만을 위해 최적화한 새로운 컴퓨터를 만들고자 탄생했습니다. 막대한 연산 요구를 충족하기 위해 지금까지 만들어진 가장 큰 칩인 웨이퍼 스케일 엔진(WSE)을 설계하고 제조했습니다. 세계 최초의 웨이퍼 규모 프로세서를 구현하면서 컴퓨터의 70년 역사 내내 불가능하다고 여겨졌던 설계, 제조, 패키징의 난제를 극복했습니다. WSE의 모든 요소는 전례 없는 속도와 규모로 딥 러닝 연구를 지원하도록 설계됐으며, 업계에서 가장 빠른 AI 슈퍼컴퓨터인 세레브라스 CS-2를 구동합니다.

모든 구성 요소를 AI 작업에 최적화한 CS-2는 다른 시스템보다 적은 공간과 전력으로 더 높은 연산 성능을 제공합니다. 동시에 프로그래밍 복잡성, 실제 경과 연산 시간, 해답을 얻기까지의 시간을 크게 줄입니다. AI부터 고성능 컴퓨팅(HPC)까지 작업에 따라 기존 대안보다 수백 배 또는 수천 배 높은 성능을 제공합니다. 수백 개 GPU에 해당하는 딥 러닝 연산 자원을 단일 장치처럼 쉽게 프로그래밍하고 관리하며 배포할 수 있습니다.

최근 몇 달 동안 세레브라스가 여러 뉴스에 등장했습니다. 새로운 AI 슈퍼컴퓨터 안드로메다를 소개해 주시겠습니까?

지난해 11월 발표한 안드로메다는 지금까지 만들어진 가장 크고 강력한 AI 슈퍼컴퓨터 중 하나입니다. 1엑사플롭을 넘는 AI 연산과 120페타플롭의 밀집 연산을 제공하며, 16개 CS-2 시스템에 1,350만 코어를 갖추었습니다. 대규모 언어 모델 작업에서 거의 완벽한 선형 확장성을 입증한 유일한 AI 슈퍼컴퓨터이기도 합니다. 사용도 매우 간단합니다.

비교하자면 지구에서 가장 큰 슈퍼컴퓨터인 Frontier에는 870만 코어가 있습니다. 단순 코어 수로는 안드로메다가 1.5배 이상입니다. 물론 수행하는 작업이 다르지만 규모를 이해하는 데 도움이 됩니다. 내부 대역폭은 거의 100테라비트이고, 약 2만 개의 AMD Epyc 코어가 데이터를 공급합니다. 구축에 수년이 걸리는 대형 슈퍼컴퓨터와 달리 우리는 3일 만에 안드로메다를 가동했고, 곧바로 AI 작업에서 거의 완벽한 선형 확장성을 보였습니다.

아르곤 국립연구소가 안드로메다를 사용한 첫 고객이었습니다. 연구소는 Polaris라는 2,000개 GPU 클러스터로 감당하기 어려웠던 문제에 이를 적용했습니다. 전체 코로나바이러스 유전체를 시퀀스 창에 넣고 매우 큰 GPT-3XL 생성 모델을 실행해, 각 유전자를 전체 유전체의 맥락에서 분석하는 작업입니다. 안드로메다는 긴 시퀀스(MSL 10K)를 쓰는 이 유전체 작업을 1, 2, 4, 8, 16개 노드에서 거의 완벽하게 선형 확장했습니다. 선형 확장성은 대형 클러스터에서 가장 바라는 특성 중 하나입니다. CS-2 한 대와 비교해 16대에서 처리량이 15.87배가 됐고 학습 시간도 그에 맞춰 줄었습니다.

11월 말 발표한 Jasper와의 협력 및 양사에 갖는 의미를 설명해 주시겠습니까?

Jasper는 흥미로운 회사입니다. 마케팅용 생성형 AI 콘텐츠 분야의 선도 기업으로, 전 세계 10만 곳 이상의 고객이 마케팅 문구, 광고, 책 등을 쓰는 데 제품을 사용합니다. 매우 활기차고 빠르게 성장하는 분야입니다. 지난해 우리는 기업과 소비자용 애플리케이션 전반에서 생성형 AI 도입을 가속하고 정확도를 높이기 위한 협력을 발표했습니다. Jasper는 연산량이 매우 큰 모델을 훨씬 짧은 시간에 학습시키기 위해 안드로메다를 사용합니다. 이를 통해 생성형 AI 모델의 혜택을 더 많은 사람에게 확장할 수 있습니다.

안드로메다의 성능을 활용하면 최종 사용자가 원하는 복잡성과 세부 수준에 맞춰 AI 출력을 조정하는 GPT 네트워크 학습 등 Jasper의 AI 작업을 크게 발전시킬 수 있습니다. 생성 모델의 맥락적 정확도가 높아지고, 여러 고객 집단에 맞게 콘텐츠를 빠르고 쉽게 개인화할 수 있습니다.

우리의 협력은 기존 인프라로는 비현실적이거나 불가능한 일을 Jasper가 시도하며 생성형 AI의 미래를 만들어 가도록 돕습니다. 생성형 AI의 잠재력을 앞당겨 전 세계의 빠르게 늘어나는 고객에게 혜택을 제공합니다.

최근 보도자료에서 미국 국립에너지기술연구소(NETL)와 피츠버그 슈퍼컴퓨팅 센터가 세레브라스 웨이퍼 스케일 엔진에서 최초로 전산유체역학 시뮬레이션을 수행했다고 발표했습니다. 웨이퍼 스케일 엔진이 무엇이며 어떻게 작동하는지 설명해 주시겠습니까?

우리의 웨이퍼 스케일 엔진(WSE)은 딥 러닝 컴퓨터 CS-2를 위한 혁신적인 AI 프로세서입니다. 범용 기존 프로세서와 달리 처음부터 딥 러닝 가속을 위해 만들어졌습니다. 희소 텐서 연산에 최적화한 85만 개 AI 코어, 막대한 용량과 높은 대역폭의 온칩 메모리, 기존 클러스터보다 여러 자릿수 빠른 상호 연결을 갖췄습니다. 기존 장치 여러 대의 클러스터에 해당하는 딥 러닝 자원을 하나의 장치에서 제공하면서 단일 노드처럼 프로그래밍할 수 있어, 프로그래밍 복잡성과 실제 연산 시간, 해답을 얻는 시간을 크게 줄입니다.

CS-2를 구동하는 2세대 WSE-2는 관심 있는 공학 시스템의 고충실도 모델을 실시간으로 구현할 만큼 문제를 빠르게 풉니다. 고정된 크기의 문제를 병렬 처리해 해결 시간을 줄이는 ‘강한 확장성’의 드문 성공 사례입니다.

NETL과 피츠버그 슈퍼컴퓨팅 센터가 바로 이 용도로 사용합니다. 약 2억 개 셀로 구성된 전산유체역학(CFD) 시뮬레이션을 거의 실시간으로 수행한 결과를 최근 발표했습니다. 이 영상은 유체층의 아래를 가열하고 위를 냉각할 때 생기는 레일리-베나르 대류를 고해상도로 보여 줍니다. 이러한 열 구동 유동은 바람, 호수 효과 눈보라, 지구 내부의 마그마 흐름, 태양의 플라스마 운동 등 주변에서 볼 수 있습니다. 해설자도 말하듯 중요한 것은 시각적 아름다움만이 아니라 계산 속도입니다. NETL은 WSE를 사용해 거의 2억 개 셀의 격자를 처음으로 거의 실시간 조작할 수 있게 됐습니다.

어떤 데이터를 시뮬레이션합니까?

시험한 작업은 자연 대류라고도 하는 열 구동 유체 흐름으로, 전산유체역학의 한 응용입니다. 유체 흐름은 바람, 호수 효과 눈보라, 지각판 운동 등 자연 곳곳에 있습니다. 약 2억 개 셀의 이 시뮬레이션은 유체를 아래에서 가열하고 위에서 냉각할 때 생기는 레일리-베나르 대류에 집중합니다. 자연에서는 다운버스트, 마이크로버스트, 데레초 같은 악천후를 일으킬 수 있으며, 지구 내부 마그마와 태양 플라스마의 움직임에도 관여합니다.

2022년 11월 NETL은 CS-2 기반의 새로운 장 방정식 모델링 API를 소개했습니다. NETL의 Joule 슈퍼컴퓨터에서 가능한 것보다 최대 470배 빨랐으며, CPU나 GPU 클러스터로 달성할 수 있는 수준을 넘어선다는 의미입니다. 여러 계산과학 작업을 웨이퍼 규모로 처리하게 하는 간단한 Python API인 WFA는 기존 컴퓨터와 슈퍼컴퓨터로 얻기 어려운 성능과 사용성을 제공합니다. 실제로 NETL Joule 2.0의 OpenFOAM보다 문제 해결 시간이 두 자릿수 차수 이상 빨랐습니다.

WFA API가 간단하기 때문에 이 결과를 불과 몇 주 만에 얻을 수 있었으며, NETL, PSC, 세레브라스 시스템즈의 긴밀한 협력이 계속되고 있습니다.

원래 느린 오프라인 작업이던 CFD를 WSE에서 빠르게 처리하면 이 분야와 여러 핵심 HPC 응용에서 새로운 실시간 활용이 가능합니다. 더 많은 연산 자원으로 고객이 더 많은 실험과 더 나은 과학 연구를 하도록 하는 것이 목표입니다. NETL 소장 Brian Anderson은 탄소 포집과 블루 수소 생산 등 기후변화를 완화하고 안정적인 에너지 미래를 확보하려는 대형 프로젝트의 설계를 크게 가속하고 개선할 것이라고 말했습니다.

첨단 슈퍼컴퓨터를 만드는 데 어떤 어려움이 있습니까?

아이러니하게도 대규모 AI의 가장 어려운 문제 중 하나는 AI 자체가 아니라 분산 컴퓨팅입니다.

최신 신경망을 학습시키려면 연구자들이 수백에서 수천 개 GPU를 사용하기도 합니다. 이를 확장하기는 쉽지 않습니다. 대규모 언어 모델을 GPU 클러스터에서 학습하려면 작업을 많은 소형 장치에 나누고, 각 장치의 메모리 용량과 대역폭 제약을 다루며, 통신과 동기화 오버헤드를 세심하게 관리해야 합니다.

우리는 세레브라스 웨이퍼 스케일 클러스터와 세레브라스 가중치 스트리밍 실행 모드로 전혀 다른 접근을 취했습니다. 이 기술은 세 가지 핵심을 바탕으로 확장하는 새로운 방법입니다.

첫째, CPU와 GPU 처리를 CS-2 같은 웨이퍼 규모 가속기로 대체하여 필요한 연산 속도를 얻는 데 쓰이는 장치 수를 줄입니다.

둘째, 모델 크기 문제를 해결하기 위해 연산과 모델 저장을 분리합니다. 충분한 연산 대역폭을 갖춘 CS-2 클러스터의 연산 서비스가 대용량 메모리 서비스와 긴밀하게 연결됩니다. 메모리 서비스는 필요할 때 모델의 일부를 연산 클러스터에 공급하고, 데이터 서비스는 필요한 학습 데이터 배치를 제공합니다.

셋째, CS-2 클러스터 전체의 학습 작업을 새로운 방식으로 예약하고 조정합니다. 데이터 병렬 처리와 한 번에 한 계층씩 진행하는 학습을 사용하며, 희소 가중치를 필요에 따라 스트리밍하고 활성값은 연산 서비스에 유지합니다.

무어의 법칙이 끝난다는 우려가 거의 10년간 제기됐습니다. 앞으로 얼마나 더 유지할 수 있고 어떤 혁신이 필요합니까?

모두가 고민하는 것은 무어가 원래 정의한 무어의 법칙이 끝났는지입니다. 이제 트랜지스터 수를 늘리는 데 2년이 아니라 4~5년이 걸리고, 가격도 같지 않고 훨씬 높아졌습니다. 그렇다면 7나노미터에서 5나노미터, 3나노미터로 옮길 때 여전히 같은 혜택이 있는지가 문제입니다. 혜택은 작아지고 비용은 늘어나므로 해법은 단순한 칩 문제보다 복잡해집니다.

컴퓨터 아키텍처의 권위자 Jack Dongarra는 최근 강연에서 연산 성능(FLOPs)과 입출력(I/O)을 만드는 능력이 크게 좋아졌다고 말했습니다. 한편 칩 밖으로 데이터를 옮기는 능력은 칩 내부 성능 향상을 크게 따라가지 못합니다. 우리는 이 말이 더 큰 칩을 만들어 칩 밖으로 옮기는 데이터를 줄이겠다는 결정을 뒷받침한다고 생각했습니다. 미래 시스템의 성능 향상 방향도 보여 줍니다. 연산 성능을 더 짜내는 것뿐 아니라 데이터와 작업을 칩 사이, 심지어 매우 큰 칩 사이에서 옮기는 기술에도 할 일이 있습니다.

세레브라스 시스템즈에 대해 더 전하고 싶은 말씀이 있습니까?

좋든 나쁘든 사람들은 우리를 ‘아주 큰 칩을 만드는 회사’로 분류하곤 합니다. 우리는 매우 큰 신경망에 매력적인 해법을 제공해 고통스러운 분산 컴퓨팅의 필요성을 없앨 수 있었습니다. 이는 매우 흥미롭고 고객이 우리를 좋아하는 핵심 이유라고 생각합니다. 2023년의 흥미로운 과제는 더 적은 연산으로 더 높은 정확도의 대규모 계산을 하는 방법입니다.

희소성에 관한 연구는 매우 흥미로운 접근을 제공합니다. 목표에 기여하지 않는 작업을 하지 않는다는 점에서 0을 곱하는 것은 좋지 않은 생각입니다. 곧 희소성에 관한 흥미로운 논문을 발표할 예정입니다. 앞으로 더 적은 전력으로 효율적인 지점에 도달하는 방법에 더 많은 노력을 기울일 것입니다. 학습뿐 아니라 추론에 드는 비용과 전력도 어떻게 줄일지가 중요하며, 희소성은 두 측면 모두에 도움이 된다고 생각합니다.

심도 있는 답변에 감사드립니다. 더 많은 정보를 원하는 독자는 세레브라스 시스템즈를 방문해 주세요.

앙투안은 Unite.AI의 비전 있는 리더이자 창립 파트너로, AI와 로봇공학의 미래를 만들어 가고 발전시키는 데 변함없는 열정을 쏟고 있습니다. 여러 기업을 창업한 그는 AI가 전기만큼 사회를 크게 변화시킬 것이라고 믿으며, 혁신적인 기술과 범용 인공지능(AGI)의 잠재력에 관해 자주 열정적으로 이야기합니다.

미래학자로서 이러한 혁신이 세상을 어떻게 바꿀지 탐구하는 데 전념하고 있습니다. 또한 미래를 새롭게 정의하고 산업 전반을 변화시키는 첨단 기술에 대한 투자에 초점을 맞춘 플랫폼인 Securities.io의 설립자입니다.