GPU를 넘어: 시스템으로서 AI 팩토리 최적화하기

AI 팩토리는 규모만 더 큰 데이터센터가 아니다. 웹 페이지와 이메일을 제공하는 것이 아니라 지능형 토큰을 생산하도록 특별히 설계된다. 하이퍼스케일러나 네오클라우드가 AI 팩토리를 구축하는 데 수십억 달러와 수년을 투자하면, 막대한 연산을 담당하는 GPU가 자연히 우선순위가 된다. 하지만 GPU만 최적화한다고 해서 그 주변의 팩토리까지 최적화되는 것은 아니다. 전력 및 열 관리 시스템은 컴퓨팅을 뒷받침해야 하며, 한 시스템에서 내린 결정은 다른 시스템에 중대한 영향을 미칠 수 있다. AI는 복잡한 시스템을 최적화하기 위해 존재하지만, AI를 구축하는 팩토리는 흔히 구성 요소를 하나씩 따로 최적화해 왔다. 가상 트윈 기술을 이용하면 엔지니어는 건설을 시작하기도 전에 시스템 전체를 구축하고 효율화할 수 있다.

보수적인 설계가 가장 안전한 선택이 된 이유

시스템 장애나 성능 병목이 초래할 결과가 매우 심각할 수 있었기 때문에 초기 시설은 과도한 안전 여유와 하드웨어를 갖추도록 구축됐다. 새로운 세대의 데이터센터를 위한 로드맵이 없는 상황에서는 신중하게 구축하는 것이 가장 안전한 접근처럼 보일 수 있었다. 이러한 여유분은 칩 주변의 급격한 온도 상승과 같은 문제로부터 시설을 보호하는 데 도움이 됐다. 이런 문제가 발생하면 하드웨어가 고장 나기 전까지 운영자에게 대응 시간이 1분밖에 남지 않을 수도 있다. 일부 초기 시설에서는 가용 전력의 최대 10퍼센트가 사용되지 않는 예비 용량으로 묶여 있었다.

AI 팩토리는 온도와 날씨, 장비 고장, 용량 부족, 설계 결함, 유지보수 문제에 노출돼 있다. 위험 부담이 매우 큰 기가와트 규모에서는 용량 확보가 하루 지연될 때마다 토큰 생성 수익이 약 1억 달러 줄어들 수 있다. 이러한 문제의 결과를 예측할 방법이 없던 상황에서는 신중한 접근이 필요해 보였다.

여러 개의 독립된 시스템에 걸쳐 이런 위험이 발생하면 과제는 더욱 어려워진다. AI 팩토리는 긴밀하게 결합된 세 가지 시스템, 즉 컴퓨팅, 전력, 열 관리에 의존한다. GPU에 전력을 공급하려면 복잡한 전력 공급 체계가 필요하고, GPU에서 발생하는 열을 제거하려면 그만큼 까다로운 열 관리 시스템도 필요하다. 컴퓨팅, 전력, 열 관리를 서로 분리된 단계로 취급하고 각 분야 안에서만 최적화하면, 한 시스템에서 내린 결정이 다른 시스템에 미치는 영향을 팀이 놓칠 수 있다. 특히 컴퓨팅 관련 결정을 내린 뒤 전력과 냉각을 해결해야 할 인프라 요건으로 취급하면 사각지대와 불균형이 생긴다.

전력과 냉각은 컴퓨팅과 분리될 수 없다. 이들은 컴퓨팅이 얼마나 효과적으로 작동할 수 있는지를 좌우하는 시스템의 일부다. 따라서 개별 시스템을 최적화하는 데서 팩토리 전체를 최적화하는 방향으로 전환해야 한다.

공동 최적화의 필요성

이 문제를 해결하려면 각 시스템을 독립적으로 최적화하는 방식에서 벗어나 팩토리 전체를 공동으로 최적화해야 한다. 물리적 건설에서는 의사결정이 순차적으로 이뤄진다. 한 시스템을 설계한 다음 다른 시스템을 그에 맞춰 구축하고, 이를 뒷받침할 또 다른 시스템을 추가한다. 이 과정에서 각 결정이 뒤이어 설계할 시스템의 선택지를 좁히므로 팩토리 전체를 최적화하기 어려워진다. 공동 최적화를 위해서는 이 과정을 가상 환경으로 옮겨야 한다. 그러면 실제로 어떤 사항도 확정하기 전에 시스템 전체를 모델링하고 변경하며 평가할 수 있어, 유연하게 수정할 수 있는 설계도가 만들어진다.

실재하기 전에 팩토리 모델링하기

이때 시스템 수준의 가상 트윈 기술이 핵심적인 역할을 한다.

가상 트윈은 정식 시스템 모델링을 활용해 컴퓨팅, 전력, 열 관리 인프라를 하나의 시스템으로 표현하며, 물리적으로 존재하기 전부터 AI 팩토리를 모델링할 수 있다. 기존의 디지털 트윈은 이미 존재하는 물리적 자산에 초점을 맞추지만, 가상 트윈은 시스템이 물리적으로 존재하기 전부터 이를 모델링할 수 있다. 이를 통해 엔지니어는 다양한 구성을 시험하고, 선택이 현실에서 실행하기 어려운 확정 사항이 되기 전에 시스템의 한 부분을 변경했을 때 다른 부분에 어떤 영향이 미치는지 파악할 수 있다.

예를 들어 GPU 밀도를 높인다고 해서 단순히 컴퓨팅 자원을 추가하는 데 그치지 않는다. 전기 부하가 증가하고, 열 배출 요건이 달라지며, 장비 배치에 영향을 주고, 시운전과 관련해 새로운 고려 사항이 생길 수 있다. 이러한 관계를 함께 모델링하면 엔지니어는 프로젝트가 진행되면서 문제를 발견하는 대신, 건설 전에 상충 관계를 평가할 수 있다.

가상 트윈 기술을 이용하면 엔지니어는 현실 세계에서 값비싼 실수가 되기 전에 가상 환경에서 값비싼 실수를 해볼 수 있다. 가상 환경에서 잠재적인 문제와 기회를 파악하고, 현실 세계에 문제가 생기기 전에 팀이 해결할 수 있도록 돕는다. 물리적 시운전 전에 구성을 시험하면 불필요한 설계 여유도 찾아낼 수 있다. 설계 단계에서 사용되지 않는 전력과 안전 여유로 인한 낭비를 파악해 제거할 수 있기 때문이다. 대규모 시설에서는 아주 작은 절감도 수백만 달러의 자본 비용 절감과 더 이른 수익 창출로 이어질 수 있다.

 예측 모델로 발전시키기

모델은 물리 기반 시뮬레이션을 활용해 시스템 동작을 예측할 수도 있다. 기반이 되는 물리 법칙이나 화학 작용을 충분히 이해하고 있다면 시뮬레이션 도구로 시스템 동작을 예측할 수 있다. 풍부한 운영 데이터가 더 나은 접근법을 제공하는 경우에는 AI와 머신러닝 모델을 활용해 이러한 시뮬레이션을 보완할 수 있다.

그 결과, 서로 연결된 시스템이 어떻게 작동하는지 살펴보고 여러 엔지니어링 분야에 걸쳐 의사결정을 조율할 수 있는 환경이 조성됩니다. 운영 데이터가 확보되면 모델도 발전할 수 있어, 한 시설이나 운영 주기에서 얻은 교훈을 향후 설계와 의사결정에 반영할 수 있습니다.

AI 팩토리를 위한 청사진

업계는 이미 이러한 접근 방식의 기반을 마련하고 있습니다. NVIDIA의 DSX 청사진은 기가와트급 AI 팩토리를 위한 참조 설계를 정립하고 있습니다. NVIDIA는 시스템 모델링과 가상 트윈 시뮬레이션 접근 방식을 활용해 해당 청사진의 컴퓨팅 부문을 구체화하기 시작했으며, Eaton, Vertiv, Jacobs와 같은 기업을 비롯해 전력, 냉각, 건설 분야의 생태계 파트너들에게 설계의 각 부분을 맡아 기여해 달라고 요청하고 있습니다. 시스템 수준의 정의를 지원하는 SysML 을 통해 참조 설계 간 상호 운용성을 구현할 수 있으며, OpenUSD는 3D 중심 데이터의 기반을 제공합니다.

목표는 각 기업이 자사의 구성 요소를 최적화한 뒤, 그 요소들이 서로 잘 맞을 것이라고 기대하는 것이 아닙니다. 시스템 전체의 성능을 높이려면 컴퓨팅, 전력, 냉각 및 시설 분야의 전문성을 한데 모아야 하며, 각 분야의 최고 수준 기술이 시스템 전체의 성능 향상에 기여해야 합니다.

각 산업 분야는 자체 영역을 최적화할 수 있지만, 강력한 최종 제품을 만들려면 이러한 시스템을 함께 최적화해야 합니다. 이러한 접근 방식이 성숙해지면 AI 인프라는 고립된 일회성 파일럿 프로젝트를 넘어, 매우 복잡한 운영 환경을 관리할 수 있는 엔터프라이즈급 시스템으로 발전할 수 있습니다.

GPU뿐 아니라 팩토리 전체를 최적화하기

GPU는 AI 팩토리 성능의 핵심으로 계속 남을 것입니다. 하지만 최고의 GPU를 구매하는 것만으로는 GPU를 둘러싼 팩토리 전체가 최적화되지 않습니다. 차세대 AI 인프라의 성패는 컴퓨팅, 전력 및 열 관리 시스템을 하나의 통합 시스템으로 설계하고, 대규모로 물리적 설비를 구축하기 전에 이러한 요소 간 관계를 모델링하며, 시스템이 학습한 내용을 지속적으로 활용해 다음 단계를 개선하는 데 달려 있습니다. 미래를 예측하거나 모든 실수를 막을 수는 없지만, 가상 트윈 기술은 팀이 불확실성에 대비해 계획을 세우고 AI 팩토리 전체를 하나의 시스템으로 최적화하는 데 도움이 될 수 있습니다.