다음 AI 전력 병목 현상은 도시 내부에 있을 것이다

지난 몇 년간, 그리고 계속해서 AI 인프라 시장은 막대한 시간과 비용을(맥킨지 추정에 따르면 2030년까지 데이터 센터에 $7조 규모의 투자) 전력 공급이 가능한 곳 어디든 대형 데이터 센터를 건설하는 방법을 배우는 데 쏟아 왔습니다. “어디든”이 핵심 키워드였던 이유는 위치가 크게 중요하지 않았기 때문입니다. 학습 클러스터는 단지 충분한 전력에 접근할 수 있으면 됩니다. 하지만 AI 사용이 챗 인터페이스를 넘어 기계, 음성 시스템, 영상, 물리적 세계와 상호작용하는 애플리케이션으로 확대됨에 따라 위치가 점점 더 중요해지고 있습니다. 이러한 작업은 컴퓨팅 파워가 그러한 상호작용이 일어나는 도시 중심부에 더 가깝게 위치해야 지연 시간을 낮출 수 있습니다. 챗봇과 같은 도구는 0.5초 정도의 지연을 견딜 수 있지만, 원격 감독 배송 로봇, 실시간 음성 비서 또는 자동화된 주문 처리 시스템과 같은 자동화 서비스 애플리케이션은 밀리초 단위로 반응해야 할 수도 있습니다.

이는 AI 기업들에게 새로운 과제입니다. 대도시 및 그 주변에서 신뢰할 수 있는 소규모 전력 공급원을 어떻게 찾을 수 있을까요? 그리고 위치를 찾아낸 뒤에도 원격 데이터 센터가 직면하고 있는 반발을 어떻게 해결할 수 있을까요?

도시 중심부에서 AI에 대한 수요가 증가하고 있다

도시 영역 내에서 챗봇의 개인적 사용이나 로봇에 대한 과도한 집착을 넘어선 AI에 대한 수요가 증가하고 있습니다. IMF 연구 보고서에 따르면 2023년 전 세계 데이터 센터와 AI의 전력 소비량은 이미 400~500 TWh에 이르렀으며, AI 중심 소비는 2030년까지 1,500 TWh에 달할 가능성이 있습니다. 서류 처리나 영상 보관과 같은 단순 작업을 보다 효율적으로 자동화하기 위해서는 대규모 전력이 필요합니다.

도시들은 이 분야의 최전선에 있습니다. OECD가 78개국 250개 도시를 검토한 결과, 56%가 이미 AI를 적극적으로 사용하고 있었으며, 추가로 35%는 파일럿 단계이거나 배치를 계획하고 있었다. 간단한 사용 사례를 하나 예로 들어보면, 도시의 감시 카메라를 생각해볼 수 있습니다. IHS Markit이 추정했듯이 몇 년 전 전 세계 감시 카메라 수가 10억 대를 넘어설 것이라고 했습니다. 이 카메라들은 주로 녹화 용도로 사용되지만, 이제는 네트워크 전역에서 객체를 추적하거나 자연어를 이용해 방대한 영상 아카이브를 검색하는 등 보다 계산 집약적인 작업에도 활용되고 있습니다. 현재 우리가 보유한 AI 처리 능력으로는 모든 카메라에서 이러한 프로세스를 수행할 수 없습니다. 도시 밖으로, 먼 데이터 센터로 보내 처리해야 한다면 데이터 규제와 대량 트래픽 이동 비용 때문에 비현실적입니다.

최근 Gallup 조사에 따르면, 민간 및 공공 부문 직원의 약 30%가 AI를 사용하고 있다는 사실이며 이 비율은 계속 상승하고 있습니다. 은행, 병원, 공공 기관 등 이들 부문은 동일한 문제에 직면합니다. 이들은 자체 관할 구역 내 AI 인프라를 원하고 물리적으로 제어할 수 있을 만큼 가깝게 배치되길 바랍니다. 인터랙티브 음성 시스템과 영상 애플리케이션은 네트워크 지연이 증가함에 따라 성능이 저하됩니다. 초기에는 자율 시스템 1세대에 인간 운영자를 유지함으로써 문제를 일시적으로 회피할 수 있더라도, 그 감독 자체가 지연에 크게 관대하지 않습니다. 예를 들어, 원격 영상 연결을 통해 감독되는 배송 로봇 및 가정용 로봇은 원격 로봇 텔레오퍼레이션 연구에 의해 측정된 바와 같이 약 80밀리초 이하의 전체 통신 루프를 유지해야 합니다. 자율 주행 차량은 역설적으로 예외이며, 안전을 위해 운전은 차량 내부에서 이루어지고 Waymo의 원격 운영자는 약 0.25초의 지연으로 작업하며, 그 중 일부는 다른 대륙에 있습니다. 도시가 자율 차량 함대로부터 물려받는 것은 데이터이며, 조종 휠이 아닙니다.

데이터 센터 시장은 이러한 수요 급증을 과소평가하고 있습니다. 세계은행이 논문을 발표했다 아르헨티나, 인도, 에티오피아 등 여러 국가의 지방자치단체가 사법, 부패 방지, 관세, 공공 행정 및 서비스 개선 분야에서 AI를 도입한 사례를 보여준다. 이는 지역적인 현상이 아니라 전 세계적인 변혁입니다. Teravolt의 추정에 따르면 인구 1천만~1천5백만 명 규모의 대도시는 2030년까지 연속적인 지연 민감 AI 부하를 약 6~13MW 정도 지원할 수 있으며, 일반 목적 로봇이 대량 배치되기 전에 가능합니다. 하이퍼스케일 기준으로는 큰 수치는 아니지만, 적절한 위치를 찾는 일은 생각보다 훨씬 어렵습니다. 2036년까지 동일한 대도시는 지연 민감 부하가 22~50MW로 증가하고, 자동차 산업이 자동차 규모로 로봇을 생산하기 시작한다면 60~100MW에 이를 수 있습니다. 수요 경제는 가장 좋은 의미에서 관대하지 않습니다: 연간 수백 달러의 서버 비용으로 $30,000~$60,000에 해당하는 인건비를 대체하는 기계에 대한 수요는 가격 협상을 하지 않습니다.

컴퓨팅에 네 번째 계층 추가

현재 AI를 위한 계산 능력은 세 단계로 존재합니다. 최상위 계층은 모델을 학습시키는 데 사용되는 기가팩토리로 구성됩니다. 이들의 위치는 개발자에게 큰 전력을 합리적인 가격에 확보할 수 있는 정도만 중요합니다. 그 다음은 일반적으로 20~200MW 규모의 지역 AI 시설이며, 여기서 주요 클라우드 및 기업 운영에서 반복적인 추론 수요가 발생한다. 마지막으로, 장치나 로봇에 직접 내장된 계산 능력이 있습니다.

마지막 두 계층 사이에 제가 도시 계층이라고 부르는 격차가 존재하는 것으로 보이며, 이 격차가 지연 문제의 원인입니다. 이러한 시설은 대도시 내부 또는 매우 가까운 곳에 위치해야 합니다. 메가와트 단위는 한 자릿수 또는 낮은 두 자릿수 수준이어야 하며, 대도시 지역에 배치되고 고품질 광섬유에 연결되어야 합니다. 보장된 전력이 있다면 시작점은 약 2 MW 정도가 될 수 있습니다. 실용성을 보여주기 위해 배달 로봇을 예로 들어 보겠습니다. 로봇은 다양한 요청을 처리하지만 모든 작업을 현장 장치에서 처리할 수는 없습니다. 로봇은 거대 공장에서 학습되지만, 실시간으로 더 정교한 지원이 필요할 경우 매번 지역 시설로 보내는 대신 인근 도시 시설에서 처리해야 합니다.

양방향 트래픽 문제

도시 데이터 센터는 단순히 학습 센터로부터 데이터를 받는 중계 지점이 아니라, 파이프라인을 거슬러 올라가 전송될 대량의 데이터를 생성하기도 합니다.

모든 자율 기계와 센서가 풍부한 시스템은 처리되어 학습에 통합되어야 하는 정보를 축적합니다. 교대 근무 후 충전 지점으로 돌아가는 로봇 군집은 데이터 센터가 기능을 개선하는 데 필요한 에지 케이스와 일상 운영에 관한 방대한 유용 정보를 전송합니다. 이 모든 트래픽이 한 번에 같은 방향으로 전송된다고 상상해 보십시오. 이는 병목 현상을 초래합니다. 바로 여기서 도시 데이터 센터가 유용한데, 지역 컴퓨팅 시설이 과부하되기 전에 일부 부하를 처리할 수 있기 때문입니다. 또한 오류 데이터를 식별·제거하고 유용한 부분을 압축·전송할 수 있습니다.

본질적으로, 도시 데이터 센터는 앞선 두 계층에 또 다른 필터링 층을 제공하여 데이터 흐름을 더욱 체계적으로 만듭니다.

미래는 모든 블록에 서버가 될까?

도시 서버를 해결책으로 제시하지만, 무분별한 확산으로 지연 문제를 해결하기엔 단순히 너무 비쌉니다. 규모에 관계없이 데이터 센터는 여전히 전력망 연결, 변압기, 냉각, 보안, 네트워킹 및 인력이 필요합니다. 이러한 비용 IT 부하에 비례하여 감소하지 않는다. 예를 들어 보면, 0.5 MW 시설도 훨씬 큰 사이트와 동일한 고정 비용을 많이 가지고 있다.

우리 프로젝트에서, 독립형 도시 데이터 센터는 약 5~8 MW 정도에서 경제적으로 타당해짐을 보았습니다. 여러 사이트가 네트워크 운영 센터를 공유한다고 가정하더라도 임계치는 1.5~3 MW로만 낮아집니다. 따라서 근본적인 결론은 변하지 않습니다. 20 MW를 20개 위치에 나누는 것이 두세 개 위치에 두는 것보다 대도시 내 지연을 거의 줄이지 못한다 — 도시 광섬유 링은 몇 밀리초에 불과하며 — 자본 및 운영 비용을 곱한다.

이 때문에 저는 업계가 규모를 줄이고 제가 ‘지능을 위한 변전소’라고 부르는 것을 구축해야 한다고 믿습니다. 현재 개발자들은 20~100 MW 범위의 지역 시설을 구축하는 방법을 배우고 있습니다. 미래 목표는 이를 더욱 작은 도시 사이트에 적용해 주요 도시에서 2 MW 수준에 도달하는 것입니다.

정치적 장애물

경제적 타당성을 넘어 정치적 과제도 여전히 남아 있습니다. 데이터 센터는 환경에 미치는 부정적 영향 때문에 미디어에서 점점 더 비난받고 있다. Pew 조사에 따르면 미국인의 절반 이상이 데이터 센터가 환경에 해롭다고 생각하고 부정적인 견해를 가지고 있습니다. 일자리 창출 논리는 물, 토지, 전력 소비량 및 소음·배출량과 비교하면 미미합니다. 작은 도시 시설조차 승인받기가 어려울 것입니다.

우리는 이미 데이터 센터 개발업체와 도시 당국이 대립하는 사례를 보고 있습니다. 미국에서는 xAI의 가스 터빈 사용이 멤버스 구축을 가속화하면서 허가 분쟁, 지역 주민 반대 및 소송을 초래했습니다. 유럽은 더 나아가 암스테르담이 70 MW 이상 시설에 모라토리엄을 부과했고, 더블린은 자체 발전 또는 저장을 제공하는 경우에만 새로운 데이터 센터를 허용하며, 서런던 회랑의 핵심 변전소는 2030년 초까지 보강되지 않을 예정입니다. 이러한 고프로파일 사례 외에도, 이 분야가 새로운 논쟁 영역이 되면서 많은 도시 당국은 도심 내 추가 10 MW AI 인프라 승인을 위한 명확한 절차가 없습니다. 전미 도시 연맹 보고서에 따르면, 도시가 직면한 가장 흔한 과제 중 하나는 오래된 지역 구역 규정이 데이터 센터를 명시적으로 다루지 않아 사례별 검토가 필요하다는 점입니다. 이러한 법적 불확실성은 기술적으로 타당한 프로젝트조차 지연시킬 수 있습니다.

오늘의 인프라 결정이 미래 역량을 형성한다

이 모든 것은 우리가 AI의 미래 발전을 위해 필요한 인프라를 사전에 계획하고 구축해야 함을 의미한다. 모델이 빠르게 발전하지만 이를 운영하는 데 필요한 전력은 구축에 시간이 걸리는 인프라에 달려 있기 때문이다. 전력망 연결은 수년이 걸릴 수 있으며, 일부 주요 데이터센터 시장에서는 대기열이 현재 7년에서 10년까지 늘어나고 있다. 따라서 도시가 2030년까지 AI 컴퓨팅 파워를 확대한다면, 전력 인프라는 지금 바로 마련되어야 한다. Teravolt의 작업 모델에 따르면 전 세계 도시 AI 수요는 2036년까지 9~18GW에 이를 것으로 추정된다. 이는 평균 시설 규모에 따라 전 세계 약 1,000~1,500개의 주요 도시 및 대도시 사이트가 필요함을 의미하며, 총 시장 규모는 약 5천억 달러에서 1조 달러에 이를 수 있다.

필요한 계획이 이루어지지 않으면 우리는 활용할 수 없는 고급 AI 용량에 갇히게 된다. 모바일 시대에는 사람들을 따라다니는 라디오 커버리지를 위해 타워 인프라가 필요했지 않으면 휴대전화는 무의미했을 것이다. 마찬가지로 AI의 진화와 전기 인프라 설치 사이의 불일치를 인식해야 한다. 모바일 시대가 신호 강도로 커버리지를 측정했다면, AI 시대는 밀리초와 주민당 와트로 측정할 것이며—수백만 개의 타워가 아니라 약 천 개의 변전소 규모 시설이 필요할 것이다. 광섬유, 밀리초, 메가와트가 이 분야의 통화이며, 이러한 희소성을 미리 인식하는 이들이 미래를 형성할 더 좋은 위치에 있다.