프라이빗 AI에는 워크로드와 함께 진화할 수 있는 인프라가 필요하다

2년 전만 해도 제가 이야기를 나눈 거의 모든 기업은 AI를 API를 통해 최첨단 모델을 호출하는 것이라고 생각했습니다. 하지만 그런 생각은 점차 바뀌고 있습니다. 오픈 웨이트 모델은 일상적인 업무 상당수를 처리할 만큼 충분히 성능이 좋아졌으며, 기업용 AI 애플리케이션의 가치를 결정하는 것은 대개 그 뒤에 있는 모델이 아니라 기업 자체 데이터입니다. 기업이 이를 이해하고 나면 모델을 데이터 가까이에 두고 직접 통제하는 것이 지극히 당연한 선택입니다.

프라이빗 AI란 바로 이런 것입니다. 자체 환경에서 모델을 실행하고, 자체 정보를 바탕으로 모델을 조정하며, 모델이 어디에서 작동하고 무엇에 접근할 수 있는지 직접 결정합니다. 은행이나 제약회사라면 독점 연구 자료나 고객 기록을 다른 회사의 테넌트에 저장하는 것을 애초에 편안하게 받아들이기 어려웠을 것입니다. 그 밖의 기업들은 대규모 추론 비용이 부담스러워지고, 사업 운영의 핵심이 되어 가는 기술을 단일 공급자에게 의존하고 싶지 않다는 이유로 프라이빗 AI를 도입하고 있습니다. Linux Foundation의 연구에 따르면 조사 대상 기업의 63%가 오픈 AI 모델을 사용하고 있었으며, 이는 이러한 대안이 이미 얼마나 널리 채택되었는지를 보여 줍니다.

사람들이 과소평가하는 점은 모델을 사내로 들여오면 인프라도 함께 따라온다는 것입니다. 전력, 냉각, 컴퓨팅 자원, 장비를 둘 장소, 다른 모든 시스템과 연결하는 방법까지 고려해야 합니다. 예전에는 이런 문제를 클라우드 공급자가 해결했습니다. 이제는 기업이 직접 책임져야 합니다. 대부분의 기업은 이런 결정을 내려 본 적이 없으며, 기술은 콘크리트를 타설하는 속도보다 빠르게 변하고 있습니다. 용량을 잘못 산정하면 실제로 운영하게 될 워크로드에 맞지 않는 용량을 떠안게 됩니다. 처음부터 유연성을 고려해 설계해야 합니다. 기존 인프라를 개조할 수 있는 경우에도 비용이 많이 들 수 있으며, 일부 공급자는 이런 수준의 밀도를 감당하도록 시설을 설계한 적이 없어 아예 개조할 수 없습니다.

기반은 구축하고, 급증분은 임대하라

먼저 모든 작업에 가장 큰 모델이 필요한 것은 아니라는 점을 알아야 합니다. 문서 요약, 티켓 분류, 자체 지식 기반을 활용한 질문 답변은 모두 오픈 웨이트 모델을 이용해 예측 가능한 비용으로 프라이빗하게 처리할 수 있는 작업입니다. 최첨단 모델은 꼭 필요한 작업에만 사용하세요.

이를 바탕으로 인프라를 어떤 형태로 구축해야 할지 알 수 있습니다. 매주 발생할 것으로 예상되는 안정적인 수요를 처리할 프라이빗 용량을 구축하세요. 수요가 급증할 때나 보유 용량을 초과하는 대규모 작업에는 외부 용량을 임대하세요. 기업은 오랫동안 이런 방식으로 컴퓨팅 자원을 운영해 왔으며, AI가 그 원리를 바꾸지는 않습니다. 다만 기반 용량의 밀도를 높이고 최대 수요의 변동 폭을 키울 뿐입니다.

과제는 기반 용량을 정확히 산정하는 동시에 프라이빗 환경과 임대한 환경이 하나의 시스템처럼 작동하도록 만드는 것입니다. 워크로드가 한쪽에서 다른 쪽으로 이동할 때마다 파이프라인을 다시 구축하지 않아도 되도록, 두 환경 모두 동일한 데이터에 접근하고 같은 통제 정책을 따라야 합니다.

인프라는 어디에 둘 것인가?

GPU를 구매하는 일은 알고 보니 쉬운 결정입니다. 그다음에는 GPU를 둘 장소를 마련하고, 전력을 공급하고, 냉각하며, 나머지 IT 환경과 연결해야 합니다. 고밀도 AI 하드웨어를 표준 엔터프라이즈 데이터센터에 설치하려면 전력 및 냉각 시스템을 크게 변경해야 하며, 운영 중인 모든 사이트에 들여놓을 수도 없습니다. Uptime Institute의 2025년 AI 인프라 설문조사에서 응답자의 37%는 AI 추론 워크로드를 실행할 위치를 결정하는 주요 요인 가운데 하나로 전력 가용성을 꼽았습니다.

대부분의 기업은 코로케이션과 클라우드를 함께 사용합니다. 대개 결정적인 요인은 데이터입니다. 데이터는 이미 여러 곳에 분산되어 있고, 옮기는 데 비용이 많이 들며, 규제가 엄격한 산업에서는 일부 데이터를 특정 국가나 환경 밖으로 반출할 수 없습니다. 모든 데이터를 GPU 옆의 한 건물로 통합하는 방식은 깔끔해 보이지만, 실제로는 거의 실현되지 않습니다.

따라서 문제는 컴퓨팅 자원이 어디에 있는지만이 아닙니다. 3년 뒤 후회하게 될 비용과 복잡성을 더하지 않으면서 컴퓨팅 자원이 필요한 데이터에 안전하게 접근하도록 하는 방법이 중요합니다. 이를 세 번째 전환이라고 생각해 보세요. 첫 번째는 인터넷이었고, 연결성이 이를 해결했습니다. 두 번째는 클라우드였고, 패브릭이 이를 해결했습니다. 소프트웨어 정의 상호 연결을 통해 기업은 한곳에서 여러 공급자와 연결할 수 있게 되었습니다. AI는 세 번째 전환이지만, 패브릭만으로는 해결할 수 없습니다. 패브릭이 있는 바로 그곳에 막대한 전력이 필요합니다. 프라이빗 AI를 제대로 구현하는 기업은 컴퓨팅 자원과 연결성을 별도의 조달 과제로 다루는 대신, 전력과 연결성이 만나는 곳에 컴퓨팅 자원을 배치하는 기업일 것입니다.

워크로드 변화에 맞춰 프라이빗 AI 연결하기

에이전트형 AI의 등장으로 연결성 문제가 더욱 시급해졌습니다. 기존 애플리케이션은 프롬프트를 받아 모델을 호출한 뒤 답변을 돌려줍니다. 반면 에이전트는 작동 내내 여러 작업을 수행합니다. 여러 모델을 호출하고, 여러 시스템에 질의하며, 데이터가 있는 곳이라면 어디서든 데이터를 가져오고, 다른 에이전트에 작업을 넘깁니다. 이 과정에서 발생하는 모든 연결 단계는 경계를 넘나들며 지연 시간을 발생시키고, 누가 무엇에 접근할 수 있는지에 대한 문제를 제기합니다.

이제 모델은 한곳에, 데이터는 다른 곳에 두고, 데이터 일부는 특정 국가나 프라이빗 환경 안에 보관해야 한다는 규칙을 적용한다고 해 보자. 기업에는 이러한 경로를 실질적으로 통제할 수 있는 권한이 필요하다. 어떤 시스템이 어떤 데이터에 접근할 수 있는지, 워크로드를 옮기면 어떤 일이 생기는지, 이미 운영 중인 모든 것을 방해하지 않으면서 새 모델을 어떻게 연결할지가 중요하다.

그래서 인프라는 프로그래밍할 수 있어야 한다. 모델과 데이터, 환경 사이의 연결은 매번 엔지니어링 프로젝트를 진행해야 하는 일이 아니라, 설정하고 변경할 수 있는 요소여야 한다. 점점 더 많은 경우에 설정을 담당하는 주체는 사람이 아닐 것이다. Model Context Protocol, 즉 MCP 같은 표준은 에이전트가 주변 도구와 시스템에 공통된 방식으로 연결할 수 있게 해 준다. 새 데이터 소스나 새 모델에 연결해야 하는 에이전트는 적절한 정책과 제어가 유지되는 가운데, 다른 서비스를 호출하듯 연결을 요청할 수 있다. 이것이 실제로 프로그래밍 가능한 인프라가 의미하는 바다. 몇 달마다 새 모델이 등장한다. 앞으로 새로운 애플리케이션에는 현재 존재하지 않는 연결 경로가 필요할 것이다. 변경할 때마다 인프라를 다시 구축해야 한다면, 프라이빗 환경을 선택해 얻으려 했던 유연성을 잃은 셈이다.

경제성을 확보하는 방법

적정 용량을 확보하는 것은 성공을 좌우하는 중요한 요소이며, 단순히 총량만의 문제는 아니다. 이 일을 잘하는 기업은 투입하는 전력과 산출되는 토큰 사이의 관계를 명확히 이해하고 있다. 전력 대비 토큰 산출량은 프라이빗 AI의 경제성을 가늠하는 기준이다. 자사 워크로드의 이 관계를 이해하면 환경 규모를 확신을 갖고 정할 수 있다. 여기에 여유 용량도 고려해야 한다. 새로운 기능은 분기마다 시장에 나오므로, 계획을 잘 세우는 기업은 오늘날의 요구 사항에 딱 맞춰 구축하는 대신 다음에 필요한 것을 위해 늘 여유를 남겨 둔다. 가장 탄탄한 계획은 이 두 가지를 결합한다. 전력 대비 토큰 경제성을 정확히 파악한 뒤, 그보다 적절한 수준의 여유를 두고 계획하라.

GPU는 전체 비용의 일부일 뿐이다. GPU를 수용하고 냉각하며 전력을 공급하고 나머지 사업 시스템과 연결하는 데 드는 비용은 하드웨어 지출에 맞먹을 수 있다. 여기에 인력 비용도 있다. 대부분의 기업은 고밀도 컴퓨팅 환경을 운영해 본 경험이 없으며, 이런 전문성을 갖춘 인력을 한 분기 만에 채용할 수 있는 것도 아니다.

그래서 기본 용량과 수요 급증 대응이 중요하다. 평상시 부하를 감당할 만큼 프라이빗 용량을 구축하고, 수요가 이를 초과하면 추가 용량을 임대하라. 그러면 연중 대부분 놀고 있는 하드웨어에 비용을 지불하지 않아도 된다. 모델과 애플리케이션은 바뀌기 마련인데, 그에 따라 방향을 바꿀 수 있는 능력도 유지할 수 있다.

앞으로의 변화에 대비하기

이 모든 것의 바탕에는 시점의 문제가 있다. 데이터센터를 구축하는 데는 약 2년이 걸린다. 2년 뒤에는 기업이 운영하려는 모델과 하드웨어, 애플리케이션이 지금과 상당히 달라져 있을 것이다. 지금 결정하는 내용에 따라, 아직 누구도 온전히 설명할 수 없는 워크로드를 운영하게 될 것이다.

기업들은 어떤 워크로드를 프라이빗 환경에서 처리할지, 언제 외부 용량이 필요한지를 여전히 파악하는 중이며, 이는 당연한 과정이다. 피해야 할 것은 결정을 내릴 기회조차 얻기 전에 그 선택권을 빼앗는 인프라 투자를 하는 것이다. 다양한 모델을 수용하고, 필요할 때 용량을 늘리며, 워크로드를 옮길 수 있도록 여지를 남겨 두라.

장기적으로 프라이빗 AI가 성과를 낼지는 어떤 모델을 선택하느냐보다 요구 사항이 점차 명확해질 때 인프라가 그 변화에 발맞출 수 있느냐에 더 달려 있다. 오늘의 워크로드에 맞춰 구축하되, 연결은 프로그래밍할 수 있게 유지하고, 패브릭과 전력이 만나는 곳에 컴퓨팅 자원을 배치하라.