GPU를 중심으로 AI 인프라 설계를 중단하세요

왜 MSP는 하드웨어가 아니라 워크로드부터 시작해야 하는가

AI 컨퍼런스에 5분만 참석해도 모든 성공적인 AI 도입이 더 많은 GPU를 구매하는 것에서 시작된다고 믿게 될 수 있습니다. 이는 이해하기 쉽습니다. 하드웨어가 대화를 장악하기 때문입니다. 고객들은 Blackwell 시스템, InfiniBand 패브릭, 하이퍼스케일 클라우드, 그리고 점점 커지는 AI 클러스터에 대해 듣습니다. 벤더들은 최신 가속기와 가장 빠른 시스템에 자연스럽게 끌리는데, 이는 흥미롭고 관련성이 높으며 시장에 비교적 쉽게 배치할 수 있기 때문입니다.

문제는 컴퓨팅이 중요하지 않다는 것이 아니라, 오히려 매우 중요하다는 점입니다.

문제는 그곳에서 시작하면 조직이 잘못된 질문을 하게 만든다는 것입니다. AI 시장은 이제 실험 단계가 아닙니다. AI가 실제 운영에 투입되고 기업이 실질적인 자금을 투자하며 측정 가능한 비즈니스 성과를 기대하고 있습니다. 인프라 결정은 2년 전보다 훨씬 더 중대한 영향을 미칩니다. 그러나 비즈니스 요구에 기반한 결정은 충분히 이루어지지 않고, 기술 주도 결정이 여전히 앞서고 있습니다.

첫 번째 질문은 “어떤 GPU를 사야 할까?”가 되어서는 안 됩니다.

“우리가 지원하려는 워크로드는 무엇인가?”가 초점이 되어야 합니다.

그러한 사소해 보이는 변화가 뒤따르는 거의 모든 인프라 결정에 영향을 미칩니다.

표준 AI 인프라가 존재하지 않는다

시장 내 가장 큰 오해 중 하나는 AI 인프라에 대한 표준 청사진이 존재한다는 것입니다. 사실은 그렇지 않습니다.

우리는 AI를 마치 단일 워크로드인 것처럼 이야기합니다. 실제로 AI는 매우 다양한 비즈니스 애플리케이션을 포괄하며 요구 사항도 크게 다릅니다. 음성 AI 플랫폼은 의료 영상과 동일한 인프라 요구 사항을 갖지 않습니다. 지식 검색은 이미지 생성과 다르고, 사기 탐지는 예측 분석과도 다르며, 비디오 처리와도 닮지 않았습니다. 모두 AI를 사용하지만 인프라를 사용하는 방식은 서로 다릅니다.

당신이 실제로 설계하고 있는 것은 “AI”를 위한 인프라가 아니라 AI를 활용하는 비즈니스 애플리케이션을 위한 인프라입니다. 이 구분은 중요합니다. 각 워크로드는 인프라에 고유한 요구를 부과합니다. 일부는 방대한 컴퓨팅 자원을 필요로 하고, 다른 일부는 대규모 데이터셋을 지속적으로 조회하기 때문에 스토리지 성능에 크게 의존합니다. 또 다른 경우는 네트워크 처리량에 제한을 받으며, 또 다른 경우는 레이턴시가 고객 경험에 직접 영향을 미쳐 생존 여부가 달라집니다.

또한 실용적인 현실이 있습니다. 모델이 설계된 인프라가 실제 배포 시점에 사용 가능한 인프라와 항상 일치하지는 않습니다. 하드웨어 가용성, 긴 리드 타임, 배포 마감일 등으로 조직은 원래 계획과 다른 GPU, 가속기 또는 인프라 구성을 사용해야 할 수 있습니다. 이는 모델을 다시 최적화하거나 실제 배포 가능한 하드웨어에 맞춰 모델을 재설계해야 함을 의미합니다.

보안 및 거버넌스 요구 사항도 워크로드마다 다릅니다. 공개 정보를 처리하는 애플리케이션은 금융 거래, 의료 기록, 혹은 독점 지적 재산을 다루는 애플리케이션과 전혀 다른 요구 사항을 가집니다. 데이터 보호, 신원 및 접근 관리, 규정 준수, 주권, 백업, 복구, 가용성은 배포 후에 단순히 추가할 수 있는 것이 아니라 설계 단계에서 결정되는 사항입니다.

비즈니스 요구도 또 다른 층을 더합니다. 애플리케이션은 얼마나 빨리 확장해야 하는가? 지속 가능한 운영 비용은 얼마인가? 비즈니스가 요구하는 가용성 수준은 얼마인가? 조직이 현실적으로 관리할 수 있는 복잡성은 어느 정도인가? 이러한 질문에 대한 답은 고객마다 다르게 나옵니다. 그래서 모든 상황에 맞는 AI 인프라는 존재하지 않습니다.

선호하는 클라우드, 하드웨어 플랫폼, 혹은 벤더부터 시작하는 조직은 AI 인프라를 제대로 설계하지 못하고 있습니다. 진정한 리더는 워크로드부터 시작해 비즈니스 목표에 맞는 아키텍처를 설계합니다.

훈련이 헤드라인을 차지한다. 추론이 비즈니스 가치를 제공한다.

업계가 훈련에 매료되는 또 다른 이유는 AI 인프라 대화가 잘못된 방향으로 흐를 수 있기 때문입니다.

대규모 언어 모델을 훈련하는 것은 뛰어난 엔지니어링 도전 과제입니다. 방대한 데이터셋, 대규모 GPU 클러스터, 상당한 전력, 그리고 며칠, 몇 주, 혹은 몇 달 동안 풀 용량으로 운영할 수 있는 인프라가 필요합니다. 비용이 많이 들고 기술적으로 인상적이며 자연스럽게 주목을 끕니다.

하지만 대부분의 조직은 차세대 최첨단 모델을 구축하고 있지는 않습니다. 이미 훈련된 모델을 활용해 고객 서비스 애플리케이션, 음성 AI 시스템, 직원 코파일럿, 지식 어시스턴트, 검색 도구, 문서 요약 플랫폼, 사기 탐지 시스템 등 수십 가지 실용적인 애플리케이션을 구축하고 있습니다.

이것들은 추론 워크로드이며, 추론은 인프라 방정식을 바꿉니다. 최대 컴퓨팅에만 최적화하는 대신, 조직은 빠른 응답 시간, 낮은 레이턴시, 예측 가능한 운영 비용, 일관된 성능을 최적화해야 할 수도 있습니다.

채팅봇이 응답하는 데 5초가 걸린다면 고객은 GPU가 얼마나 강력한지 신경 쓰지 않습니다. 음성 비서가 요청을 반복해서 오해하거나 대화 중에 머뭇거린다면 발신자는 AI 클러스터 사양에 관심이 없습니다. 그들은 단지 애플리케이션이 제대로 동작하지 않는다는 것만 압니다.

따라서 모든 AI 환경을 마치 기본 모델을 훈련하는 것처럼 설계하는 접근 방식은 대개 잘못된 것이며 불필요하게 비용이 많이 듭니다.

대부분의 MSP 고객이 원하는 목표는 세계 최대 규모의 GPU 클러스터를 구축하는 것이 아니라 AI 애플리케이션을 빠르고, 안정적이며, 안전하고, 경제적으로 운영 환경에 투입하는 것입니다.

문제는 실제로 운영 중인 워크로드에 맞는 성능, 보안, 확장성, 복원력, 비용의 적절한 균형을 찾는 데 있습니다.

GPU가 병목이 아닐 수도 있다

GPU는 AI 인프라의 스타가 되었습니다. 비싸고 구하기 어렵고 비교도 쉬워 수많은 인프라 대화의 중심이 됩니다. 그러나 AI 애플리케이션이 운영 단계에 도달하면 GPU가 병목이 아닐 수도 있습니다.

“우리는 몇 대의 GPU가 필요할까?”라는 질문이 아니라 “6개월 후 이 애플리케이션을 가장 느리게 만들 요인은 무엇일까?”가 우리가 던져야 할 질문입니다.

답은 아키텍처의 다른 부분에 있을 수도 있습니다.

스토리지는 좋은 예입니다. AI 워크로드는 방대한 데이터를 소비하고, 그 데이터셋은 시간이 지남에 따라 계속 성장합니다. 스토리지가 충분히 빠르게 정보를 제공하지 못하면, 아무리 강력한 GPU도 대기 시간에 낭비됩니다. 또한 해당 데이터는 전체 수명 주기 동안 보호, 백업, 보존, 보안, 관리가 필요합니다.

네트워킹도 마찬가지로 중요합니다. 처리량, 레이턴시, 동서 트래픽, AI 클러스터 간 통신 모두 애플리케이션 성능에 영향을 미칩니다. 잘 설계된 컴퓨팅 환경이라도 설계가 부실한 네트워크를 무한히 보완할 수는 없습니다.

또한 보안은 처음부터 아키텍처에 포함돼야 합니다. 운영 전 반드시 해결해야 할 질문은: 민감 데이터가 어디에 저장되는가, 네트워크는 어떻게 분할되는가, 워크로드가 사설 연결을 사용하는가 혹은 공용 연결을 사용하는가, 규정 준수와 주권 요구 사항은 어떻게 다루어지는가 등입니다.

쉽게 간과되는 또 다른 요소는 연결성입니다. 화려한 헤드라인을 만들지는 않지만, 광섬유 다양성, 경로 다양성, 피어링 관계, 지리적 근접성은 사용자 경험에 결정적인 영향을 미치며 플랫폼 복원력에도 큰 영향을 줍니다.

최종 고객은 랙에 어떤 GPU가 장착돼 있는지 알지도, 신경 쓰지도 않습니다. 그들이 신경 쓰는 것은 애플리케이션이 즉시 응답하는가, 아니면 기다리게 만드는가 입니다.

물리적 인프라도 주목받아야 합니다. 전원 가용성, 냉각 용량, 랙 밀도, 확장 용량 오늘의 성공적인 배포가 내일의 성장에 대응할 수 있는지를 결정합니다.

또한 데이터 중력이 존재합니다. 데이터셋이 커지면서 컴퓨팅이 다른 위치에 있기 때문에 페타바이트 단위의 데이터를 이동시키는 일은 점점 비효율적이 됩니다. 많은 경우 컴퓨팅을 데이터에 가깝게 두는 것이 더 실용적이고 비용도 절감됩니다.

이것이 아키텍처가 중요한 이유입니다.

경주용 자동차를 생각해 보세요 – 최고의 엔진을 가졌다고 해서 반드시 승리하는 것은 아닙니다. 변속기, 타이어, 서스펜션, 트랙, 그리고 특히 운전자가 모두 중요합니다. AI 인프라도 마찬가지입니다.

AI에서 가장 큰 가치를 창출하는 조직이 반드시 가장 큰 GPU 클러스터를 보유하고 있는 것은 아닙니다. 그들은 인프라의 모든 계층이 어떻게 함께 작동하는지 이해하는 사람들일 것입니다.

이는 인프라를 구매하는 것과 설계하는 것의 차이입니다.

워크로드 우선 계획 프레임워크

MSP에게는 인프라 대화를 바꿀 기회가 있습니다.

Instead of beginning with:

• 어떤 GPU인가?
• 어떤 클라우드인가?
• 어떤 벤더인가?

Start with the workload:

• 우리가 해결하려는 비즈니스 문제는 무엇인가?
• 이것이 훈련 워크로드인가, 추론 워크로드인가?
• 애플리케이션이 허용할 수 있는 지연 시간은 얼마인가?
• 데이터는 어디에 저장되어 있으며, 얼마나 빠르게 증가할 것인가?
• 어떤 보안, 규정 준수, 주권 요구사항이 적용되는가?
• 워크로드는 어떻게 확장될 것인가?
• 비즈니스가 요구하는 가용성 수준은 얼마인가?
• 허용 가능한 운영 위험 수준은 얼마인가?
• 사용량이 증가함에 따라 이 환경을 운영하는 비용은 얼마가 될 것인가?

답변이 아키텍처를 결정해야 합니다. 반대가 되어서는 안 됩니다.

MSP를 위한 기회

이 변화는 MSP의 역할을 바꿉니다.

고객은 또 다른 인프라 판매 파트너가 필요하지 않습니다. 더 나은 인프라 결정을 내릴 수 있도록 돕는 파트너가 필요합니다.

워크로드 우선 접근 방식은 필수입니다. 이는 MSP가 컴퓨팅, 스토리지, 네트워킹, 연결성, 보안, 데이터 위치, 가용성, 비용을 하나의 아키텍처 요소로 평가할 수 있게 해 주며, 별도의 구매 결정이 아니라 통합된 설계가 가능합니다.

이렇게 하면 비용을 제어하고 성능을 향상시키며 애플리케이션이 운영에 투입되기 전에 운영 및 보안 위험을 식별할 수 있습니다.

MSP를 위한 더 나은 비즈니스 모델도 동시에 만들어집니다.

MSP는 아키텍처, 배포, 최적화, 보안, 라이프사이클 관리, 용량 계획, 지속적인 개선 등 고부가가치 반복 서비스를 구축할 수 있습니다 – 주로 하드웨어 마진 축소 경쟁에 머무르지 않고.

가치가 최신 GPU나 최신 클라우드 플랫폼을 추천하는 데 있는 것이 아니라, 고객이 언제 그것을 필요로 하고 언제 필요하지 않은지, 그리고 그 주위에 무엇을 설계해야 하는지를 아는 데 있습니다.

AI 인프라는 궁극적으로 하드웨어 결정이 아니라 워크로드, 데이터, 그리고 고객이 달성하려는 비즈니스 결과에 의해 좌우되는 아키텍처 결정입니다.

이 구분을 이해하는 MSP는 인프라 공급자를 넘어서는 훨씬 더 가치 있는 존재로 자리매김할 것입니다.

그들은 고객이 실제로 필요로 하는 인프라를 결정하도록 돕는 신뢰받는 파트너가 될 것입니다.