AI 인프라 준비가 현실로 만든다

대부분의 기업 AI 이니셔티브는 모델이 완벽하지 않기 때문에 실패하지 않는다. AI는 인프라가 준비되지 않았기 때문에 실패한다.

숫자는 보통 나쁜 뉴스로 프레임된다. 하지만 그것은 지도와 같은 것이다. 포레스터는 AI 도입의 73%가 예상 투자수익률을 달성하지 못할 것으로 전망한다. 가트너도 많은 생성형 AI 프로젝트가 시범 단계를 넘어서기 어려울 것이라고 거듭 경고했다. 기업이 운영과 확장성 문제에 부딪히기 때문이다.

한편, 이사회는 더 큰 AI 투자를 승인하고 있으며, 경쟁사들은 거의 매주 새로운 배포를 발표하고 있다. 또한 리더십 팀은 AI 채택을 혁신과 시장 관련성의 가시적인 지표로 간주하고 있다. 많은 회사에서 모멘텀을 보여주는 압력은 준비를 보여주는 압력과 분리하기가 어렵다.

AI 준비 인프라의 미래

기업들은 분산된 데이터 환경, 일관되지 않은 거버넌스, 오래된 통합, AI 워크로드 이전의 보안과 같은 문제에 직면해 있다. 이 문제들은 모델 문제가 아니다. 모두 빌드 문제이며, 빌드 문제는 해결 가능하다. 이것이 낙관적인 해석이며, 또한 정확한 해석이다.

인프라라고 말할 때, 나는 전체 스택을 말한다. 데이터 레이어만이 아니라, AI 워크로드가 환경의 여러 부분에 압력을 가한다. 수년 동안 잘 작동했던 데이터 센터는 이제 밀집된 GPU 클러스터를 흡수해야 한다. 많은 데이터 센터는 이를 처리하기 위해 설계되지 않았으며, 전력, 냉각 시설 또는 바닥 공간이 부족하다. 모델이 저장소와 컴퓨팅 사이에서 테라바이트를 이동하기 시작하면, 일반 트래픽에 최적화된 네트워크가 부담을 못한다. 데이터는 실시간으로 피드를 제공하지 않는 시스템에 저장된다.

이 모든 결정은 의도적인 엔지니어링 결정이다. 워크로드가 실행되는 위치, 빌드, 콜로케이션, 또는 렌트할 수 있는 용량, 데이터가 이동하는 방식, 그리고 누가 시스템을 유지하는지에 대한 결정이다. 이러한 결정들을 초기에 올바르게하면 AI가 확장된다. 이러한 결정들을 연기하면, 배포가 충돌하는 천장으로 된다.

AI 준비 상태를 솔직하게 평가하기는 실행 의도가 높아짐에 따라 더 어려워지고 있다. 기술 리더들은 실제 비즈니스 긴급성을 인프라 현실과 비교하고 있다. 인프라 현실은 자금과 정렬만으로 해결할 수 없다. 리더십 팀은 완전히 AI 이니셔티브를 지원할 수 있지만, 지원은 성숙한 거버넌스, 신뢰할 수 있는 데이터 파이프라인, 또는 시스템이 확장할 때 필요한 운영 소유권을 생성하지 않는다. 이러한 것들은 구축되거나 존재하지 않는다.

파일럿은 제어된 환경에서 통과하지만, 확장할 때 깨진다

이 단계를 건너뛰는 비용은 초기 승리 직후에 나타난다. 시범 사업이 성공하면 기반 환경은 여전히 불안정한데도 조직 전체가 준비됐다는 잘못된 인상을 줄 수 있다. 예를 들어, 거버넌스는 부서별로 다르며, 중요한 시스템은 데이터를 교환하기 위해 여전히 수동 개입이 필요하다. 보안 모델은 아직 AI가 워크플로우에서 민감한 정보에 접근하는 방식을 고려하지 않는다.

파일럿이 종료된 후, 주변 인프라는 확장을 효율적으로 또는 안전하게 지원할 수 없다. 예산은 줄어들고, 일정은 미뤄지며, 다음 AI 투자에 대한 회의가 높아진다. 기술은 문제가 아니었지만, 기술이 들어간 환경이 문제였다.

빠르게 움직여야 한다는 압박은 거의 모든 산업의 AI 전략을 바꾸고 있다. 조직의 약 80%가 적어도 한 가지 업무 기능에 AI를 사용한다고 답했다. 많은 경영진은 도입을 미루면 이미 AI 중심 기업으로 자리매김한 경쟁사에 뒤처질까 우려한다.

AI 도입을 둘러싼 대외적 분위기는 눈에 띄는 출시와 과감한 전환 발표를 높이 평가한다. 그러나 조직 내부에는 여러 해에 걸쳐 쌓인 인프라의 단절이 남아 있어, AI를 지속적으로 운영하기가 경영진의 초기 예상보다 훨씬 어렵다.

AI 준비를 나타내는 4가지 질문

AI 배포를 확장하기 전에, 리더십 팀은 이러한 질문에 자신감을 가지고 답할 수 있어야 한다.

1. 우리 데이터를 신뢰할 수 있는가? 이 AI 시스템이 다루는 모든 사업 부문에 문서화된 데이터 거버넌스 정책이 일관되게 적용되는가, 아니면 검증하지 않은 데이터 품질을 당연하게 여기고 있는가?
2. 출시 후에는 누가 책임지는가? 프로젝트 팀과 별개로, 시스템이 확장되는 동안 감시·유지보수·관리를 맡을 명확한 운영 조직이 있는가?
3. 보안과 규정 준수는 설계 단계부터 반영됐는가? 보안·규정 준수 담당자가 처음부터 아키텍처 논의에 참여했는가, 아니면 자신들을 빼고 계획된 배포를 사후 검토하고 있는가?
4. 시스템 간 연동이 부하를 감당할 수 있는가? AI가 의존하는 시스템들이 대규모 환경에서도 데이터를 안정적으로 주고받는가, 아니면 이미 수동 개입이 필요한 연동에 의존하는가?

이 질문들은 배포를 늦추기 위한 것이 아니다. 확장이 노출할 간격을 표면화하기 위한 것이다. 이 네 가지 질문에 모두 명확하게 답할 수 있는 조직은 운영적으로 성숙하여 투자를 보호할 수 있다.

파일럿은 시작점이다

성공적인 시범 사업이 조직 전체의 준비 상태를 입증하지는 않는다. 통제된 환경에서 통제된 결과가 나왔음을 보여줄 뿐이다.

파일럿은 종종 조직이 시스템을 거버넌스, 보안, 지속할 수 있는지 여부를 나타내지 않는다. 그 간격은 대부분의 AI 이니셔티브가 모멘텀을 잃는 곳이다. 기술이 문제가 아니었지만, 기술이 들어간 환경이 문제였다.

이사회는 AI를 장기적인 경쟁력으로 간주하는 것이 옳다. 하지만 배포 긴급성이 운영 순서를 대체하기 시작하면, 위험이 있다. 빠르게 출시하고 약한 기초 위에 확장하는 것은 경쟁력을 가속하지 않는다. 준비되지 않은 상태의 비용을 지연시키는 것이다.

준비가 기초이다

기술 리더들에게 기운을 북돋아주는 부분은 준비가 보수적인 플레이가 아니라는 것이다. 그것은 공격적인 플레이이다. 운영 기초를 구축하는 CIO들은 새로운 AI 기능을 주간 단위로 출시하고, 비즈니스 전체에 걸쳐 확장하며, 경쟁자가 첫 번째 실패한 론칭을 풀어내는 동안 리드를 쌓는 것이다.

이것이 실제로 유지되는 변환이며, 그것은 먼저 출시한 사람에게 속하는 것이 아니다. 그것은 인프라를 제약에서 엔진으로 전환하는 리더에게 속한다. 깨끗하고, 거버넌스된 데이터, 통합이 부하를 견딜 수 있으며, 설계된 보안이 그것이다. 이것이 올바르면, AI는 일회적인 파일럿이 아닌, 조직이 거의 모든 문제에 대한 해답을 신뢰할 수 있는 능력이 된다.

이것이 실제로 가치가 있는 곳이다. AI를 더 빠르게, 더 안전하게, 더 큰 규모로 배포할 수 있는 기초이다. 이사회는AI에 대한 포부를 실현할 자금을 제공한다. 인프라는 그것을 현실로 만든다. CIO들은 그것을 이해할 것이며, 산업 전체에서 회사의 가치를 크게 높일 것이다. AI 전략과 인프라 준비는 워크스트림에서 분리되지 않는다. 장기적으로 AI에 경쟁하려는 조직에게, 준비가 기초여야 한다.