AI 인프라에서 간과되는 네트워크의 역할

조직들은 AI를 실제 운영 환경에 도입하는 데 필요한 GPU, 서버, 모델, 컴퓨팅 용량에 막대한 투자를 하고 있습니다. 하지만 에이전틱 AI는 네트워크에 다른 요구 사항을 제시합니다.

챗봇은 보통 누군가 질문하기를 기다리지만, 에이전트는 작업을 부여받아 여러 시스템과 애플리케이션을 이용하고, 결정을 내리고, 조치를 취할 수 있습니다. 에이전트가 기업 전반에서 더 많은 업무를 맡게 되면 상당수 작업은 누군가가 키보드 앞에 앉아 있지 않을 때도 이루어질 것입니다.

Google Cloud의 에이전틱 AI 시대의 인프라 현황에 따르면, 조직의 83%가 프로덕션급 자율 시스템을 지원하려면 인프라 업그레이드가 필요하다고 답했습니다. 컴퓨팅 성능도 중요한 요소이지만, 조직은 네트워크를 우선순위에 두어야 합니다. 네트워크는 일반적인 직원의 업무 패턴을 따르지 않는 활동도 지원해야 하기 때문입니다.

오전 9시부터 오후 5시까지 운영되는 네트워크의 종말

수십 년 동안 기업 네트워크는 대체로 사람들의 업무 방식에 맞춰 설계되어 왔습니다. 직원들은 업무 시간 내내 애플리케이션에 연결하고, 데이터에 접근하고, 클라우드 서비스를 이용합니다. 그 결과 비교적 예측 가능한 트래픽 패턴이 형성되고, 이는 네트워크 아키텍처와 운영 방식에 영향을 미칩니다.

AI와 에이전틱 시스템은 이러한 상황을 바꾸고 있습니다. 에이전트는 언제든 작업을 실행하고 애플리케이션, API, 데이터 소스 및 다른 에이전트와 상호작용할 수 있어, 캠퍼스 네트워크, 데이터 센터, 클라우드 환경, WAN 전반에서 트래픽 흐름이 더욱 지속적이고 역동적으로 변합니다. 배포 규모가 커질수록 네트워크는 더욱 복잡해지는 종속성을 지원해야 하므로, 안정적인 실행을 위해 성능, 지연 시간, 복원력, 보안이 중요해집니다.

이러한 요구는 문제를 찾아내는 모니터링 도구와 문제를 조사하고 해결하는 인력에 의존하는 기존 NetOps 모델의 한계도 드러냅니다. 차세대 NetOps는 개별 장치와 이벤트를 관리하는 데 그치지 않고, 심층적인 가시성, AI 기반 상관관계 분석과 근본 원인 분석, 지능형 자동화를 활용해 애플리케이션과 에이전트의 종단 간 종속성을 파악하고 문제를 선제적으로 최적화하고 해결해야 합니다.

AI의 도움을 받아 관리하는 네트워크에서 AI 기반 지능과 통제된 자율성을 통해 운영되는 네트워크로 전환할 기회가 있습니다. 네트워크 팀은 반복적인 문제를 해결하는 데 들이는 시간을 줄이고, 정책을 정의하고 안전장치를 마련하며 아키텍처를 최적화하는 데 더 많은 시간을 쓸 수 있습니다. 오전 9시부터 오후 5시까지 운영되는 네트워크의 종말은 단순히 네트워크가 24시간 내내 가동된다는 뜻이 아닙니다. 지능형 자율 시스템이 항상 작동하는 생태계를 지원하기 위해 네트워크 수요를 좌우하는 요소와 네트워크의 설계, 보안, 운영 방식이 근본적으로 바뀐다는 뜻입니다.

몇 가지 AI 도구에서 에이전트 군집으로

대부분의 조직은 여전히 AI를 쉽게 관리할 수 있는 단계에 있습니다. 비즈니스의 여러 부문에서 코파일럿, 어시스턴트, AI 애플리케이션을 운영하는 수준입니다.

그러나 IBM의 조사에 따르면, 향후 12개월 동안 예상되는 AI 에이전트 배포 규모에 완전히 대비한 리더는 설문 응답자 중 11%에 불과합니다. 배포가 확대되면 네트워크 팀은 파악해야 할 활동과 조사해야 할 문제가 늘어나지만, 이를 처리할 인력은 추가되지 않는 경우가 많습니다.

따라서 엔지니어가 대시보드를 검색하고 정보를 수집하며 일상적인 질문을 상급자에게 전달하는 데 쓰는 시간을 줄이는 것이 중요합니다. 팀이 필요할 때 관련 운영 정보와 문제 해결 지침을 제공하면, 모든 질문에 소수의 숙련된 전문가가 답하는 대신 팀 간에 전문 지식을 더 쉽게 공유할 수도 있습니다. 사람의 전문성은 정책 정의, 경계 설정, 위험 평가처럼 판단이 필요한 의사결정에 활용하는 편이 더 효과적입니다.

AI 전략 논의에 네트워크도 참여해야 한다

AI 계획은 모델, 애플리케이션, 데이터, 컴퓨팅 리소스에서 시작되는 경우가 많지만, 네트워킹도 처음부터 논의에 포함해야 합니다. 에이전트가 유용한 권고를 하려면 적절한 맥락을 파악해야 합니다. 네트워크 운영에서는 개별 알림이나 지표만 따로 보는 것이 아니라 사용자, 장치, 애플리케이션에 관한 정보가 서로 어떻게 연결되는지 이해해야 한다는 뜻입니다.

이러한 맥락은 팀이 문제의 원인을 더 빨리 파악하고 다음에 무엇을 할지 결정하는 데 도움이 됩니다. 특히 에이전트의 자율성이 커질수록 사람의 감독은 여전히 중요합니다. 이를 위해 에이전트가 독립적으로 할 수 있는 일에 명확한 한계를 두고, 그 경계를 지킬 수 있도록 통제해야 합니다. 또한 팀은 권고를 따를지 결정하기 전에 권고가 나온 이유와 근거가 된 정보를 확인할 수 있어야 합니다.

Gartner는 예측합니다. 2029년까지 IT 운영에 AI 에이전트를 도입한 조직 중 최소 70%에서 서비스, 보안 또는 비용과 관련된 심각한 문제가 발생할 것이며, 그 원인의 일부는 미흡한 통제일 것입니다. 따라서 가시성, 자동화, 신뢰성, 통제 기능을 처음부터 AI 인프라 계획에 포함해야 합니다.

항상 가동되는 AI 기업을 위한 인프라 구축

에이전틱 AI는 기업 네트워크의 사용 방식을 바꿉니다. 네트워크 활동은 더 이상 직원의 온라인 접속 시간에 그만큼 밀접하게 얽매이지 않으며, 네트워크 팀은 네트워크 운영에 필요한 업무량이 같은 속도로 늘어나지 않도록 하면서 이러한 변화를 관리해야 합니다.

기업이 네트워크를 전면적으로 개편할 필요는 없지만, AI 활용이 확대됨에 따라 현재 인프라의 잠재적 취약점을 파악해야 합니다. 특히 팀이 문제를 신속하게 파악할 만큼 충분한 가시성을 확보하지 못한 곳, 대응 시간이 저하되기 시작한 곳, 일상적인 문제 해결에도 여전히 상당한 수작업이 필요한 곳을 살펴봐야 합니다.

오전 9시부터 오후 5시까지의 근무일을 기준으로 구축된 네트워크는 사람과 애플리케이션, 에이전트가 나란히 일할 수 있도록 지원하는 네트워크로 바뀌어야 합니다. 이들은 서로 크게 다른 일정과 속도로 작업하는 경우가 많습니다. 인프라를 제대로 구축하면 기업이 이미 중요하게 여기는 지표에 그 효과가 드러날 것입니다. 중단은 줄고, 문제가 발생했을 때는 더 빠르게 해결되며, 사용자 경험은 개선되고, 문제를 추적하는 데 드는 시간은 줄어들 것입니다.