하나의 정책, 수천 개의 에이전트: 엔터프라이즈 AI 거버넌스가 규모가 커지면 무너지는 이유

자율형 AI 에이전트 도입을 둘러싼 논의에서 거버넌스는 핵심 과제로 다뤄져 왔으며, 이는 당연한 일이다. 최근 Gartner는 기업의 40%가 2027년까지 자율형 AI 에이전트의 운영 수준을 낮추거나 폐기할 것으로 예측했다. 이는 기술이 실패해서가 아니라 거버넌스가 실패했기 때문이다. Gartner의 수석 디렉터 애널리스트 Shiva Varma에 따르면 원인은 ‘이분법적 거버넌스’다. 에이전트를 완전히 통제하거나 전적으로 신뢰하는 두 가지 방식만 적용하고, 그 사이의 선택지는 두지 않는 것이다.

현재 많은 조직은 AI 도구를 전면 금지하거나 적절한 안전장치 없이 에이전트를 배포하는 쪽으로 기울고 있다. 어느 쪽도 규모가 커질수록 효과적으로 작동하기 어렵다. IT 부서가 외부 AI 도구를 금지하더라도 섀도 AI는 계속 사용된다. 개발자는 본능적으로 무언가를 만들고 문제를 해결하려 한다. 거버넌스가 지나치게 관료적으로 느껴지면 통제를 우회하고 검증되지 않은 도구를 사용해 업무를 계속 진행할 것이다. 반대로 안전장치가 부족하면 시간이 지날수록 보안, 규정 준수 및 운영상의 위험이 누적되고 커진다. 

문제는 정적인 획일적 접근 방식으로는 AI 에이전트를 일률적으로 관리할 수 없다는 점이다. 이러한 시스템은 기반 소프트웨어, 기능, 접근 권한 수준, 자율성의 정도가 서로 달라 위험 프로필도 같지 않으므로 획일적 거버넌스의 시대는 끝나가고 있다. 기계 속도로 작동하는 소프트웨어에 산업 시대의 정적인 통제를 적용하는 방식은 효과가 없다. 효과적인 거버넌스를 위해서는 각 에이전트의 기반이 되는 소프트웨어 공급망을 파악하고, 해당 에이전트가 초래하는 위험에 맞춰 통제를 조정해야 한다.  

에이전트 기반 소프트웨어 개발 환경 관리

실질적인 통제란 에이전트를 구성하는 모든 소프트웨어 요소를 효과적으로 관리하는 것이다. 많은 팀은 에이전트를 ‘신뢰할 수 있고 믿을 만한’ 것으로 잘못 여기며, 기능과 보안에 영향을 미치는 표준 구성 요소를 간과한다. 

모든 자율형 AI 에이전트는 익숙한 구성 요소들로 이루어진 스택을 기반으로 한다. 기반 모델, 에이전트를 기업 데이터 및 외부 시스템에 연결하는 MCP 서버(Model Context Protocol), 기능을 확장하는 플러그인, 그리고 에이전트의 동작 방식을 지시하는 스킬 파일이 여기에 포함된다. IT 책임자는 다음 사항을 유념해야 한다. 

• AI 에이전트는 소프트웨어 생태계다: 모델, MCP, 도구, 플러그인, 스킬 및 오픈소스 소프트웨어를 포함하는 표준 구성을 기반으로 작동한다.
• MCP 서버는 위험할 수 있습니다: 에이전트를 기업 데이터에 연결하며 다른 소프트웨어와 마찬가지로 다운로드할 수 있습니다. 검증을 거치지 않으면 해커가 시스템에 침입할 수 있습니다. 예를 들어, 최근 JFrog Security Research가 강조한 이러한 구체적인 소프트웨어 공급망 위험은 mcp-run-python에서 확인되며, 여기에는 서버 측 요청 위조(SSRF) 결함(CVE-2026-25904)과 격리 기능 부재 취약점(CVE-2026-25905)이 포함되어 MCP가 완전히 장악될 수 있습니다.
• 플러그인은 위험을 키울 수 있다: 에이전트마다 필요한 플러그인이 다르다(예를 들어 OpenAI 플러그인은 Microsoft Copilot에서 작동하지 않는다). 따라서 기업은 여러 종류의 플러그인을 함께 관리해야 하는 경우가 많으며, 악성 플러그인 하나만으로도 민감한 정보가 탈취될 수 있다.
• 스킬이 에이전트의 동작을 결정한다: 이 지침 파일은 에이전트의 작업 방식을 알려준다. 개발자가 커뮤니티에서 파일을 가져오기 때문에, 변조된 스킬은 에이전트의 작동 방식을 눈에 띄지 않게 바꿀 수 있다.
• 오픈소스 소프트웨어의 위험: 에이전트 기반 코딩으로 구축한 솔루션의 모든 기능은 오픈소스 바이너리를 활용해 제공된다. 코딩 에이전트는 위험을 인지하지 못한 채 안전한 패키지 대신 악성 패키지를 똑같이 쉽게 활용할 수 있다.
• 가시성이 핵심이다: 많은 팀은 이런 문제가 존재한다는 사실조차 몰라 에이전트를 심각한 취약성에 노출한다. 조직은 여전히 철저한 점검 대신 신뢰에 의존해 소프트웨어 종속성을 관리하고 있다.

효과적인 AI 거버넌스에서 기준 시스템의 역할

어제의 사고방식으로는 엔터프라이즈 AI 에이전트 배포 경쟁에서 이길 수 없다. 모든 워크플로에 걸쳐 일률적이고 과도한 수동 승인 절차를 적용하면 혁신이 저해되고, 에이전트를 모니터링하지 않으면 불필요한 위험이 발생한다.

AI를 안전하게 확장하려면 조직은 패키지, 바이너리, MCP, 스킬 및 종속성을 비롯한 소프트웨어 구성 요소를 계층적으로 관리하고 보호해야 한다. 기준 시스템을 구축하면 기업은 사용되는 모든 구성 요소를 선별하고, 사용 전에 모든 항목을 검사하며, 개발 수명 주기의 적절한 시점에정책을 적용하고 즉시 롤백할 수 있는 역량을 유지할 수 있다. 따라서 다음 취약점이 공개되었을 때 ‘우리도 영향을 받는가?’라는 질문에 며칠이 아니라 몇 분 안에 답할 수 있다.

그러나 AI 에이전트는 더 넓고 훨씬 빠르게 변화하는 공격 표면을 만들어 냅니다. 높은 자율성을 지닌 에이전트는 분당 수백 가지 결정을 내리고, 도구 호출을 연쇄적으로 수행하며, 데이터에 접근하고, 코드를 실행할 수 있어 기존의 도입 단계 통제가 따라가기 어렵습니다. 사전 검토와 승인 절차는 여전히 중요한 역할을 하지만, 그것만으로는 기계 속도로 작동하는 시스템을 안전하게 지킬 수 없습니다.

이러한 에이전트를 효과적으로 관리하려면 런타임에 동적으로 통제하고, 이상 행동이 발생하는 즉시 감지해 피해가 확산되기 전에 개입할 수 있어야 합니다. 이를 회로 차단기에 비유할 수 있습니다. 문제가 발생하는 즉시 침해된 스킬의 접근 권한을 취소하고, 신뢰할 수 없는 데이터 컨텍스트와의 연결을 끊거나, 특정 도구 호출을 차단하는 것입니다.

‘획일적 접근’에서 벗어나기

경직되고 획일적인 거버넌스는 실패를 보장하는 길입니다. 이에 앞서 대응할 기회는 점점 줄어들고 있으며, 에이전트 배포가 가속화될수록 거버넌스 부채도 커집니다. 따라서 보안 및 엔지니어링 책임자가 지금 기업 시스템의 보안을 강화하기 위해 취할 수 있는 네 가지 조치는 다음과 같습니다.

1. 현재 가동 중인 항목을 파악합니다. 대부분의 기업은 조직 내 AI 에이전트의 현황조차 완전히 파악하지 못하며, 에이전트를 구동하는 MCP 서버, 플러그인, 스킬 파일은 더더욱 파악하지 못합니다. 위험을 평가하거나 무엇이든 관리하려면 먼저 어떤 항목이 있는지 알아야 합니다.
2. AI 구성 요소를 소프트웨어 아티팩트로 취급합니다. MCP 서버, 스킬 파일, 플러그인은 설정이 아니라 코드이며, 모든 오픈 소스 종속성과 마찬가지로 공급망 위험을 수반합니다. 타사 라이브러리에 적용하는 것과 동일한 검증, 검사, 출처 추적 절차를 적용하세요.
3. 자율성 수준에 따라 에이전트를 분류하고 그에 맞춰 통제 수준을 조정합니다. 조직에서 ‘높은 자율성’이 무엇을 뜻하는지 정의하고, 이를 바탕으로 단계별 정책 체계를 마련합니다. 자율성이 높은 에이전트에는 도입 단계 점검만이 아니라 런타임 통제가 필요합니다. 가장 민감한 시스템부터 시작해 범위를 넓혀 나가세요.
4. 인간 개발자든 에이전트형 개발자든 우회하지 않을 만큼 거버넌스를 신속하게 운영합니다. 섀도 AI는 마찰에서 비롯되는 문제입니다. 새 MCP 서버를 승인하는 데 2주가 걸리면 개발자는 다른 방법을 찾을 것입니다. 명확한 정책 집행을 수반하는 자동 검사가 AI 개발의 실제 속도에 맞춰 확장할 수 있는 유일한 모델입니다.

각 에이전트를 모두 똑같이 취급하기보다 에이전트별 실제 위험을 반영하면 거버넌스의 효과를 크게 높일 수 있습니다. 앞서 나갈 기업은 에이전트마다 다른 현실에 맞춰 거버넌스를 적용하고, 모든 경계에서 정책을 집행하며, 모든 구성 요소를 파악할 수 있게 하고, 문제가 발생하는 즉시 팀이 대응할 수 있도록 지원하는 기준 시스템을 갖춘 기업일 것입니다.