종말론은 관심을 돌릴 뿐, 우리가 우려해야 할 진짜 AI 위험은 따로 있다

뉴스를 접하다 보면 AI 업계를 둘러싼 경고와 종말론적 예측이 점점 거세지는 것을 외면하기 어렵다. AI 시스템이 인류에 초래하는 ‘실존적 위험’을 경고하는 담론 때문에 사이버 보안 기업들은 이에 편승해 공포를 판매 수단으로 삼기 쉬워졌다. 그러나 ‘종말론’에 초점을 맞추는 것은 잘못된 접근이다. 오늘날 에이전트형 AI가 조직에 초래하는 더 시급한 위험을 간과하기 때문이다.

물론 조직의 통제를 벗어나 독자적으로 행동하는 AI 에이전트가 초래하는 위험은 분명히 존재한다. 최근 호주와 미국에서 발표된 보고서에 따르면, OpenAI의 AI 에이전트가 두 나라의 정부 시스템에서 맡은 업무의 범위를 벗어난 사례가 있었다.

그러나 AI로 인한 종말 시나리오의 위협은 과장되어 있다. 조직은 가정에만 매달릴 것이 아니라 새로운 현실을 직시하고, 운영 복원력을 확보할 수 있도록 결정론적 안전장치를 마련해야 한다.

인터넷에는 단 하나의 전원 차단 스위치가 없다

종말론적 담론을 믿는 사람들은 AI가 점점 더 정교해지고 영향력이 커지면 하나의 ‘킬 스위치’가 될 수 있다고 본다. 즉, 누군가가 완전한 통제권을 장악해 재앙을 일으킬 수 있는 단일 취약 지점이 된다는 것이다.

그러나 인터넷은 킬 스위치 이론이 전제하는 것보다 훨씬 더 분산되어 있고 다채롭다. 인터넷은 ‘네트워크들의 네트워크’로 작동한다. 수십억 개의 구성 요소가 서로 다른 아키텍처에 층층이 배치되어 있으며, 각기 다른 표준과 도구를 사용하는 수많은 운영팀이 이를 보호한다. 따라서 사람이나 기계가 작동시킬 수 있는 단일 스위치란 존재하지 않는다. 이러한 파괴적 결과를 초래할 수 있는 단일 취약점이나 취약점의 연쇄도 없다.

AI가 인공 병원체를 만들어 퍼뜨리거나 에어갭으로 격리된 핵 시스템에 침투할 수 있다는 발상은 영화관에서 흥미로운 볼거리가 될 수도 있다. 그러나 운영상 위협 평가에서 신뢰할 만한 시나리오와는 거리가 멀다.

보이지 않으면 통제할 수 없다

에이전트형 AI가 계속 발전하면서 기업의 위험 특성을 근본적으로 바꾼 두 가지 요인이 생겼다.

한편 AI는 이제 악의적 행위자가 사이버 취약점을 찾아 악용하는 데 걸리는 시간을 수개월에서 수분으로 단축할 수 있다. 확률론적 AI 방어 시스템이 의심스러운 활동을 탐지했을 때는 위협에 대응하기에 이미 늦은 경우가 많다. 이런 시스템은 고정된 규칙이 아니라 통계적 가능성에 따라 작동하므로, 아무리 뛰어난 시스템이라도 일부 악의적 활동은 놓치기 마련이다. 공격자는 단 한 번만 탐지를 빠져나가면 된다.

다른 한편으로 직원들의 ‘섀도 AI’ 사용 때문에 무엇을 방어해야 하는지 파악하기가 훨씬 어려워졌다. Cloud Security Alliance가 조사한 조직의 82%는 지난 1년 동안 보안팀이나 IT팀이 실행 중인 줄 몰랐던 AI 에이전트를 발견했다. 그런데도 68%는 에이전트 현황을 파악하고 있다는 데 높은 자신감을 보였다. 이와 별도로 EY는 에이전트형 AI를 사용하는 미국 대기업의 4분의 1이 기업 내부에서 작동하는 무단 에이전트를 탐지할 수 없다고 인정한 사실을 밝혀냈다.

당연히 이 두 가지 변화는 기업 시스템에 상당한 운영 부담을 준다. 두 변화가 겹치면서 조직은 크게 불리한 상황에 놓인다. 노출된 취약점을 파악하고 해결하기에는 너무 느리고, 애초에 어떤 시스템이 노출되어 있는지조차 알지 못하기 때문이다.

통제할 수 있는 것을 통제하기

조직은 승인 여부와 관계없이 기업 내에서 작동하는 모든 에이전트를 실시간으로 파악해야 한다. 각 에이전트에는 지정된 책임자가 있어야 하며, 접근하고 수행할 수 있는 범위를 명확히 정해야 한다. 이것이 ‘통제 가능한 요소’를 관리하는 첫 단계다. AI 모델은 확률론적으로 작동할 수 있지만, 모델에 적용하는 통제는 결정론적이고 고정적이며 명확하게 정의할 수 있기 때문이다.

실제로는 에이전트가 어떤 작업을 제안할 때마다 모델과 독립된 별도의 집행 계층이 그 작업의 허용 여부를 확인하고 감사 기록을 남겨야 한다. 그러나 조직의 11%만 에이전트가 정해진 범위를 벗어나는 작업을 할 때 이를 자동으로 차단한다. 대부분은 사람의 승인을 받거나 단순히 기록만 남기는 데 의존한다. 호주 사례는 대상 시스템이 거부할 것이라고 기대하는 방식의 대가를 보여준다. 접근이 거부되자 에이전트는 다른 경로로 침입했다. 더 광범위한 거버넌스 체계 역시 예기치 않은 운영 위험이 현실화하지 않도록 모든 에이전트를 지속적으로 식별하고, 권한을 부여하며, 검증할 수 있어야 한다. 공격이 기계의 속도로 진행된다면 규칙도 기계의 속도로 적용되어야 하므로, 이 모든 과정은 신속하게 이루어져야 한다.

막연한 공포에서 실질적인 해결책으로

자율형 AI 시스템을 둘러싼 종말론적 보도가 아무리 설득력 있게 들려도 현실과는 거리가 멀다. 우리가 걱정해야 할 위험은 AI가 인류를 파괴하기로 결심하는 일보다 훨씬 평범하다. 누구도 알아채지 못하는 사이 기업 내부에서 에이전트가 빠르게 움직이고, 아무도 부여하지 않은 권한을 사용하는 상황이다.

AI를 관리하는 보안 시스템이 결정론적으로 작동하고 각 에이전트의 활동 속도에 맞춰 에이전트를 정확히 검증하고 추적할 수 있다면, 속도와 가시성 문제는 모두 해결할 수 있다.

이사회와 보안 책임자에게는 세 가지 실질적인 질문으로 요약됩니다. 우리 환경에서 실행 중인 에이전트를 모두 파악하고 있는가? 각 에이전트에 담당자가 지정되어 있고 명확한 한계가 설정되어 있는가? 승인되지 않은 작업이 실행되기 전에 이를 중단할 수 있는가? 고객이 이러한 실질적인 공백을 메우도록 돕는 것이야말로 사이버 보안 업체가 가상의 미래에 대한 공포를 파는 것보다 회복탄력성을 높이는 데 훨씬 더 크게 기여할 수 있는 부분입니다.