암흑의 AI 정글: 플랫폼을 승인하는 것은 구축된 것을 보안하는 것과 같은 것이 아님

기업의 AI 도입은 마찰이 없는 것이 아님. 데이터 제어, 규제 준수, 보안에 대한 우려는 여정의 모든 단계에서 뒤따랐다. 그러나 조직이 Microsoft, Salesforce, ServiceNow와 같은 주요 플랫폼에서 운영을 확대함에 따라 가장 어려운 거버넌스 질문들이 적어도 부분적으로 해결되고 있는 것으로 보인다. 기업 계약이 체결되었다. 보안 검토가 완료되었다. 플랫폼이 승인되었다.

그러나 그 자신감은 다른 질문을 간과하는 경향이 있다. 플랫폼이 안전한지 여부가 아니라, 무엇을 구축하고, 누가 구축하는지에 대한 질문이다.

산업 전반에 걸쳐 조용한 혁명이 진행 중이다. 비기술직 직원들이 기업 AI 플랫폼을 사용하여 자율 에이전트, 자동화 워크플로, 데이터 연결 애플리케이션을 구축하고 있으며, 이는 종종 몇 분 만에 코드를 작성하지 않고 수행된다. 전통적인 개발 시간과 제한을 벗어난 이러한 구축자들은 조직의 효율성을 높이는 데 도움이 된다. 그러나 이러한 도구는 전통적인 보안 팀에 의해 검토되지 않는다. 많은 경우에 보안 팀은 이러한 도구가 존재하는지조차 모른다.

애플리케이션, 에이전트, 자동화와 같은 이러한 도구는 Shadow AI라고 하는 증가하는 문제의 일부분이며, 이는 지난 10년 동안 기업 위험에서 가장 중요한 변화 중 하나이다. 이유는 간단하다. 위협이 이제 내부로 이동했기 때문이다.

원래의 Shadow IT 문제는 비교적 간단했다. 직원들이 외부의 비인가 도구를 사용하고 있었고, 보안 팀의 역할은 이러한 도구를 찾고 차단하는 것이었다. 그러나 Shadow AI는 다르게 도전적인 문제이다. 도구는 승인된 플랫폼 내에 있다. 이러한 도구를 구축하는 사람들은 당신의 직원이다. 사용하는 접근은 정당하다. 그리고 이러한 도구는 문제를 발견하기 전에 프로덕션에 도달하는 것을 막기 위한 보안 프로세스를 통과하지 않는다.

이것을 해결하기 어렵게 만드는 것은 규모이다. 대부분의 보안 리더들은 자신의 환경 내에서 구축되는 것의 양을 크게 과소평가한다. 200개 이상의 기업 보안 책임자와 보안 리더들의 최근 연구에 따르면, 평균 기업 보안 팀은 자신의 비즈니스 사용자가 구축한 AI 에이전트, 자동화, 애플리케이션의 44%만을 계산할 수 있다. 그것은 간격이 아니다. 그것은 대부분의 구축된 것을 덮는 블라인드 스폿이다.

이유는 간단하다. 비즈니스 사용자는 전문 개발자보다 10배 더 많다. 그들은 모든 부서에서 지속적으로 구축하고 있으며, 구축을 쉽게 만드는 플랫폼에서 구축하고 있으며, C-suite에서 구축하도록 격려 받고 있다. 보안 팀은 개발자 파이프라인과 코드 저장소에 초점을 맞추고 있다. 그들은 이러한 것을 모니터링하도록 설계되지 않았다.

가장 일반적인 오해는 플랫폼을 승인하면 보안 문제가 해결된다는 것이다. 그러나 그것은 그렇지 않다. 그것은 단지 이동한다. 기업이 Microsoft (MSFT ), Salesforce (CRM ), UiPath (PATH ) 와 계약을 체결할 때, 플랫폼 제공업체는 자신의 인프라를 보안한다. 그러나 직원이 그것 위에 구축한 것과 구성한 것은 기업의 책임이다.

문제는 비즈니스 사용자가 구축한 도구가 전통적인 보안 시스템에서 소프트웨어처럼 보이지 않는다는 것이다. 스캔할 코드가 없으며, 모니터링할 저장소가 없으며, 검사할 파이프라인이 없다. HR 매니저가 메뉴와 텍스트 프롬프트를 통해 구축한 AI 에이전트는 대부분의 보안 도구에서 보이지 않는다.

그러나 이러한 도구는 사소한 것이 아니다. 연구에 따르면 CISO의 절반이 비즈니스 구축 애플리케이션이 비즈니스에 중요한 프로세스를 지원하고 있으며 민감한 회사 데이터에 접근할 수 있다고 확인했다. 결과는 실제이며, 감독은 따라오지 못했다.

0에서 재앙까지

사용 사례는 다양한데, 거의 모든 부서에서 발생하며, 보안 팀이 주목하지 않을 수도 있다.

예를 들어, 마케팅 코디네이터가 완전히 승인된 플랫폼에서 제품 질문에 답할 수 있는 고객용 AI 에이전트를 구축한다. 몇 분 만에 앱이 실행되지만, 보안 교육이 없는 사람으로서, 두 가지 작은 구성 오류가 무시되고 에이전트가 회사 전체 데이터베이스에 직접 접근할 수 있으며 검색할 수 있는 경계가 없다. 프로덕션에서 사용자가 그것을 요청하면 기록을 가져온다. 또한 에이전트에는 이메일 기능이 있으므로 사용자는 데이터를 개인 주소로 보낼 것을 지시한다. 전체 시퀀스는 60초 미만으로 수행된다. 무단 접근이 없다. 플랫폼 침해가 없다. 보안 경고가 없다.

이것은 복잡한 공격이 아니다. 잘못된 구성으로 인한 예상 가능한 결과이다. 구축하는 것이 쉽고 거버넌스가 선택적인 플랫폼에서 구축한 잘 의도된 직원이다.

가격되지 않은 거버넌스 간격

대부분의 조직에서는 Shadow AI 문제가 추상적이며, 무엇이 잘못되었는지 알 수 없다. 그러나 비즈니스 위험은 보안 대응을 넘어선다.

비즈니스 구축 에이전트가 민감한 데이터를 누출할 때, 이사회에서 묻는 질문은 “구성 오류가 어떻게 발생했는가?”가 아니다. 그것은 “누구도 도구가 실행 중인지 모르는가?”이다. 외부 공격자에 의한 침해와 내부 도구에 의한 침해를 구별하지 않는다. 개인 데이터가 노출되고 조직이 실행 중인 내용에 대한 가시성이 없으면, 감독의 부재는 자체적으로 책임이다. “승인된 플랫폼에서 직원이 구축했다”는 방어가 아니다. 그것은 간격의 설명이다.

긴급성은 실제이지만, 의도와 실행은 다르다. 대부분의 기업에서는 그 간격이 여전히 넓다.

답은誰를 구축할 수 있는지 제한하는 것이 아니다. 시티즌 개발을 제한하면 실제 생산성 향상을 희생해야 하며, 실제로는 작동하지 않는다. 직원들은 우회 방법을 찾을 것이다. 답은 무엇을 구축하는지 보이고, 실제 위험에 노출되는 지점에서 거버넌스를 하는 것이다. 즉, 런타임이다.

즉, 에이전트가 존재하는지, 어떻게 행동하는지, 어떤 데이터에 접근하는지, 어떤 시스템을 터치하는지, 그리고 그들의 행동이 구축한 대로 유지되는지 이해하는 것이다. 즉, 구성 지점이 아니라 조직 수준에서 가드레일을 설정하는 것이다. 그리고 보안 팀이 환경의 모든 에이전트에 대해 가장 기본적인 질문에 답할 수 있는 곳으로 이동하는 것이다. 누가 구축했는지, 무엇에 접근할 수 있는지, 그리고 의도한 대로 행동하는지.

대부분의 기업은 오늘날 이러한 질문에 답할 수 없다. 먼저 도달하는 기업은 자신이 실제로 실행 중인 것을 알고 있기 때문에 AI 도입을 확신할 수 있을 것이다.