은밀한 위험을 드러내는 Shadow AI

기업은 직원들이 광범위하게 생성적 인공지능(GenAI)을 사용하는 것을 경험하기 위해 오래 기다릴 필요가 없었다. 그러나 GenAI 위험에 대해 이야기할 때, 조직 내에서 알려진 도구가 가장 걱정할 필요는 없다. 걱정해야 할 것은 조직이 모르는 도구이다.

ChatGPT, Copilot, Gemini, Perplexity와 같은 GenAI 도구의 빠른 확장으로 인해, 그리고 많은 전문 SaaS 기반 어시스턴트로 인해, 직원들은 보안 팀이 따라잡을 수 있는 속도보다 더 빠르게 이러한 도구를 채택하고 있다. 그리고 이러한 사용은 빠르게 증가하는 블라인드 스폿으로 알려진 Shadow AI를 생성하고 있다.

Shadow AI라는 용어가 익숙하다면, 그것은 작업장에서 승인되지 않은 도구와 서비스를 사용하는 것을 설명하는 데 사용되는 Shadow IT라는 용어에서借用된 것이기 때문이다. 그러나 Shadow AI의 경우, 위험은 더 높을 수 있다. 유출된 파일 공유 앱이 아닌 Shadow AI는 민감한 데이터를 채팅봇 프롬프트에 붙여 넣고, 외부 모델에摄入시키고, 제3자 시스템에 노출시키는 결과를 초래할 수 있다.

Shadow AI는 현재 기업 데이터 보안에서 가장 보이지 않는 위협 중 하나이다.

Shadow AI란 무엇인가?

Shadow AI는 특히 GenAI를 포함한 인공지능 도구의 승인되지 않은 사용을 말한다. 조직 내에서 사용자는 마케팅 팀이 대형 언어 모델(Large Language Model, LLM)을 사용하여 블로그 게시물을 작성하거나, 법률 팀이 AI 도구에서 계약 언어를 탐색하거나, 엔지니어가 무료 GPT 래퍼를 사용하여 코드를 디버깅할 수 있다.

그리고 이러한 실험은 무해한 것으로 보일 수 있지만, 이러한 도구에 공유되는 데이터는 그렇지 않을 수 있다. 기밀 전략 슬라이드 또는 고객 정보일 수 있다. 이러한 데이터는 궁극적으로 암호화되지 않은 프롬프트에 끝나고, 거버넌스가 없고, 다음에 무슨 일이 일어나는지 추적할 수 없다.

Shadow AI는 왜 문제인가?

Shadow AI의 문제는 단지 좋은 의도를 가진 직원이 ChatGPT를 사용하여 데이터 보안 위험을 생성할 수 있기 때문이다. 해커와는 달리, Shadow AI는 악의적이지 않지만, 그것이 덜 위험하다는 것을 의미하지 않는다. 민감한 데이터가 프롬프트에 추가될 때마다, 그것은 모델, 벤더, 그리고 로그에 액세스할 수 있는 누구에게나 노출될 수 있다. 그것은 또 다른 사용자의 프롬프트에 대한 답변으로 재등장할 수도 있다. 그리고 가장 나쁜 부분은, 그것이 발생했다는 사실을 아마도 결코 알 수 없을 것이다.

Shadow AI의 다섯 가지 주요 위험을 알아야 한다.

1. 프롬프트 입력을 통한 데이터 유출 – 프롬프트 필드는 데이터 보안의 블랙홀이다. 일단 민감한 정보, 즉 소스 코드, M&A 문서, 급여 세부 정보가 GenAI 도구에 공유되면, 그것은 더 이상 제어할 수 없다. 심지어 AI 벤더가 데이터가 유지되지 않는다고 약속하더라도, 시행은 불분명하고, 훈련 또는 원격 분석에 대한 보장은 거의 없다.

2. 액세스 제어 또는 감사 로그의 부족 – 승인된 기업 애플리케이션과는 달리, 대부분의 GenAI 도구는 역할 기반 액세스 제어, 세분화된 권한, 또는 활동 로그를 제공하지 않는다. 이것은 보안 팀이 데이터에 액세스한 사용자 또는 언제 액세스했는지에 대한 가시성을 제공하지 않는다. 사고가 발생하면, 조사할 것이 없다.

3. 규정 위반 – 조직이 따라야 하는 수많은 규정은 규정된 데이터가 저장, 처리, 액세스되는 방식을 매우 구체적으로 명시한다. 이러한 데이터를 외부 AI 모델에 공급하는 것은 이러한 규칙을 위반할 수 있으며, 조직을 법적 위험, 과태료, 그리고 의무적인 침해 공개에 노출시킬 수 있다.

4. 구식 또는 편향된 정보의 순환 – GenAI 도구는 종종 답변을 자신감 있게 제공하고, 그것을 사실로 제시한다. 그러나, 그것이 실제로 틀릴 수도 있다. 이러한 출력을 고객 메시지, 규정 요약, 또는 재무 보고서를 위해 검증 없이 사용하는 것은, 비정확한 데이터에 기반한 비즈니스 결정으로 이어질 수 있다. 이러한 현상은 정기적으로 발생하며, 이러한 LLM이 더 똑똑해지더라도 사라지지 않는다.

5. Shadow AI가 Shadow 데이터가 되는 경우 – GenAI 도구의 출력, 즉 요약, 초안, 응답은 종종 저장, 공유, 재사용된다. 이러한 파일은 공식 워크플로우 외부에서 생성되었기 때문에, 추적, 분류, 보호되지 않는 Shadow 데이터가 된다.

대부분의 경우, Shadow AI는 보안 팀이 침해가 발생했는지 모르는 경우이다. 이러한 실제 예는 귀하의 조직에서 발생할 수 있다.

• 주니어 소프트웨어 엔지니어가 자체 GPT 기반 디버거에 자체 코드를 붙여 넣는다.
• 영업 대표가 지난 분기의 고객 목록을 AI 이메일 작성기에 입력하여 업셀링 피치를 생성한다.
• 인사 관리자가 외부 AI 도구를 사용하여 직원満足도 설문 조사 응답을 분석한다.
• 재무 분석가가 ChatGPT에 민감한 수익 예측을 간단하게 하도록 요청한다.
• 변호사가 GenAI를 사용하여 고객 계약서의 기밀 조항을 사용하여 계약서를 다시 작성한다.

전통적인 보안 도구가 Shadow AI를 놓치는 이유

레거시 보안 스택은 GenAI 프롬프트 기반 위협에 대비되어 있지 않다. 예를 들어, 방화벽은 브라우저 기반 AI 도구를 차단할 수 없다. CASB는 채팅 창에 입력되는 내용을 볼 수 없다. 그리고 SIEM은 민감한 지적 재산을 요약하도록 LLM에 요청한 사용자에 대한 경고를 제공하지 않는다.

Shadow AI는 애플리케이션 계층에서 작동하며, 브라우저에서 살고 있다. 여기서 가시성이 가장 약하다. 직원들은 또한 개인 장치를 사용한다. 이를 막을 플러그인이 없고, 데이터가 누출되었다는 것을 추적할 수 있는 워터마크도 없다. 그리고 데이터가 경계를 넘을 때 경고도 없다. 그리고 DLP 경고가 나타나더라도, 이미 데이터가 노출된 이후이다.

Shadow AI 위험을 식별하고 완화하는 방법

조직은 무엇을 볼 수 없으면 제어할 수 없다. 그리고 GenAI의 경우, 대부분의 조직은盲目으로 운영되고 있다. 전통적인 도구는 프롬프트 기반 상호작용을 이해하거나 사용자가 “Enter”를 클릭한 후에 무슨 일이 일어나는지 추적하기 위해 설계되지 않았다.

그러나 새로운 AI 기반 보안 접근 방식은 이러한 도전을 해결할 수 있다. 이러한 접근 방식은 조직이 Shadow GenAI를 밝혀내고 완화하는 데 도움이 된다. 여기 몇 가지 보호 장치가 있다.

Shadow AI의 발견 – 이 도구는 사용자가 어떤 GenAI 애플리케이션을 사용하고 있는지 식별한다. 심지어 전통적인 제어를 우회하는 브라우저 기반 도구도 포함한다. 데이터 이동, 액세스 패턴, 컨텍스트를 분석하여 위반을 감지한다. 엔드포인트 에이전트나 침입적인 모니터링이 필요하지 않다.

민감한 데이터의 분류 – 최신 솔루션은 컨텍스트 인식 AI를 사용하여 데이터의 내용과 컨텍스트를 이해한다. 즉, 이러한 솔루션은 파워포인트 슬라이드에 포함된 수익 예측이나 이메일 초안에 포함된 고객 데이터와 같은 위험을 플래그할 수 있다. 이러한 데이터는 직원이 두 번 생각하지 않고 GenAI에 공급할 수 있다.

위험한 프롬프트 동작의 방지 – 민감한 데이터가 발견되고 위치가 식별되면, AI 데이터 보안은 그것이 노출되지 않도록 도와준다. 이러한 도구는 위험한 프롬프트 입력을 플래그, 편집 또는 차단한다.

Shadow 데이터의 정리 – GenAI 프롬프트는 종종 새 파일을 생성한다. 요약, 초안, 응답이 저장, 공유, 재사용된다. 고급 데이터 보안 플랫폼은 이러한 하위 아티팩트를 식별하고, 노출 위험을 감지하고, 데이터 손실이 헤드라인이 되기 전에 그것을 완화한다.

Shadow AI는 이론적인 위험이 아니다. 그것은 실제로 증가하고 있으며, 지금 귀하의 환경에서 발생하고 있다. GenAI 도구를 금지하는 것은 현실적이지 않지만,盲目으로 두는 것은 매우 위험하다. 조직은 GenAI 사용에 대한 가시성, 제어, 지능을 필요로 한다. 출력뿐만 아니라 입력에도 대해如此이다.

새로운 접근 방식이 있다. 이러한 접근 방식은 위험한 동작을 발견하고, 우발적인 노출을 방지하며, AI와 Shadow AI가 남긴 데이터 메스를 정리한다.

Shadow AI는 이론적인 위험이 아니다. 그것은 실제로 증가하고 있으며, 지금 귀하의 환경에서 발생하고 있다. GenAI 도구를 금지하는 것은 현실적이지 않지만,盲目으로 두는 것은 매우 위험하다. 조직은 GenAI 사용에 대한 가시성, 제어, 지능을 필요로 한다. 출력뿐만 아니라 입력에도 대해如此이다. 새로운 접근 방식이 있다. 이러한 접근 방식은 위험한 동작을 발견하고, 우발적인 노출을 방지하며, AI와 Shadow AI가 남긴 데이터 메스를 정리한다. tic, but turning a blind eye is extremely risky. Organizations need visibility, control, and intelligence around GenAI use — not just for what comes out, but for what goes in. New approaches are available that uncover risky behavior, prevent accidental exposure, and clean up the data mess AI and shadow AI leave behind.