기업은 어떻게 AI 애플리케이션 과부화에 대처해야 하는가?

개인 컴퓨팅이 아닌 컴퓨팅

수년간 기술 개발은 컴퓨팅을 더 쉽게 만드는 데 주도되었다. 스마트폰, 태블릿, 랩톱, 웨어러블 기술 등 컴퓨터와 그 기능을 개인적으로 사용할 수 있도록 하는 일반적인 추세가 있다. 산업의 기둥인 “개인 컴퓨터”나 “i” 포드, 패드, 폰 등 각 기기는 개인의 디지털 경험을 개선하고, 그들의 삶을 개선하는 개인용 동료로 작동하도록 설계되었다.

인공 지능(AI)의 개발, 특히 대규모 언어 모델(LLM)과 에이전트 솔루션은 같은 방향으로 진행되고 있다. PC와 아이폰처럼 AI 도구인 ChatGPT는 검색, 편집, 브레인스토밍 등의 컴퓨팅 활동을 일반 대중에게 더 쉽게 만들었다. 그러나 이러한 접근성이 증가하면서 위험도도 증가했다.

독성 커넥터나 의도하지 않은 검색 엔진 색인을 통해 개인 AI 사용의 위협은 점점 더 보호하기 어렵게 되었다. AI 도구와 그 사용에 대한 불확실성을 고려하면 기업은 점점 더 큰 위협과 불충분한 보호에 직면하게 된다. AI 도구의 약속과 그 보안 방법의 불확실성을 고려하면, 기술을 앞서가는 기업은 무엇을 해야 하는가?

비공식 AI 앱의 성장

2025년 700만 명의 일일 사용자를 보유한 ChatGPT의 사용자는 1년 만에 4배 이상 증가했다. 그러나 이 중 500만 명의 사용자는 유료 비즈니스 고객이다. 이는 다른 695만 명의 사용자가 개인 또는 비공식 비즈니스 사용자라는 것을 의미한다. 이 숫자는 크게 보일 수 있지만, ChatGPT는 시장에서 유일한 AI 솔루션이 아님을 기억해야 한다. 실제로, 최근의 AI와 기계 학습의 폭발적인 발전으로 수백 개의 새로운 모델과 솔루션이 생성되었다.

기업을 위한 AI 솔루션의 성장은 사이버 위협의 새로운 차원을 만들어냈다. 이 개념은 “Shadow AI”로, 직원이 사전 검토나 승인 없이 AI 솔루션을 사용하는 것을 말한다. 이로 인해 직원이 잠재적으로 위험하거나 보안이 취약한 솔루션을 사용하여 중요한 작업을 수행할 수 있다.

Shadow AI의 사용은 普遍적이고 확장되고 있다. 한 보고서에 따르면, 평균적으로 320개의 비공식 AI 앱이 기업에서 사용되고 있다. 이러한 비공식 앱 각각과 그 사용은 위협을 더욱 확대한다.

AI 과부화의 내재된 위험

AI 과부화와 관련된 위협은 다면적이고,不断하게 확장되고 있다. 데이터 중독, 프롬프트 주입, 모델 조작, 데이터 스크래핑 등은 잘 알려진 위협이다. 이러한 직접적인 AI 조작과 악용은 악의적인 행위자에게 기업의 민감한 데이터와 내부 시스템에 대한 접근을 허용할 수 있다. 이러한 위험으로 인해 기업은 이러한 공격에 대비하기 시작했다.

그러나 기업은 오직 알고 있는 위협에 대해서만 보호할 수 있다. 중세 성을 보호하는 것을 생각해 보자. 벽, 감시탑, 문, 해자 등이 성을 외부의 적과 침입자로부터 보호한다. 그러나 부엌 직원이 성의 외벽을 우회하는 비밀 통로를 가지고 있다면? 또는 큰 입을 가진 경비원이 현지 탑에서 교대 시간을 논의한다면? 이러한 알려지지 않은 위협은 도둑이 보안을 우회하고 내부 벽을 침범하는 데 도움이 될 수 있다.

Shadow AI는 기업의 데이터 보안에 같은 영향을 미친다. 비공식 LLM과 공동 조작자의 사용은 민감한 데이터 보호에 대한 재앙을 의미할 수 있다. 이러한 불안정한 솔루션은 악의적인 행위자에게 게이트웨이로 작용할 수 있다. LLM의 사용은 데이터 보관, 프롬프트 주입, 모델 편향 등의 문제를 높이는 위험을 내재적으로 가지고 있다. 이는 데이터 침해, 규정 위반, 운영 실패의 위험을 높인다. 이러한 위험은 일반적으로 이미 손상을 입힌 후에만 식별된다.

AI 솔루션에 대한 통제 설정

AI 사용이 개인과 기업 수준에서 모두 증가함에 따라, 조직은 채택이 통제를 벗어나는 전에 이러한 솔루션에 대한 통제를 설정하는 것이 중요하다. 기업의 AI를 보안하고 비공식 AI 위험에 대비하는 것은 다음을 포함한다:

1. 전체적인 가시성을 얻는 것. 언급한 대로, 알지 못하는 위협에 대해서는 데이터를 보호할 수 없다. 보안은 직원이 사용하는 모든 AI 솔루션에 대한 통제를 시작한다. 이는 쉽게 말할 수 있지만, 클라우드 액세스 보안 브로커(CASB) 솔루션을 사용하여 직원 애플리케이션 사용에 대한 지속적인 가시성을 설정하는 데 도움이 될 수 있다.
2. 철저한 위험 평가를 수행하는 것. 팀은 모든 AI 솔루션의 보안과 잠재적인 위험을 평가하기 위한 TPRM 노력을 수행해야 한다. 이러한 노력은 4차_party 수준까지 확장되어야 한다. 즉, CRM이나 생산성 플랫폼과 같은 공인된 애플리케이션은 외부 LLM 기능을 플랫폼에 통합하기 시작했다. 이러한 4차_party 솔루션은 내부적으로 승인된 애플리케이션과 동일한 보안 표준을 따라야 한다.
3. 거버넌스 프레임워크를 설정하는 것. 이러한 통제와 이해를 통해, 조직은 일관된 AI 거버넌스 정책 프레임워크를 개발하고 애플리케이션 생태계 전반에 배포할 수 있다. 데이터 액세스와 마찬가지로, 이러한 거버넌스 정책은 직원이 액세스할 수 있는 AI 솔루션의 종류, 공유할 수 있는 정보, 그리고 일일 사용의 투명성을 제어하는 데 도움이 될 수 있다.
4. 위험 감지를 자동화하는 것. AI 채택의 폭발적인 성장은 수동 위험 감지와 응답을 거의 불가능하게 만든다. 거버넌스 정책과 예상 사용자 행동에 따라 이러한 프로세스를 자동화하면異常을 프로액티브하게 식별하고 더广い 보안 영향을 제한하는 데 도움이 될 수 있다.
5. 직원 기대치를 설명하는 것. 안전한 AI 채택과 사용의 가장 중요한 부분은 직원이다. 적절한 훈련을 제공하고 명확한 기대치를 설정하면, 동시에 위험한 AI 사용을 방지하고 공인된 솔루션의 안전한 사용을 강제할 수 있다.

안전한 AI 채택을 지속하는 것

이러한 종류의 프로액티브 보안 조치를 설정함으로써, 비즈니스들은 공인된 또는 “암흑” AI 솔루션을 사용하는 방법에 대한 더 전체적인 시각을 얻을 수 있다. 이것은 즉시적인 보안 영향을 미치며, 팀이 기존의 위험과 위협을 식별하고 조치를 취하는 데 도움이 된다.

그러나 더 중요한 것은, 이것이 비즈니스들을 장기적인 AI 성공을 위한 준비를 하는 데 도움이 된다. 기술적인 지원과 충분한 훈련을 통해, 직원들은 AI의 이점을 누릴 수 있을 뿐만 아니라 그 내재된 위험에 대한 부담도 줄일 수 있다.

이러한 변경을 조기에 수행하는 기업은 미래의 AI 솔루션, 그 무엇이든 대비할 준비가 될 것이다. 단순히 AI 채택의 체크박스를 체크하는 대신, 강한 기초를 만들기 위한 초기 작업을 하는 것이 팀을 지속 가능한 AI驱動 성공을 위한 최상의 위치에 둘 것이다.