์ฌ์ ๋ฆฌ๋
GenAI์ ์ ์ํ ์ฑํ์ผ๋ก ์ธํ ์๋ก์ด ๋ณด์ ๋ ธ์ถ์ ๋ํ ์กฐ์ง์ ๋์
생성적 인공지능(GenAI)은 기업 기술의 중심 lực으로 부상했다. 텍스트, 코드, 이미지, 인사이트를 수요에 따라 생성하는 능력으로 인해 직원들이 복잡성을 극복하고 생산성을 높이려는 기업들에게 필수적인 도구가 되었다. 그러나 이러한 혁신과 효율성은巨大한 보안 위험을 동반한다.
산업을 대표하는 고위 임원들과 인공지능 治理 리더들과의 대화에서 반복되는 주제는 데이터 보안이다. 데이터 보안은 주요 관심사에서 전략의 초점으로 이동했으며 현재 인공지능 채택의 결정적인 도전이 되었다. 전통적인 소프트웨어나 이전의 기계 학습 波에 비해 GenAI는 기업 내에서 데이터를 보안하는 프로세스를 근본적으로 변경한다.
최근 MIT 연구에 따르면 95%의 기업용 GenAI 파일럿 프로젝트가 실패했다. 이는 기술이 약한 것이 아니라 기업이 GenAI를 적절하게 운영하고 책임 있게 사용하기 위한 治理와 보안 프레임워크가 부족하기 때문이다. 또 다른 MIT 연구에 따르면 기업 리더들은 데이터 보안을 가장 큰 비즈니스 및 보안 위험으로 꼽았다. 또한 “암흑 AI”는 공공 도구를 사용하는 직원의 비공식적인 사용으로 인해 기업의 통제를 벗어난 데이터 위험이 급증하는 주요 요인으로 인식된다.
최소 특권 접근은 보안 모델로, 모든 엔티티(사용자, 프로그램, 프로세스)는 자신의 합법적인 기능을 수행하는 데 필요한 최소한의 접근 및 권한만 부여된다. 그러나 GenAI는 이 패러다임을 전복한다. 최소 특권 자체가 제약이 되어 GenAI가 설계된 방식과 충돌한다. 이는 기업용 GenAI 도구가 더 많은 비즈니스 데이터와 비즈니스 컨텍스트에 접근할수록 더 높은 생산성 향상을 제공하기 때문이다.
GenAI 채택이 가속화됨에 따라 사용자는 새로운 GenAI 응용 프로그램을 발견하고 대부분이 상위에서 하위로 계획된 비즈니스 주도적인 계획보다는 유기적인 실험과 호기심에서 비롯된다. 엔티티가 GenAI를 사용할 작업이나 필요한 데이터 유형을 정의할 수 없다면 최소 특권 접근 권한을 설정하는 것이 불가능하다. 또한 사용자가 데이터셋에 대한 적절한 접근 권한을 가지고 있지만 GenAI 도구에 입력하면 더 이상 사용자의 원래 권한에 의해 제한되지 않는다. 대신 모델에吸収되어 향후 출력에서 표면화되거나 동일한 도구를 사용하는 다른 사용자에게 노출될 수 있다. GenAI가 데이터의 접근 제어를 상속하지 않기 때문에 효과적으로 최소 특권을 적용할 수 없다.
고려해야 할 GenAI 노출
GenAI는 기업 데이터 治理와 보안을 복잡하게 만드는 여러 가지 상호 연결된 방법으로巨大하고不断 확장하는 데이터 표면을 생성한다. 이러한 노출에는 다음이 포함된다.
입력 누출 – GenAI는 원시 형태의 데이터를 입력할 수 있다. 이는 텍스트, 이미지, 오디오, 비디오 및 구조화된 데이터를 포함한다. 최종 사용자는 GenAI 도구를 새로운 데이터셋으로 направ일 수 있으며 이는 최소한의 노력이나 전문 지식이 필요하다. 이를 통해 사용자는 주의 깊게 큐레이팅된 구조화된 테이블에만 국한되지 않고 판매 전화 녹음, CRM 이메일 노트, 고객 서비스 전사 등 다양한 데이터셋을 입력할 수 있다. 실제로 직원들은 고객의 개인 정보, 지적 재산, 재무 예측 및 даже 소스 코드와 같은 고감도 비즈니스 정보를 포함하는 프롬프트를 입력하고 있다.
출력 노출 – 생성 모델은 데이터를消費하는 것뿐만 아니라 합성한다. 프롬프트는 의도치 않게 데이터셋 전체에서 정보를 추출하여 적절한 승인 없이 사용자에게 노출할 수 있다. 어떤 경우에는 출력이 실제로 합법적으로 보이지만 실제로 고감도 훈련 자료의 조각을 포함하는 “환각” 데이터를 생성할 수 있다.
GenAI 도구는 작업에 대한 컨텍스트가 있을 때 더 잘 작동한다. 따라서 GenAI는 기존 정보를 입력받는 것뿐만 아니라 사용자가 비즈니스 컨텍스트, 내부 프로세스 및 기타 잠재적으로 민감하거나 비즈니스에 중요한 정보를 문서화하는 자세한 프롬프트를 생성하여 새로운 데이터를 생성한다.
감시 없이의 접근 – 전통적인 기업 시스템은 벤더 온보딩과 IT 프로비저닝을 필요로 했다. 그러나 현재 GenAI는 모든 곳에 내장되어 있다. Microsoft Office 스위트, 브라우저, 채팅 도구 및 SaaS 플랫폼에 내장되어 있다. 직원들은 즉시 채택할 수 있으며 治理를 완전히 무시한다. 이는 “암흑 AI”를 부추기며 모든 비공식적인 GenAI 사용은 기업의 治理 범위를 벗어난 잠재적인 데이터 유출 이벤트가 된다.
2차 공급망 위험 – 벤더는 안전해 보일 수 있지만 클라우드 호스트, 주석 서비스 또는 제3자 AI 연구소와 같은 하도급 업체에 의존한다. 각 하도급 업체는 자신의 최종 사용자 라이선스 계약(EULA) 및 정책을 도입한다. 민감한 기업 데이터는 여러 개의 보이지 않는 손으로 흐를 수 있으며 책임은 여전히 기업에 있다. 예를 들어, 기업은 이전에 온보딩 프로세스를 완료한 벤더와 계약을 맺을 수 있지만 해당 벤더는 현재 기업의 데이터를 훈련 데이터로 사용할 수 있는 GenAI 도구를 사용할 수 있다. 이는 하위 수준에서重大한 영향을 미칠 수 있다.
훈련 데이터의 治理 격차 – 데이터가 AI 모델에 입력되면 효과적으로 제어가 끝난다. 기업은 자신의 정보가 어떻게 사용되는지 쉽게 취소하거나 治理할 수 없다. 독점 지식은 지속될 수 있으며 출력에서 오랜 시간 후에 다시 나타날 수 있다. 우리는 아직 GenAI 도구에서 입력된 정보를 삭제하도록 요청할 수 있는 기능을 제공하는 도구를 발견하지 못했다. 이는 GDPR 또는 CCPA와 같은 개인 정보 보호 규정에서 볼 수 있는 바와 같다. 이러한 프로세스의 구현은 규제가 변경을 주도할 때까지 불가능하다.
응용 프로그램 코드 위험 – AI는 점점 더 비즈니스 시스템을 지원하는 코드를 작성하고 있다. Microsoft Copilot와 같은 GenAI 도구를 사용하여 코드를 생성하는 개발자는 의도치 않게 보안 취약점, 라이선스 충돌 또는 불안정한 종속성을 도입할 수 있다. 이러한 약점은 소프트웨어 공급망에 내장되어 있다.
GenAI 위험 해결
GenAI는 이미 기업 워크플로에 내장되어 있다. 따라서 기업들에게는 GenAI를 채택할 것인지 여부가 아니라 어떻게 책임 있게 채택할 것인지가 문제이다. 治理 없이 GenAI를 채택하면 비용이 많이 드는 보안 위반, 규제적 처벌 및 평판 손상이 발생할 수 있다. 그러나 이를 차단하면 직원들이 비공식적인 솔루션을 사용하도록 유도한다. 앞으로 나아갈 수 있는 유일한 방법은 가시성과 제어를 포함한 활성화이다.
GenAI 治理에는 기업이 가지고 있는 데이터, 데이터가 어디에 위치하는지,誰が 접근할 수 있는지에 대한 컨텍스트 주도적인 가시성이 필요하다. 또한 GenAI가 어떻게 사용되는지에 대한 가시성이 필요하다. 기업은 어떤 도구가 접근되고 있는지, 어떤 프롬프트가 입력되고 있는지, 민감한 데이터가 환경을 벗어나고 있는지에 대한 가시성이 필요하다. 이를 통해 기업은 적절한 제어를 적용하여 프롬프트와 출력을 실시간으로 모니터링하고, 위험한 세션 또는 비정상적인 데이터 흐름을 표시하고, 비공식적인 도구를 차단하고, 민감한 프롬프트를 필터링하고, 프롬프트에 입력된 민감한 데이터를匿名化하고, AI 기반 인사이트에 대한 역할 기반 제한을 적용할 수 있다.
GenAI는 기업의 새로운 위험 및 기회를 제공하는 계층이다. 이를 관리하려면 보안이 혁신의 제동이 아니라 안전하게 만드는 기반이라는 마음가짐이 필요하다.
