AI 리스크의 무시된 부분: 기업 워크플로우에서 비밀 노출

대부분의 기업 AI 리스크에 대한 논의는 익숙한 우려에서 시작합니다: 고객 데이터를 채팅봇에 붙여 넣는 직원. 개인 정보와 규제 노출은 헤드라인과 이사회 브리핑을 지배하며, 델로이트의 연구에 따르면 데이터 개인 정보 보호와 보안은 기업이 우려하는 최상위 AI 리스크 중 하나입니다.

그러나 기업에서 실제로 사용되는 AI 데이터에서 나타나는 데이터는 다른 이야기를 बत습니다. AI 도구에 입력되는 가장 일반적인 민감한 정보는 개인 데이터가 아닙니다. 그것은 비밀과 자격증입니다.

API 키, 액세스 토큰, 웹훅 및 인증 아티팩트는 현재 AI 프롬프트에서 관찰되는 민감한 데이터 노출의 가장 큰 부분을 차지합니다. 이러한 노출은 일반적으로 부주의나 악의적인 의도에서 비롯되지 않으며, 실패한 통합을 디버깅하거나 자동화를 해결하거나 코드를 테스트하거나 고객 문제를 해결하는 것과 같은 일상적인 작업에서 발생합니다. AI가 일상적인 워크플로우에 통합됨에 따라 이러한 순간은 끊임없이 발생하며, 전통적인 보안 제어의 가시성 밖에서 발생하는 경우가 많습니다.

결과는 명확합니다. AI를 채택함에 따라, 조직은 실제 리스크가 어디에서 발생하는지에 대한 더 정확한 그림을 얻고 있으며, 거버넌스는 이를 해결하기 위해 발전해야 합니다.

무시된 AI 데이터 노출 리스크는 바로 눈 앞에 있습니다

最近의 AI 사용 분석은 Nudge Security에서 수행되었으며, 기업 환경에서匿名화된 telemetry를 분석하여 실제로 워크플로우에서 AI 도구가 어떻게 사용되는지 이해하기 위해 수행되었습니다. 설문조사나 자체 보고에 의존하지 않고, AI 활동, 통합 및 프롬프트 동작을 분석했습니다.

분석 결과는 기업에서 실제로 발생하는 AI 리스크에 대한 새로운 통찰력을 제공합니다. AI 프롬프트에서 민감한 데이터 노출은 운영 자격증에 의해 지배됩니다. 비밀과 자격증은 약 48%의 감지된 민감한 데이터 이벤트를 차지하며, 금융 데이터는 36%, 건강 관련 정보는 16%입니다. 이러한 패턴은 가장 중요한 AI 데이터 노출 문제가 개인 정보 누출이 아니라 비밀 확산임을 시사합니다.

同じ 연구에 따르면 AI 채택은 실험을 넘어섰습니다. AI 도구는 워크플로우에 통합되어 있으며, 핵심 비즈니스 플랫폼과 통합되어 있으며, 점점 더 자율적인 행동을 할 수 있습니다. 핵심 언어 모델 제공업체는 거의 모든 조직에서 普及되어 있으며, OpenAI는 96%, Anthropic은 78%의 조직에서 사용되고 있습니다.

McKinsey의 연구에 따르면 88%의 조직은 최소한 하나의 비즈니스 기능에서 정기적으로 AI를 사용하고 있으며, 이는 지난해 78%에서 증가한 것입니다. 미팅 인텔리전스 도구, AI 지원 코딩 플랫폼, 프레젠테이션 생성기 및 음성 기술은 널리 배포되어 있으며, AI가 채팅 인터페이스를 넘어 일상적인 워크플로우로 확장하고 있음을 보여줍니다. 이 확장은 중요합니다. AI가 개발자 환경, 협업 플랫폼 및 고객 지원 워크플로우에 통합됨에 따라, 민감한 시스템과 운영 데이터에 접근할 수 있습니다.

채택은 또한 아래에서부터 발생했습니다. 최근 KPMG 연구에 따르면 44%의 직원이 승인되지 않은 방식으로 AI 도구를 사용하고 있으며, 이러한 도구가 일상적인 워크플로우에 얼마나 빠르게 들어오는지를 보여줍니다. 직원들은 브라우저 확장 프로그램을 설치하고, 어시스턴트를 연결하고, 통합을 실험하여 일상적인 작업을 가속화하며, 중앙 집중식 조달 프로세스의 밖에서 작동하는 경우가 많습니다. 보안 분석가는 이러한 패턴을 _shadow AI라고 부르며, 브라우저와 SaaS 워크플로우 내에서 전통적인 IT 가시성의 밖에서 작동하는 도구를 말합니다. 이러한 도구는 즉시 배포될 수 있으며 기술적인 설정이 거의 필요하지 않기 때문에, 벤더 승인 프로세스와 사용 승인 정책을 중심으로 구축된 거버넌스 프로그램은 실제로 AI가 도입되고 사용되는 방식에 따라 발전하기 위해 노력합니다.

누출된 비밀은 즉각적인 운영 리스크를 생성할 수 있습니다

개인 데이터는 여전히 민감하고 규제되지만, 비밀은 즉각적인 운영 영향을 미칩니다. 누출된 API 키는 생산 시스템에 대한 액세스를 제공할 수 있습니다. 손상된 토큰은 저장소에 대한 노출을 유발할 수 있습니다. 웹훅 URL은 권한 없는 자동화를 가능하게 할 수 있습니다. 자격증은 일상적인 워크플로우에서 AI 프롬프트에 나타날 수 있습니다. 개발자는 인증 실패를 디버깅하는 동안 토큰을 채팅 인터페이스에 붙여 넣을 수 있으며, 엔지니어는 통합 문제를 진단하기 위해 구성 스니펫을 공유할 수 있습니다. 이러한 행동은 비정상적이지 않습니다. 비밀은 기술 워크플로우에 내장되어 있으며, 로그, 스크립트, 구성 파일 및 자동화 출력에 나타날 수 있습니다. 팀이 문제를 신속하게 해결하도록 압력을 받을 때, 민감한 데이터를 포함하고 있는지 고려하지 않고 이러한 아티팩트를 공유할 수 있습니다.

AI 인터페이스는 이러한 행동을 증폭합니다. 프롬프트는 컨텍스트 공유를 장려합니다. 파일 업로드는 더 풍부한 문제 해결을 지원합니다. 통합 워크플로우는 시스템 간에 데이터를 이동하기 쉽게 만듭니다. Nudge Security의 연구에 따르면 17%의 프롬프트에는 복사 및 붙여 넣기 활동 또는 파일 업로드가 포함됩니다. 이러한 환경에서 민감한 자격증은 몇 초 내에 노출될 수 있습니다.

전통적인 거버넌스는 행동 리스크를 놓치고 있습니다

AI 거버넌스 프로그램은 종종 정책 및 승인된 도구와 같은 공식적인 제어에 초점을 맞추고 있습니다. 이러한 접근 방식은 리스크가 오남용 또는 모델 행동에서 비롯된다고 가정합니다. 실제로 가장 중요한 노출은 일상적인 워크플로우에서 발생하며, 잘 의도된 직원에 의해 수행됩니다.

AI 랜드스케이프는 빠르게 발전하고 있으며, 새로운 기술이 매일 발표되고 있습니다. 직원이 최신 도구를 사용할 때, 전통적인 네트워크 제어 접근 방식을 우회할 수 있습니다. 브라우저는 상황별 행동을 직접 관찰할 수 있으며, 현대적인 작업의不断으로 발전하는 풍경에 따라 필요한 유연성을 제공합니다.

이 불일치는 조직이 강력한 정책을 구현했음에도 불구하고 여전히 민감한 데이터 노출을 경험하는 이유를 설명합니다. 정책은 기대를 설정합니다. 행동은 결과를 결정합니다. 효과적인 거버넌스는 실제로 AI 도구가 사용되는 방식을 이해하고, 데이터가 공유될 때 더 안전한 결정에 대한 가이드를 제공하는 것이 필요합니다.

통합 및 에이전트는 노출 범위를 확장합니다

AI 도구의 리스크 프로파일은 액세스할 수 있는 항목에 의해 결정됩니다. 통합은 시스템 간에 신뢰할 수 있는 경로를 생성합니다. OAuth 승인, API 토큰 및 서비스 계정은 AI 도구가 문서를 검색하거나 티켓을 업데이트하거나 코드 저장소를 상호 작용하도록 허용합니다. 기업 AI 채택에 대한 연구에 따르면 통합은 효과적으로 노출 범위를 정의합니다. 잘못 구성된 권한 또는 손상된 토큰은 전체 문서 저장소 또는 개발 환경을 노출할 수 있습니다. 이러한 신뢰할 수 있는 연결은 데이터를 이동하기 위한 기계 속도를 가능하게 합니다.

에이전트 기반의 AI는 추가적인 복잡성을 도입합니다. 초기 배포는 종종 기능을 최소한의 특권보다 우선시합니다. 실험 중에 부여된 권한은 초기 사용 사례가 발전한 후에도 지속될 수 있습니다. 시간이 지남에 따라, 이러한 누적된 권한은 조용한 리스크를 생성합니다. 보안 팀은 통합 및 에이전트 권한을 임시 편의 사항이 아닌 지속적인 접근 결정으로 처리해야 합니다.

보안 팀이 지금 해야 할 일

AI 워크플로우에서 비밀 노출을 줄이려면 반응형 제어에서 실제로 일이 어떻게 진행되는지 반영하는 거버넌스로 전환해야 합니다. 보안 리더는 다음과 같은 실제 단계에서 시작할 수 있습니다.

• AI 상호 작용이 발생하는 위치를 매핑합니다.
  데이터가 AI 도구에 입력되는 환경을 식별합니다. 브라우저 확장 프로그램, 개발 환경, 자동화 플랫폼 및 채팅 인터페이스를 포함합니다. 이러한 접촉점에 대한 지속적인 가시성은 효과적인 거버넌스의 기초를 제공합니다.
• 결정할 때 개입합니다.
  비밀 스캔, 편집 프롬프트 및 직원이 자격증이나 민감한 아티팩트를 공유하기 직전에 경고하는 경고를 구현합니다. 이러한 지침은 작업 속도를 유지하면서 우발적인 노출을 줄입니다.
• 통합 거버넌스를 OAuth 앱과 동일한 엄격성으로 적용합니다.
  이메일, 문서, 티켓 시스템 및 저장소에 연결된 AI 도구를 검토합니다. 최소한의 권한 범위를 적용하고 주기적인 권한 검토를 수행하여 장기적인 노출 리스크를 줄입니다.
• 트러블슈팅 및 지원을 위한 더 안전한 워크플로우를 생성합니다.
  팀이 라이브 자격증을 노출하지 않고 AI를 사용하여 문제를 해결할 수 있도록 적합한 템플릿, 보안 커넥터 및 내부 도구를 제공합니다.
• 에이전트 기반 자동화를 위한 가드레일을 설정합니다.
  고影响 동작에 대한 인간 승인을 요구하고, 에이전트 활동을 중앙에서 기록하며, 범위 지정된 액세스 토큰을 사용하여 권한 확장 및 의도하지 않은 자동화를 방지합니다.
• 교육을 실제 워크플로우에 기초합니다.
  교육은 실제 작업과 관련이 있을 때 가장 효과적입니다. 통합 디버깅, 로그 검토 또는 파일 업로드와 같은 실제 예제를 사용하여 직원이 리스크를 인식하도록 도와줍니다.

이러한 조치는 거버넌스를 일상적인 작업과 일치시키며, 조직이 비밀 노출을 줄이면서 AI 채택의 생산성 향상을 지원할 수 있도록 합니다.

AI 정책에서 AI 행동 거버넌스로

AI는 생산성 도구에서 운영 계층으로 발전하고 있으며, 일상적인 작업에 깊숙이 통합되어 있습니다. 연구에 따르면 AI 에이전트는 기업 워크플로우에 깊숙이 통합되어 있으며, 예측에 따르면 많은 기업 응용 프로그램에 작업별 에이전트가 포함될 것입니다. 채택이 깊어짐에 따라, 지배적인 리스크는 개인 정보 침해 또는 모델 오남용을 넘어섭니다. 그것은 실제 워크플로우에서 사람들이 권한과 플랫폼이 어떻게 상호 작용하는지에서 비롯됩니다.

AI 프롬프트에서 비밀 노출은 이 더广泛한 변환의 가시적인 신호입니다. 그것은 周辺 기반 제어와 정책 전용 거버넌스의 한계를 강조하며, 결정이 내려질 때 가드레일이 필요한 것을 강조합니다. 조직이 적응하면 반응형 제어에서 실제 행동에 기반한 거버넌스 모델로 전환할 것입니다.它们는 통합 및 권한을 지속적인 접근 관계로 처리할 것입니다.它们는 정책 시행에만 의존하지 않고, 행동할 때 직원을 지導할 것입니다.

AI는 현대적인 작업에서 도구에서 협력자로 발전하고 있습니다. 이러한 협력을 보안하기 위해서는 거버넌스가 발전해야 합니다. 중요 데이터를 보호하고, 더 안전한 결정에 대한 가이드를 제공하며, AI가 가능하게 하는 속도와 효율성을 유지하는 거버넌스가 필요합니다.