Kieran Norton, Deloitte의 US Cyber AI & Automation 리더 – 인터뷰 시리즈

Kieran Norton는 Deloitte & Touche LLP의 파트너이며, Deloitte의 US Cyber AI & Automation 리더입니다. 25년 이상의 광범위한 경험과扎实한 기술 배경을 갖춘 Kieran는 새로운 위험에 대한 전략적이고 실용적인 통찰력을 제공하여 사이버 보안 및 기술 위험 관리 분야에서 뛰어난 능력을 발휘합니다.

Deloitte 내에서 Kieran는 미국 사이버 실践의 AI 변革 노력을领导합니다. 그는 AI 및 자동화 솔루션의 설계, 개발, 시장 배포를 감독하며, 고객이 사이버 능력을 강화하고 AI/Gen AI 기술을 채택하면서 관련 위험을 효과적으로 관리하도록 도와줍니다.

외부적으로 Kieran는 고객이 전통적인 보안 전략을 디지털 변환, 공급망 현대화, 시장 출시 시간 단축, 비용 절감 및 기타 중요한 비즈니스 목표를 지원하도록 도와줍니다.

AI 에이전트가 점점 더 자율적으로 되는 경우, 비즈니스에서는 아직 완전히 이해하지 못하는 새로운 유형의 사이버 보안 위협이 나타납니까?

새로운 AI 관련 기술을 사용하여 에이전트를 설계, 구축, 배포 및 관리하는 데 관련된 위험은 이해될 수 있지만, 운영화는 다릅니다.

에이전트의 자율성과 독립성 – 에이전트가 인간의 개입 없이 사용자, 데이터 및 다른 에이전트와의 관계와 상호작용을 인식, 결정, 실행 및 운영할 수 있는 능력 – 는 Visibility와 제어를 유지하는 데 도전을 제기할 수 있습니다. 에이전트가 기업 내에서 증가함에 따라 여러 플랫폼과 서비스를 연결하고 독립성과 결정 권한을 증가시키면 이는 더욱 어려워질 것입니다. 잘 보호되지 않은 또는 과도한 에이전트 자율성/독립성의 위협은 데이터 누출, 에이전트 조작(프롬프트 주입 등) 및 에이전트 간 공격 체인을 포함할 수 있습니다. 이러한 위협 중 일부는 현재 나타나지 않을 수 있지만, 기업은 AI 주도 능력을 채택하고 성숙시키는 데 어떻게 이러한 위협을 관리할지 고려해야 합니다.

AI ID 관리는 또 다른 위험입니다. AI 에이전트의 기계 ID를 식별, 설정 및 관리하는 것은 에이전트가 기업 전반에 배포 및 사용됨에 따라更加 복잡해질 것입니다. 에이전트 모델/모델 구성 요소가 반복적으로 생성 및 삭제되는 일시적 특성으로 인해 이러한 모델 ID를 유지하는 데 도전을 제기할 수 있습니다. 모델 ID는 보안 및 신뢰 관점에서 에이전트의 활동 및 행동을 모니터링하는 데 필요합니다. 이러한 모델 ID가 제대로 구현 및 모니터링되지 않으면 잠재적인 문제(성능, 보안 등)를 감지하는 것이 매우 어려울 것입니다.

AI 훈련 파이프라인에서 데이터 중독 공격에 대해 얼마나 우려해야 합니까? 그리고 예방 전략은 무엇입니까?

데이터 중독은 AI 모델을 모델 개발 수명주기에서 영향/조작하는 여러 방법 중 하나입니다. 중독은 일반적으로 악의적인 행위자가 훈련 세트에 유해한 데이터를 주입할 때 발생합니다. 그러나 명시적인 적대적 행위자 외에도 데이터 중독은 데이터 생성에서 오류 또는 체계적인 문제로 인해 발생할 수 있습니다. 조직이 더 많은 데이터를 원하고 더 많은 곳에서 사용할 수 있는 데이터를 찾을수록(예: 아웃소싱된 수동 주석, 구입 또는 생성된 합성 데이터 세트 등) 훈련 데이터를 중독시키는 가능성이 증가하며, 이는 항상 쉽게 진단되지 않을 수 있습니다.

훈련 파이프라인을 대상으로 하는 것은 적대자가 미묘한 영향과 명백한 영향 모두를 위해 사용하는 주요 공격 벡터입니다. AI 모델의 조작은 거짓 양성, 거짓 음성 및 기타 더 미묘한 은밀한 영향과 같은 결과를 초래할 수 있습니다.

예방 전략은 기술적, 절차적, 아키텍처적 솔루션을 포함합니다. 절차적 전략에는 데이터 검증/제어 및 신뢰 평가가 포함됩니다. 기술적 전략에는 연합 학습과 같은 AI 기술을 사용하여 보안 강화가 포함됩니다. 아키텍처 전략에는 제로 트러스트 파이프라인을 구현하고 이상 감지를 위한 강력한 모니터링/경고를 구현하는 것이 포함됩니다. 이러한 모델은 최신 도구를 사용하는 경우에도 데이터만큼 좋습니다. 따라서 데이터 중독은 준비가 되지 않은 경우 아킬레스건이 될 수 있습니다.

악의적인 행위자는 어떻게 AI 모델을 배포 후 조작할 수 있으며, 기업은 조작을 어떻게 조기에 탐지할 수 있습니까?

배포 후 AI 모델에 대한 액세스는 일반적으로 애플리케이션 프로그래밍 인터페이스(API), 애플리케이션을 통해 임베디드 시스템 및/또는 에지 디바이스에 대한 포트-프로토콜을 통해 수행됩니다. 조작을 조기에 탐지하려면 소프트웨어 개발 수명주기(SDLC) 초기에 작업을 수행하여 관련 모델 조작 기술과 우선순위가 지정된 위협 벡터를 이해하여 탐지 및 보호를 위한 방법을 구상해야 합니다. 일부 모델 조작에는 API 하이재킹, 런타임 메모리 공간 조작 및 모델 드리프트를 통해 느리게/점진적으로 중독하는 것이 포함됩니다. 이러한 조작 방법을 고려하면 일부 조기 탐지 전략에는 엔드포인트 텔레메트리/모니터링(엔드포인트 감지 및 응답 및 확장 감지 및 응답을 통해), 보안 추론 파이프라인(예: 기밀 컴퓨팅 및 제로 트러스트 원칙)을 구현하는 것이 포함될 수 있습니다.

프롬프트 주입은 배포 후 발생하는 모델 공격의 한 유형으로, 데이터를 의도하지 않은 방식으로 추출하거나, 정상 사용자에게意図하지 않은 시스템 프롬프트를 공개하거나, 조직을 부정적인 光에 노출시키는 모델 응답을 유도하는 데 사용될 수 있습니다. 프롬프트 주입 위험을 완화하는 데 도움이 되는 가드레일 도구가 시장에 있습니다. 그러나 사이버 보안과 마찬가지로, 이는 공격 기술과 방어 대책이 끊임없이 업데이트되는 무기 경쟁입니다.

전통적인 사이버 보안 프레임워크는 AI 시스템의 고유한 위험을 해결하는 데 어떻게 부족합니까?

우리는 일반적으로 ‘사이버 보안 프레임워크’를 지침 및 표준 – 예: NIST, ISO, MITRE 등과 관련시킵니다. 이러한 조직 중 일부는 AI 시스템을 보호하기 위한 업데이트된 지침을 발표했습니다.

AI는 이러한 프레임워크를 무효화하지 않습니다. 전통적인 사이버 보안의 모든 도메인을仍然 해결해야 합니다. 그러나 AI 작업負荷의 특이성을 해결하기 위해 프로세스 및 프로그램(예: SDLC)을 업데이트해야 할 수 있습니다. 이러한 위협에 대한 제어를 내장 및 자동화하는 것이 가장 효율적이고 효과적인 방향입니다.

전술적으로, 전통적인 침투 테스트 및 규칙 기반 감지에 대한 규모 문제를 해결하기 위해 자동화를 중점적으로 두고 있다는 점을 언급하는 것이 가치 있습니다.

제네릭 AI 또는 대규모 언어 모델을 배포하는 조직을 위한 사이버 보안 전략에 포함되어야 할 주요 요소는 무엇입니까?

제네릭 AI 또는 대규모 언어 모델을 배포하는 사이버 보안 전략을 개발할 때, 모든 조직에 맞는 접근 방식은 없습니다. 이는 조직의 전체 비즈니스 목표, IT 전략, 산업 초점, 규제足跡, 위험 감수성 등과 같은 다양한 요소에 따라 다를 수 있습니다. 또한 고려해야 할 AI 사용 사례도 다를 수 있습니다. 내부 전용 채팅봇은 예를 들어, 환자 건강 결과에 영향을 줄 수 있는 에이전트와는 매우 다른 위험 프로파일을 가질 수 있습니다.

그렇지만, 모든 조직이 해결해야 할 기본 요소가 있습니다.

• 준비 평가를 수행합니다. 이는 현재 능력의 기준을 설정하고, 우선순위가 지정된 AI 사용 사례를 고려하여 잠재적인 격차를 식별합니다. 조직은 기존 제어를 확장하여 제네릭 AI의 고유한 위험을 해결할 수 있는지 여부를 확인해야 하며, 새로운 기술을 구현하거나 현재 프로세스를 강화해야 할 수 있습니다.
• AI 거버넌스 프로세스를 설정합니다. 이는 조직 내에서 새로울 수 있거나, 현재의 위험 관리 프로그램을 수정할 수 있습니다. 이는 전사적인 AI 활성화 기능을 정의하고, 비즈니스, IT, 제품, 위험, 사이버 보안 등 다양한 이해관계자를 거버넌스 구조의 일부로 끌어들이는 것을 포함합니다. 또한, 적절한 정책(허용 가능한 사용 정책, 클라우드 보안 정책, 제3자 기술 위험 관리 등)을 정의하고, 조직 전체에서 AI 리터러시 및 보안/안전을 지원하기 위한 교육 및 개발 요구 사항을 설정하는 것이 포함됩니다.
• 신뢰할 수 있는 AI 아키텍처를 설정합니다. AI/제네릭 AI 플랫폼 및 실험 샌드박스의 설정과 함께, 기존 기술 및 새로운 솔루션(예: AI 방화벽/런타임 보안, 가드레일, 모델 수명주기 관리, 강화된 IAM 기능 등)을 개발 및 배포 환경에 통합해야 합니다.
• SDLC를 강화합니다. 조직은 AI 개발자와 AI 솔루션을 보호, 보안 및 신뢰를 구축하는 데 일하는 위험 관리 팀 사이에 긴밀한 통합을 구축해야 합니다. 이는 안전한 소프트웨어 개발 관행 및 제어 요구 사항의 통일/표준 세트를 설정하는 것을 포함하며, 이는 더 넓은 AI 개발 및 채택 팀과 협력하여 수행됩니다.

AI 방화벽의 개념을 간단하게 설명할 수 있습니까? 전통적인 네트워크 방화벽과 어떻게 다르나요?

AI 방화벽은 대규모 언어 모델을 포함한 AI 시스템의 입력 및 출력을 모니터링 및 제어하기 위한 보안 계층으로, 악의적인 사용, 민감한 데이터 보호 및 책임 있는 AI 행동을 방지하기 위한 것입니다. 전통적인 방화벽은 IP 주소, 포트 및 알려진 위협을 기준으로 트래픽을 필터링하여 네트워크를 보호하는 반면, AI 방화벽은 자연어 상호작용을 이해 및 관리하는 데 중점을 둡니다.它们는 유해한 콘텐츠, 데이터 누출, 프롬프트 주입 및 AI의 비윤리적인 사용과 같은 것을 차단하며, 정책, 컨텍스트 인식 필터 및 모델 특정 가드레일을 적용합니다. 본질적으로, 전통적인 방화벽은 네트워크를 보호하는 반면, AI 방화벽은 AI 모델 및 출력을 보호합니다.

AI 특정 방화벽 또는 가드레일의 사용을 규정하는 현재 산업 표준 또는 새로운 규약이 있습니까?

모델 통신 프로토콜(MCP)은 산업 전반에서 AI-GenAI 솔루션 다양성을 관리하기 위한 증가하는 구성 부담을 해결하기 위해 유용한 프레임워크로 등장하고 있습니다. MCP는 AI 모델이 정보(학습 포함)를 교환하는 방식을 규정하며, 이는 중앙집중식, 연합 또는 분산 사용 사례에서 특히 유용합니다. MCP는 AI 모델을 위한 전송 제어 프로토콜(TCP)/인터넷 프로토콜(IP) 스택으로 생각할 수 있습니다. MCP는 현재 다양한 도구, 연구 및 프로젝트를 통해 구현되는 개념적 프레임워크입니다.

이 분야는 빠르게 발전하고 있으며, 향후 몇 년 동안 상당히 변할 것으로 예상됩니다.

AI는 현재 위협 탐지 및 응답 분야를 5년 전과 비교하여 어떻게 변환하고 있습니까?

상업적인 보안 운영 센터(SOC) 플랫폼은 대규모 고품질 데이터 세트와 함께 고급 AI/ML 모델을 사용하여 위협을 탐지 및 분류하는 능력을 향상시키기 위해 다양한 수준으로 현대화되고 있습니다. 또한, 자동화, 워크플로 및 자동 복구 기능을 활용하여 탐지에서 완화까지의 시간을 줄이고 있습니다. 일부에서는 추가로 트라이어지 및 응답을 지원하기 위한 공조 기능을 도입했습니다.

또한, 에이전트는 SOC 내에서 선택적 역할을 수행하기 위해 개발되고 있습니다. 실제 예로, 우리는 자신의 관리 서비스 오퍼링에 배포하기 위한 ‘디지털 분석가’ 에이전트를 구축했습니다. 이 에이전트는 수신된 경보를 분류하고, 위협 인텔리전스 및 기타 소스에서 컨텍스트를 추가하며, 인간 분석가가 검토, 수정(필요한 경우) 및 조치를 취할 수 있도록 응답 단계를 추천합니다.

AI와 사이버 보안의 관계는 향후 3-5년 동안 어떻게 발전할 것으로 보입니까? AI는 위험일까요, 해결책일까요?

AI가 향후 3-5년 동안 발전함에 따라, 사이버 보안을 도울 수 있지만,同時로 위험도 도입할 수 있습니다. AI는 공격 표면을 확대하고 방어 관점에서 새로운 도전을 제기할 것입니다. 또한, 적대적 AI는 공격의 practicality, 속도 및 규모를 증가시켜 추가적인 도전을 제기할 것입니다. 반면에, 사이버 보안 비즈니스에서 AI를 활용하면 대부분의 도메인에서 사이버 작전의 효과성, 효율성, 민첩성 및 속도를 향상시키는 상당한 기회가 있습니다. 궁극적으로, ‘화재를 화재로 진화시키는’ 시나리오를 창조합니다.

훌륭한 인터뷰에 감사드립니다. 독자들은 또한 Deloitte를 방문하고 싶을 것입니다.