C-스위트에서 권한 재정의: AI와 관계를 구축하는 데 실제로 필요한 것

저는 보안 운영의 구매자 입장에서 25년을 일해왔으며, 방화벽 규칙 때문에 한 번도 잠을 못 잔 적이 없습니다. 하지만 AI 때문에 잠을 잃은 적은 있습니다. 전통적인 자동화는 복잡하든 간에 추적 가능한 논리를 따릅니다. 그러나 전례 없는 규모의 에이전트 AI에서는 엔지니어가 완전히 설명할 수 없는 판단을 시스템에 맡기고 있습니다 – 이러한 투명성 결여가 바로 많은 CISO들이 곤란에 처한 이유입니다.

97%의 보안 리더가 AI가 트리아지를 처리할 수 있다고 확신하지만, 실제로 이를 활용하고 있는 비율은 35%에 불과합니다. 이 전환점은 신뢰 문제이며, 신뢰는 언제나 그렇듯 구조, 증거, 그리고 시간을 통해서만 해결될 수 있습니다.

자동화를 볼 수는 있지만, AI를 신뢰할 수 있을까요?

전통적인 자동화에서는 실무자가 일어나기 전에 정확히 어떤 일이 일어날지 알 수 있습니다. 이러한 투명성 덕분에 SOC 팀은 내부 논쟁 없이 자동화된 워크플로우에 대한 신뢰를 수십 년간 구축해 왔지만, 에이전트 AI는 학습된 판단 레이어를 도입함으로써 기존 틀을 깨고 있습니다 – 시스템이 상황을 고려하고 예측적 결정을 내리며, 그 과정이 항상 완전히 이해되지는 않아, 이를 만든 사람조차도 완전히 파악하지 못합니다.

조직의 21%만이 에이전트 AI에 대한 성숙한 거버넌스 모델을 갖고 있다고 말하며, 2027년까지 최소 “보통 수준”으로 AI 에이전트를 사용할 것으로 기대하는 비율은 74%에 달합니다. 보안 실무자가 이러한 “black box AI”를 투명하게 설명하지 못할 때, 이는 AI 도구를 관리하는 것이 얼마나 어려운지를 보여줍니다. 이는 도구가 제대로 보안되지 않아서가 아니라, AI 도구의 내부 작동이 흐름도보다는 판단에 기반하기 때문입니다.

이사회 회의실에서 리더들은 AI를 자동화와 동일한 방식으로 평가하며 “논리를 볼 수 있나요?”라고 묻지만, “논리가 진화하는 의사결정자를 어떻게 신뢰하게 만들 수 있나요?”라는 질문은 거의 하지 않습니다. 대부분의 CISO는 이미 답을 알고 있을 가능성이 높지만, 이를 실제로 적용하는 것이 과제입니다.

AI를 고위험 채용처럼 대하기

새로운 시니어 분석가를 온보딩하는 것을 생각해 보세요. CISO는 이 분석가에게 첫날부터 프로덕션 키를 넘겨주지 않을 것입니다. 그들은 낮은 위험 업무부터 시작하게 하고, 모호함을 어떻게 다루는지 관찰한 뒤 권한을 점진적으로 확대합니다. AI도 마찬가지로 증거 기반의 신뢰를 바탕으로 시간이 지나면서 온보딩되어야 합니다.

우리는 이미 자율적인 Meta AI 에이전트가 인간 승인 없이 행동을 취해 전사적인 보안 사고를 일으킨 사례를 목격했습니다. 이 사고로 약 두 시간 동안 민감한 기업 및 사용자 데이터가 무단 직원에게 노출되었습니다. 근본 원인은 의사결정 지점에서 인간의 개입이 없었던 것이었습니다. 이는 엄격한 가드레일이 방지하도록 설계된 정확한 실패 모드이며, 범위 관리가 모델의 정교함보다 더 중요함을 상기시켜 줍니다.

AI도 동일한 주의가 필요하며, 이를 증거 기반의 단계적 접근으로 생각할 수 있습니다:

• 배포 전에 의사결정 논리를 이해하십시오. 모델의 모든 가중치를 볼 필요는 없지만, 어떤 데이터로 추론하고 어떤 결과를 최적화하며, 어디에 블라인드 스팟이 있을지 알아야 합니다.
• 첫날부터 엄격한 가드레일을 설정하십시오. 시스템이 독립적으로 행동할 수 있는 범위와 인간의 개입이 필요한 범위를 명확히 정의하십시오. 좁은 범위가 신뢰의 기반이 됩니다.
• 증거가 축적될 때만 경계를 확대하십시오. 올바른 결정 하나가 데이터 포인트가 되고, 실수 하나도 데이터 포인트가 됩니다. 확대는 트랙 레코드에 비례해야 하며, 공급업체의 열광이나 예산 주기에 따라서는 안 됩니다.

이러한 프로토콜을 따르면 CISO가 갖는 두려움을 방지할 수 있으며, 실제로 검증되지 않은 자동화 시스템이 신뢰받을 자격이 있다고 판단되는 시점을 넘어 운영되는 일을 막을 수 있습니다.

세 계층 모델: AI가 자리 잡는 곳

SANS’ Secure AI Blueprint는 접근, 데이터, 배포, 추론, 모니터링, 모델 보안을 포함한 여섯 가지 제어 카테고리를 아우르는 세 가지 트랙을 중심으로 한 거버넌스 구조를 제시합니다. 이는 좋은 출발점이며, 한 걸음 더 나아가 SOC를 세 계층으로 나누어 AI 신뢰 문제를 해결하는 것이 도움이 됩니다.

1. 결과. 비즈니스 위험이 존재하는 레이어입니다. 조직이 허용 가능한 결과를 무엇이라고 정의합니까? false negative와 false positive에 대한 허용 수준은 어떻게 됩니까? 이것은 인간이 최종 판단을 내리는 단계이며, 모델이 위험을 감수할지 여부에 투표할 수 없습니다.
2. 판단. 우선순위를 설정하고 모호함 속에서 트레이드오프를 결정하는 레이어입니다. 이 알림을 지금 바로 에스컬레이션해야 할까요, 아니면 더 많은 컨텍스트를 기다려야 할까요? 이 이상 현상이 누군가의 밤을 방해할 정도로 중요한가요? 판단은 AI에 의해 보강될 수 있으며, 점점 더 그렇게 되어야 하지만 최종 권한은 인간에게 있습니다. 많은 조직이 이 레이어를 너무 일찍 AI에 넘기려 하는데, 바로 그때 큰 위험에 빠집니다.
3. 실행. AI가 무거운 작업을 수행해야 하는 레이어이며, 인간 팀이 따라올 수 없는 속도로 작동합니다. 알림을 풍부하게 만들고, 수십 개 도구의 신호를 연관시키며, 격리 조치를 초안하고, 인간 또는 신뢰받는 판단 레이어가 경로를 승인하면 플레이북을 실행합니다. 기계 속도, 트리거되면 결정적이며, 이에 대한 자부심은 없습니다.

도구 관리가 아니라 파트너십 성숙시키기

SOC 내에서 AI와의 관계를 도구 관리가 아닌 파트너십으로 구축하면, CISO는 AI를 성장하는 팀원으로 생각하기 시작하고, 이는 CISO가 시간을 사용하는 방식에 근본적인 변화를 가져옵니다.

이러한 관계를 균형 있게 유지할 수 있는 SOC가 가장 체계적인 신뢰 구축 프로세스를 가지고 있습니다. 그 체계 덕분에 실행 레이어에서 기계 속도로 보안 운영을 확장하면서도, 결과 수준의 의사결정에 여전히 필요한 인간 판단을 잃지 않을 수 있습니다.

우리는 AI가 이사회에 인상을 주기 위한 반짝이는 새 도구로 여겨지던 시기를 이미 지나왔습니다. AI의 역량과 잠재력은 SOC 내 모든 사람이 고급 기술을 다루듯, 검증된 의사결정 하나하나에 기반해 권한을 부여받을 자격을 얻었습니다.