Simon Edwards, SE Labs CEO 겸 설립자 – 인터뷰 시리즈

Simon Edwards는 SE Labs의 CEO 겸 설립자로, 보안 연구, 제품 평가, 기술 저널리즘, 산업 표준에 이르는 30년 이상의 경력을 가진 사이버보안 테스트 전문가입니다. 2015년에 SE Labs를 설립하기 전, Edwards는 Dennis Technology Labs를 운영하며 보안 테스트 이니셔티브를 이끌었고, 그 이전에는 기술 저널리스트 및 편집자로 오랜 기간 활동했습니다. 그는 또한 Anti-Malware Testing Standards Organization (AMTSO)에서 회장, 이사, 공동 의장 등 고위 리더십 직책을 역임했습니다. Edwards는 1990년대 중반부터 보안 제품을 테스트해 왔으며, 독립된 악성코드 샘플이 아닌 전체 인터넷 전달 공격에 대한 보안 기술의 성능을 평가하기 위한 초기 실전 안티멀웨어 테스트 방식을 개척했습니다.

SE Labs는 현실적인 공격에 대한 보안 기술의 성능을 평가하는 독립 사이버보안 테스트 및 자문 회사입니다. 연구원들은 전체 공격 체인에 걸친 공격자 기술을 재현하여 엔드포인트 보호, Endpoint Detection and Response (EDR), 클라우드 보안 서비스, 방화벽, 이메일 보안 및 네트워크 탐지 기술 등을 평가합니다. 공개 비교 테스트와 함께, SE Labs는 기업 및 사이버보안 벤더를 위한 인증, 고급 보안 테스트, 제품 검증 및 자문 서비스를 제공합니다. 이 회사는 테스트 방법론과 위협 에뮬레이션 프레임워크를 공개하며, IT 보안 제품 테스트 제공을 위해 ISO/IEC 27001:2022 및 BS EN ISO 9001:2015 인증을 보유하고 있습니다.

귀하의 경력은 기술 저널리즘, 보안 컨설팅, 독립 테스트, 그리고 Anti-Malware Testing Standards Organization (AMTSO)에서의 리더십 역할을 포함해 30년 이상에 걸쳐 있습니다. 이러한 경험이 AI 기반 사이버보안 분야에서 실제 혁신과 마케팅 목적으로 “AI”라는 명칭을 붙이는 기술을 구분하는 방식에 어떤 영향을 미쳤습니까?

저널리즘은 주장에 대해 의문을 제기하도록 가르쳤고, 독립 테스트는 신뢰할 수 있는 답은 증거에서 나온다는 것을 알려주었습니다. 사이버 보안 기업들은 오랫동안 머신러닝과 자동 의사결정을 활용해 왔기 때문에, 제품명에 “AI”를 추가한다고 해서 반드시 기술적 진보를 의미하는 것은 아닙니다.

고려해야 할 세 가지 기본 사항: AI가 실제로 무엇을 하고 있습니까? 어떤 측정 가능한 보안 결과를 개선합니까? 그리고 독립 테스트 담당자가 그 개선을 재현할 수 있습니까?

답변이 단순히 제품이 방대한 데이터를 분석하거나 기존 프로세스를 자동화한다는 것이라면, AI 라벨은 실제 기능보다 마케팅 포지셔닝에 가깝습니다.

진정한 혁신은 익숙하지 않거나 새로운 공격에 대해 우수한 성능을 보이고, 보호 또는 대응을 향상시키며, 분석가의 부담을 줄이고, 허용할 수 없는 위험을 초래하지 않아야 합니다. 그 외는 개선이 없거나 오히려 뒤떨어진 것입니다!

“AI 기반”이라는 주장은 사이버보안 제품 전반에 걸쳐 흔한 주장으로 자리 잡았습니다. 조직이 AI 기반 보안 플랫폼이 실제로 공급업체가 약속한 바를 제공한다는 것을 받아들이기 전에 독립적으로 테스트해야 할 가장 중요한 기능은 무엇입니까?

제품에 AI가 포함되어 있는지를 먼저 테스트하려고 하지 않을 것입니다. 대신 해당 제품에 대해 제시된 보안 주장을 테스트하는 것부터 시작합니다. 제품이 어떻게 작동하는지는 크게 신경 쓰지 않으며, 제대로 작동하기만 하면 됩니다. 이것이 바로 현재 업계에서 큰 관심을 받고 있는 PIVOT 테스트 프로그램의 정확한 목표입니다.

이러한 방식으로 테스트한다는 것은 제품을 완전한 공격에 노출시키고 그 대응 방식을 측정하는 것을 의미합니다. 제품은 아마도 해당 활동을 탐지하고, 이후 공격이 진행되지 않도록 차단할 수도 있습니다. 이는 제품이 어떻게 구축되고 구성되었는지에 따라 달라지며, 공급업체가 제시하는 마케팅 주장에도 영향을 받습니다.

또한 고객에게 제시되는 조사 스토리를 검토해야 합니다. 시스템이 무슨 일이 일었는지 이해하고, 관련 이벤트를 연결하며, 조치를 취해야 하는 사람에게 증거를 명확히 보여주었는가?

테스트에는 익숙하지 않은 변형, 현실적인 고객 구성 및 정상적인 비즈니스 활동이 포함되어야 합니다. 또한 오탐, 자원 요구량 및 잠재적으로 위험할 수 있는 행동도 측정해야 합니다. 시스템이 자율적이라면, 언제 작동하는지, 왜 작동하는지, 어떤 권한을 사용하는지, 그리고 그 결정이 되돌릴 수 있는지 파악해야 합니다.

우리는 AI 보안이 제어를 벗어나 법적 한계를 초과한다는 뉴스 사례를 몇 차례 목격했습니다. 중요한 질문은 플랫폼이 지능적으로 보이는가가 아니라, 지속적으로 더 나은 그리고 더 안전한 보안 결과를 제공하는가입니다.

자율 AI 에이전트는 인간 공격자보다 훨씬 빠르게 정찰, 악용, 횡 이동 및 공격의 다른 단계들을 수행할 수 있습니다. 공격이 기계 속도로 진행되기 시작할 때 사이버보안 테스트는 어떻게 변화해야 할까요?

테스트 단위는 개별 기술에서 시간 압박 하에 진행되는 전체 캠페인으로 전환되어야 합니다. 즉, 하루 아침이나 일주일에 걸쳐 다양한 공격 방식을 시도하는 것이 아니라, 특정 보안 조치를 빠르게 테스트해야 한다는 의미입니다. 그렇지 않으면 현실성이 떨어지고, 현실성은 매우 중요합니다.

전통적인 테스트는 각 단계 사이에 편리한 간격을 두어 각 이벤트를 별도로 검토할 수 있게 합니다. 자율적인 공격자는 정찰, 악용 및 횡적 이동을 훨씬 짧은 기간으로 압축할 수 있습니다. 이는 텔레메트리 지연, 시스템 과부하, 공격이 목표를 달성한 뒤에야 도착하는 방어 조치 등 느린 테스트에서는 보이지 않는 약점을 드러낼 수 있습니다.

극히 기본적인 예를 들자면, 우리가 Mac에 침입해 모든 파일을 다운로드하고 계정 비밀번호를 탈취하더라도, 안티바이러스가 하루 뒤에 나쁜 소식을 알린다면 별다른 의미가 없습니다.

AI 공격자에 대한 보안 대응 테스트는 고해상도 계측과 탐지·대응 지연 시간의 정밀한 측정이 필요합니다. 활동량과 속도가 증가함에 따라 성능이 저하되는지, 그리고 방어가 인간의 매 단계마다의 결정을 기다리지 않고 공격을 차단할 수 있는지를 검증해야 합니다.

공격은 발견한 내용에 따라 적응할 수도 있습니다. 테스트는 이러한 점을 반영하면서도 근거와 재현성을 유지해야 합니다. 기계 속도가 통제된 방법론을 포기하게 해서는 안 됩니다. 우리는 평가 대상 시스템과 동일한 속도로 사건을 운영·측정할 수 있는 통제된 테스트를 계속 설계해야 합니다.

SE Labs는 Scattered Spider와 같은 위협 그룹의 전술·기술을 기반으로 현실적인 공격 시나리오를 사용합니다. 실제 공격이 전개되는 방식을 반영하면서 미리 정의된 체크리스트에만 맞추는 것이 아니라, 어떻게 통제된 환경에서 이러한 적을 재현합니까?

우리는 기술을 쇼핑 리스트처럼 다루기보다, 적의 목표, 알려진 행동 및 가능한 의사결정을 먼저 파악합니다.

테스트는 정찰, 초기 접근, 실행, 권한 상승, 침해 후 활동 및 횡적 이동을 포함하는 현실적인 공격 체인을 따라 진행됩니다. 중요한 점은 테스터가 정찰 및 공격 과정에서 실제로 발견한 정보만을 사용할 수 있다는 것입니다. 실제 상황에서 얻을 수 없는 지식을 공격자에게 제공하지 않습니다.

시나리오는 제한적이고 신중하게 통제되지만, 단순히 미리 정해진 버튼을 누르는 순서만은 아닙니다. 한 경로가 차단되면 공격자는 테스트 규칙 내에서 신뢰할 수 있는 대안을 모색할 수 있습니다. 이를 통해 보안 제품이 시나리오 전개에 영향을 미칠 수 있습니다.

동시에 모든 중요한 행동과 결과를 기록하여 결과를 설명하고 제품을 공정하게 비교할 수 있습니다. 통제된다고 해서 반드시 경직된 스크립트를 의미하는 것은 아닙니다. 안전하고 관찰 가능하며 증거에 기반한 것이어야 합니다.

사이버 보안 제품은 전통적으로 위협 탐지 능력에 중점을 두고 평가되었습니다. AI 기반 보안 시스템을 평가할 때 조직이 보호, 격리 및 사고 대응을 점점 더 중요하게 고려해야 하는 이유는 무엇입니까?

탐지는 방어와 동일하지 않습니다. 플랫폼이 정확한 경보를 생성하더라도 공격자가 목표를 달성하도록 허용할 수 있습니다. 그래서 PIVOT 테스트 프로그램은 탐지와 보호를 전체 테스트의 공동·별도 요소로 포함합니다.

사이버 보안 탐지를 CCTV 카메라에 비유할 수 있습니다. 침입을 감지하고 무슨 일이 일었는지 단서를 제공해야 하지만, 물리적으로 침입자를 막지는 못합니다. 사이버 보안 보호는 훨씬 더 적극적이며, 공격자를 퇴출하거나 중화시켜 피해를 방지합니다.

조직은 제품이 초기 활동을 차단했는지, 공격 체인을 중단했는지, 횡적 이동을 제한했는지, 중요한 자산을 보호했는지, 복구를 지원했는지를 알아야 합니다. 공격이 성공한다면, 다음 질문은 얼마나 빨리 격리되었는지, 고객이 효과적으로 대응할 수 있을 만큼 신뢰할 만한 정보를 받았는지입니다.

AI 기반 시스템에서는 특히 중요한데, 이 시스템이 매우 설득력 있는 요약을 제공하더라도 설득력 있는 설명이 보호를 대체할 수는 없습니다. 설명은 증거에 기반해야 하며 적절한 조치로 이어져야 합니다.

따라서 우리는 탐지와 보호를 별도로 측정합니다. 또한 주장된 탐지가 실제로 고객에게 가시적이고 유용했는지도 검토합니다. 궁극적으로 보안 시스템의 가치는 공격 결과를 바꾸는 데 있으며, 단순히 관찰하는 것에 그치지 않습니다.

보안 플랫폼이 경보를 조사하고 복구 조치를 취할 수 있는 자율 에이전트를 도입함에 따라, 독립 연구소는 기본 탐지 기술만을 별도로 평가하는 것이 아니라 인간과 AI가 함께 작동하는 전체 워크플로를 어떻게 테스트해야 할까요?

테스트는 최초 악성 활동부터 최종 보안 결과까지 전체 과정을 따라야 합니다. 이는 공격이 완전히 차단되거나 완전히 성공하거나 그 사이 어딘가에 머무를 수 있음을 의미합니다.

우리는 에이전트가 무엇을 관찰했는지, 어떤 결론을 내렸는지, 무엇을 권고하거나 수행했는지, 인간 운영자가 무엇을 보여받았는지, 그리고 운영자가 어떻게 대응했는지(또는 어떤 옵션이 제공됐는지)를 검토해야 합니다. 여기에는 증거의 품질, 인계의 명확성, 소요 시간, 개입 횟수, 그리고 인간이 에이전트의 결정을 이해·이의제기·반전할 수 있었는지가 포함됩니다.

다양한 운영 모드도 중요합니다. 승인을 위해 행동을 권고하는 에이전트는 시스템을 자동으로 격리하거나 계정을 비활성화하거나 보안 제어를 변경할 수 있는 에이전트와는 다른 위험을 제공합니다.

기본 탐지기가 공격을 식별했다고 해서 시스템이 성공한 것은 아닙니다. 이해할 수 없는 대기열을 만들거나 중요한 증거를 숨기거나 잘못된 대응을 권고하거나 파괴적인 조치를 취한다면 전체 워크플로우가 실패한 것입니다. 독립적인 테스트는 기술 자체와 자율 구성 요소, 그리고 이를 사용할 것으로 기대되는 사람들의 결합된 성능을 측정해야 합니다.

표준화된 보안 벤치마크의 한 위험은 공급업체가 테스트에 맞춰 제품을 최적화할 수 있다는 점입니다. 독립적인 테스트가 재현 가능하고 공정하면서도 낯선 공격에 대한 제품 성능을 드러낼 만큼 충분히 예측 불가능성을 유지하려면 어떻게 해야 할까요?

재현 가능성은 참가자에게 시험 문제를 미리 제공하는 것을 요구하지 않습니다.

신뢰할 수 있는 테스트는 방법론, 환경, 채점 원칙, 제품 구성 및 증거 요구 사항을 공개해야 합니다. 공급업체는 규칙을 이해하고 제품이 올바르게 작동하고 있음을 검증할 공정한 기회를 가져야 합니다. 다만 정확한 공격 캠페인, 페이로드 및 일부 공격 경로는 테스트가 진행될 때까지 알려지지 않아야 합니다.

예를 들어, PIVOT에서는 테스트가 완료될 때까지 복제할 공격 그룹을 공개하지 않습니다. 실제 목표는 공격이 시작되기 전에 사전 통보를 받지 못합니다!

우리는 시간 경과에 따른 비교를 지원하는 표준 코어와 일반적인 역량을 테스트하는 낯선 변형을 결합할 수 있습니다. 기준 설정과 숨겨진 조용한 기간을 통해 공격 전 제품이 어떻게 동작하는지 파악할 수 있습니다. 이후 구성은 제어되고 로그는 보존되며 모든 주장은 테스트 수행자의 자체 증거와 대조해 확인해야 합니다.

공정성은 모든 참가자에게 동일한 규칙과 증거 기준을 적용하는 것을 의미합니다. 이는 공급업체가 벤치마크를 인식하고 위협이 아니라 벤치마크를 인식하도록 공격을 지나치게 예측 가능하게 반복한다는 뜻은 아닙니다.

또한 급진적인 투명성은 공급업체가 공격을 재현하도록 도와주며, 이는 탐지 실패나 위협 방어 실패와 같은 문제를 해결하려는 경우에 중요합니다. SE Labs는 고객이 문제에 직면했을 때 본질적으로 교육을 제공합니다.

자율 보안 에이전트는 잘못된 결정이 불필요하거나 심지어 파괴적인 복구 조치를 촉발할 수 있기 때문에 다른 유형의 위험을 도입합니다. 테스트는 전통적인 탐지 정확도와 함께 거짓 양성, 잘못된 추론 및 잠재적으로 해로운 자율 행동을 어떻게 측정해야 할까요?

전통적인 거짓 양성 테스트는 첫 번째 단계에 불과합니다. 자율 에이전트의 경우 거짓 경보, 지원되지 않은 결론, 잘못된 행동을 구분해야 합니다. 각각은 잠재적 영향이 다릅니다.

테스트는 악의적인 행동과 유사한 정상 활동뿐만 아니라 불완전하거나 모호하거나 오해를 일으킬 수 있는 증거에도 시스템을 노출시켜야 합니다. 에이전트가 신뢰할 수 없는 콘텐츠를 소비한다면, 해당 콘텐츠가 의사결정에 부적절하게 영향을 미치는지도 검토해야 합니다.

추론은 결론이 사용 가능한 증거에 의해 뒷받침되는가에 따라 판단해야 하며, 설명이 얼마나 설득력 있거나 자신감 있게 들리느냐가 기준이 되어서는 안 됩니다. 자율 행동의 경우 범위, 비례성, 권한 사용, 승인 제어, 감사 가능성 및 되돌릴 수 있는지를 측정해야 합니다.

점수는 결과를 반영해야 합니다. 불필요한 경보는 불편함을 초래하지만, 중요한 계정을 비활성화하거나 핵심 시스템을 격리하면 조직에 큰 혼란을 야기할 수 있습니다. 따라서 유용한 안전 조치는 오류 빈도와 각 오류가 초래할 수 있는 피해를 모두 고려해야 합니다.

그렇다고 하더라도 때때로 고객이 문제를 일으키는 정책을 선택하기도 합니다. 이는 반드시 보안 공급업체의 잘못은 아닙니다.

생성형 AI와 점점 더 강력해지는 오픈소스 모델이 공격 과정의 일부를 자동화하는 장벽을 낮추고 있습니다. AI가 사이버 공격을 근본적으로 더 정교하게 만들 것이라고 보십니까, 아니면 공격자가 훨씬 더 큰 규모와 속도로 작동할 수 있게 되는 것이 더 큰 위험이라고 보십니까?

제 예상으로는 보다 즉각적인 위험은 규모, 속도 및 비용 감소입니다.

AI는 공격자가 정보를 수집하고, 사회공학을 개인화하며, 코드를 수정하고, 캠페인 일부를 조정하는 데 도움을 줄 수 있습니다. AI가 기존 기술을 연결하거나 특정 목표에 맞게 조정할 때 특히 공격이 더 정교해질 수 있습니다. 하지만 AI가 접근 권한, 자격 증명, exploitable 취약점 또는 방어자의 실수를 대체하지는 못합니다.

AI는 신뢰할 수 있는 익스플로잇을 만드는 데도 그다지 능숙하지 않으며, 이는 숙련된 인간에게도 어려운 일입니다. 따라서 근본적으로 더 정교한 공격이 발생할 가능성은 제 강한 의견으로는 감소합니다.

더 큰 변화는 이전에 시간, 기술 또는 팀이 필요했던 활동을 더 빠르게, 더 많은 대상에 걸쳐 시도할 수 있게 된다는 점입니다. AI는 비교적 평범한 공격자의 역량을 높이는 동시에, 능력 있는 공격자가 동시에 더 많은 작업을 수행하도록 돕습니다.

기본 공격 기술이 혁신적이지 않더라도 이는 중요한 의미를 갖습니다. 위험은 반드시 완전히 새로운 형태의 사이버 공격이 되는 것이 아니라, 익숙한 공격이 더 빠르고, 저렴하며, 보다 개인화되고, 훨씬 더 많이 발생하는 것입니다.

방어 및 공격 AI 에이전트가 더욱 자율화됨에 따라, 신뢰할 수 있는 사이버 보안 테스트 환경은 어떤 모습이어야 지속적인 대응이 가능할까요? 결국 보안 제품이 주기적인 보안 테스트를 통해 평가되는 것이 아니라, 적응형 AI 적대자에 의해 지속적으로 도전받아야 하는 시점에 이를 수 있을까요?

신뢰할 수 있는 환경은 고립된 대상들의 집합이라기보다 살아있는 조직과 유사해야 합니다. 여기에는 엔드포인트, 신원 시스템, 이메일, 네트워크, 클라우드 서비스, 현실적인 사용자 및 정상적인 비즈니스 활동이 포함되어야 합니다. 또한 모든 결정과 결과를 재구성할 수 있도록 완전한 계측 기능을 제공해야 합니다.

적응형 적대자는 목표와 경계를 부여받은 뒤, 자신이 발견한 내용과 방어 제품의 반응에 따라 경로를 선택하도록 할 수 있습니다. 테스트는 여전히 통제된 시작 조건, 실제 발생한 일에 대한 신뢰할 수 있는 설명, 그리고 중요한 이벤트를 재생할 수 있는 능력을 필요로 합니다. 이러한 요소가 없으면 적응형 테스트는 인상적이지만 과학적으로는 약한 결과가 될 수 있습니다.

제품, 모델 및 정책이 자주 변동될 수 있는 경우, 테스트가 보다 지속적으로 이루어질 것이라고 기대합니다. 그러나 지속적인 도전은 주기적인 비교 테스트를 대체하기보다 보완해야 합니다. 조직은 책임성과 비교를 지원하는 PIVOT과 같은 통제된 벤치마크와, 위협과 제품 자체가 변화함에 따라 시스템이 어떻게 동작하는지를 드러내는 지속적인 적응 평가, 두 가지를 모두 필요로 합니다.

나는 오히려 비교적 숙련되지 않은 인간이 시스템과 네트워크를 침해할 수 있다는 사실에 더 큰 우려를 가져야 한다고 생각합니다. 다음 세대 사이버 공격 기술을 만드는 로봇보다 말이죠.

훌륭한 인터뷰에 감사드립니다. 더 알고 싶은 독자분들은 SE Labs를 방문하십시오.