IRONSCALES의 수석 기술 전략가 Audian Paxson – 인터뷰 시리즈

Audian Paxson은 IRONSCALES의 수석 기술 전략가로, 이메일 보안, 위협 탐지, 네트워킹, 엔터프라이즈 기술 분야에서 20년 넘게 경력을 쌓은 사이버 보안 및 제품 전략 베테랑이다. IRONSCALES에서 그는 인공지능과 머신러닝을 활용해 새롭게 등장하는 이메일 보안 위협에 대응하는 방안을 중심으로 제품 출시, 메시지와 포지셔닝, 시장 진출 전략, 사상적 리더십을 담당한다. 경력 중에는 Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems, Intel에서 고위 제품 관리, 제품 마케팅, 사업 개발 업무를 맡았다. Paxson은 사이버 보안 및 네트워킹 제품 출시, 엔터프라이즈 시장 진출 전략 개발, 기업의 신규 시장 진출에서 핵심적인 역할을 했으며, 특허를 받은 보안 기술의 공동 발명자이기도 하다.

IRONSCALES는 피싱, 비즈니스 이메일 침해, 계정 탈취, 딥페이크 및 그 밖에 진화하는 사회공학적 위협으로부터 조직을 보호하는 데 주력하는 인공지능 기반 이메일 보안 기업이다. 이 회사의 플랫폼은 Adaptive AI에 사람과 커뮤니티의 인텔리전스를 결합해 Microsoft 365와 Google Workspace 전반에서 위협을 탐지하고 조사하며 해결하는 한편, 피싱 시뮬레이션, 보안 인식 교육, 발신 이메일 보호, 도메인 보안 기능도 제공한다. 또한 공격을 예측하고 의심스러운 활동을 조사하며 직원의 방어 역량을 강화하도록 설계된 레드팀 운영, 피싱 보안 운영, 피싱 시뮬레이션 전용 AI 에이전트를 도입해 접근 방식을 확장했다. IRONSCALES에 따르면 18,000곳이 넘는 조직에서 이 회사의 기술을 사용하고 있으며, 36,000명이 넘는 보안 전문가로 구성된 커뮤니티가 제공한 인텔리전스도 기술에 반영된다.

이메일 보안 분야에서 20년 넘게 일하며 초기 안티피싱 제품 개발을 돕기도 하셨고, 현재는 인공지능과 머신러닝으로 새롭게 등장하는 이메일 위협에 대응하는 데 주력하고 계십니다. 그런 경험을 바탕으로 볼 때, 인공지능 기반 사회공학적 공격에서 진정으로 새롭다고 느끼는 점은 무엇인가요? 반대로, 놀라울 만큼 예전과 다르지 않은 문제는 무엇인가요?

제 나이를 드러내 주셔서 고맙네요! 2000년대 초 피싱과의 싸움을 시작했을 때 가장 큰 문제는 보안 인식이었고, 필터는 발신자 도메인의 평판만 판단할 수 있었습니다. 하지만 수법은 크게 달라지지 않았어요. 긴박함, 권위, 가짜 청구서 같은 것들이죠. 요즘 보는 구실은 거의 다 알아볼 수 있습니다. 인공지능이 바꿔 놓은 건 정교하게 만드는 데 필요한 기술의 문턱입니다. 이제 숙련되지 않은 공격자도 2004년식 사기를 완벽하고 개인화된 형태로 대규모 유포할 수 있습니다.

Anthropic의 연구에 따르면 Claude Mythos 5는 실제 인터넷의 징후가 각각 독립적으로 제시되면 이를 알아볼 수 있었지만, 특정 작업에 몰두한 상태에서는 같은 증거를 바탕으로 행동하는 데 대체로 실패했습니다. 이 간극은 인공지능 모델이 지식을 보유하는 것과 적절한 순간에 실제로 적용하는 것의 차이에 대해 무엇을 말해 준다고 보시나요?

저는 인공지능 연구자가 아니라 이메일 보안 전문가라서, 제 관점에서 읽었습니다. Mythos는 처음부터 시뮬레이션 안에 있다고 들었고, 그 설정이 우세하게 작용했어요. 실제 증거가 이미 주어진 상황과 맞지 않자 그 증거를 합리화하며 무시했습니다. 바로 구실이 제 역할을 한 셈이고, 공격자가 먼저 상황의 틀을 설정하려고 그토록 애쓰는 이유도 여기에 있습니다.

여기에는 사람의 피싱 대응 행동과 흥미로운 유사점이 있습니다. 직원은 교육 중에는 의심스러운 징후를 쉽게 알아보면서도, 서두르거나 다른 업무를 마치는 데 집중할 때는 같은 징후를 놓칠 수 있습니다. 사람과 인공지능의 판단을 비교하는 것이 어디까지 타당하다고 보시나요?

어느 정도까지는 타당합니다. 사람과 모델 모두 한 가지 작업에 몰두하면 전체 맥락을 놓치고, “다음 청구 건들을 검토해야 합니다”처럼 일상적인 업무 절차로 보이는 메시지는 사람과 모델 모두 별다른 확인 없이 통과시킵니다. 하지만 감정에 관한 부분에서는 비교가 성립하지 않습니다. 사람은 서두르거나 겁을 먹거나 남을 기쁘게 해 주려는 마음에 휘둘립니다. 에이전트는 자신만의 작동 계기에 따라 실패합니다. 예를 들어, 읽고 있는 데이터와 구분하지 못하는 지시문에 취약합니다.

보안 교육은 전통적으로 악성 링크, 이례적인 요청, 사칭 및 그 밖의 경고 신호를 알아보도록 사람들을 가르치는 데 초점을 맞춰 왔습니다. 사람과 인공지능 시스템 모두 자신이 이해하는 신호를 무시할 수 있다면, 보안팀은 신호를 알아보는 것보다 압박을 받거나 특정 맥락에 놓인 상황에서 의사결정이 이뤄지는 방식에 더 주목해야 할까요?

그렇습니다. 신호를 알아보는 교육은 사람들이 주의를 기울이고 있다고 가정합니다. 공격자는 사람들이 주의를 기울이지 않을 때 메시지가 도달하도록 설계하거나, 교육 내용을 잊게 만듭니다. 더 나은 투자는 결제, 자격 증명 재설정, 접근 권한 변경처럼 중요한 순간에 잠시 멈추는 절차를 마련하는 것입니다. 그래야 사람도 에이전트도 자동 조종 상태에서 결정을 내리지 않습니다.

인공지능 에이전트가 받은 편지함과 엔터프라이즈 업무 흐름에 더욱 깊이 통합되면서, 공격자는 직원뿐 아니라 인공지능 시스템 자체를 사회공학적으로 조종하려 들 가능성이 커지고 있습니다. 이메일 에이전트나 자율형 비서를 조종하도록 특별히 설계된 공격은 어떤 모습일까요?

에이전트를 위해 작성된 이메일로, 사람에게는 보이지 않도록 흰색 바탕에 흰색 글자로, 이미지 대체 텍스트에 또는 다른 언어로 지시를 숨겨 영어에 맞춰진 필터를 우회합니다. 연구팀이 만든 한 시나리오에서는 에이전트의 기억에 거짓 ‘사실’(“finance@의 승인은 사전 승인된 것”)을 심어 두어, 몇 주 뒤 금융 담당자를 사칭한 이메일이 무사히 통과하게 합니다. 또 다른 시나리오에서는 청구서 이미지 안에 문자를 숨겨 에이전트에게 위험도가 낮다고 표시하고 결제해도 안전하다고 요약하라고 지시합니다. 사람은 그 요약을 믿습니다.

공격자들이 한 번에 악의적인 이메일이나 프롬프트를 보내는 대신, 겉보기에는 정당한 상호작용을 길게 이어 가며 AI 시스템이 점차 잘못된 결정을 내리도록 의도적으로 유도할 수 있을까요? 오늘날의 보안 도구로 이러한 다단계 공격을 탐지하기는 얼마나 어려울까요?

사람을 대상으로는 이미 그런 일이 벌어지고 있으며, 다음은 에이전트입니다. 공격자들은 처음 보는 발신자에 대한 경고를 없애기 위해 소개 메일이나 감사 인사처럼 무해한 이메일을 몇 통 보내고, 표적의 직무와 관련된 메시지로 전환한 다음에야 악성 페이로드를 전달합니다. 이 페이로드는 흔히 회의 초대장 형태를 띠는데, 링크를 열면 스캐너에는 정상적인 페이지가 표시되고 실제 사용자에게는 피싱 사이트가 표시됩니다. 이메일을 하나씩 따로 판단하는 도구는 이를 놓칩니다. 어느 한 메시지도 나빠 보이지 않으므로, 시간의 흐름에 따른 관계를 평가해야 합니다.

AI가 생성한 피싱은 흔히 더 나은 문장, 개인화, 딥페이크의 관점에서 논의됩니다. AI가 사회공학 공격의 콘텐츠를 개선하는 점이 더 우려되시나요, 아니면 공격자가 AI를 이용해 특정 표적이 실수할 가능성이 가장 높은 시점과 방법을 정확히 파악하는 점이 더 우려되시나요?

둘 다 우려되지만, 콘텐츠를 둘러싼 경쟁은 이미 끝났습니다. ChatGPT가 대중화된 이후로 세련된 AI 작성 피싱은 기본 수준이 됐습니다. 더 큰 변화는 표적 선정, 개인화, 시점 조정이 자동화됐다는 점입니다. 따라서 기술이 전혀 없는 사람도 유출 데이터와 악명 높은 RockYou 목록 같은 비밀번호 덤프를 결합해 실제 사서함을 탈취하고, 표적이 거래 관련 이메일을 기다리는 바로 그 순간에 평범한 거래 이메일을 사칭해 보낼 수 있습니다.

공격자가 명백한 기술적 위험 신호를 없애고 악성 메시지를 정당한 것처럼 보이게 하는 데 능숙해질수록, 정당한 커뮤니케이션과 조작을 구별하는 데 어떤 신호가 가장 중요해질까요?

맥락이 우선입니다. 예를 들어, 이 사람이나 공급업체가 이 채널을 통해 이 시점에 이런 연락을 하는 것이 평소와 같은가요? 그다음은 긴급성과 반복 여부입니다. 정말 급한 요청이라면 전화를 하거나 Teams 또는 Slack으로 연락합니다. 같은 이메일을 세 번 보내지는 않습니다. 그리고 자신의 직감을 믿으세요. 제 원칙은 “무언가를 서두르기보다, 일단 멈춰 서라”는 것입니다. 그러니 잠시 멈추고, 다른 사람에게도 검토를 부탁한 뒤, 다른 채널을 통해 확인하세요.

사람과 AI 양쪽 모두 잠재적인 약점을 지닌 상황에서 조직은 사람의 감독과 AI의 감독을 어떻게 구성해야 할까요? 서로 상대방이 이미 결정을 검증했다고 가정한다면, 사람의 판단과 AI를 결합하는 일이 오히려 새로운 사각지대를 만들 수도 있을까요?

각자가 가장 잘하는 일을 맡기고, 업무 인계 절차를 명확히 하세요. AI는 대량의 데이터를 처리하고 전체 환경에서 패턴을 찾습니다. 사람은 중대한 결과를 초래할 수 있는 결정, 즉 자금 이체나 접근 권한 부여를 책임져야 하며, 검토자가 추론 과정을 확인할 수 있도록 AI는 근거를 제시해야 합니다. 말씀하신 사각지대는 실제로 존재합니다. 이를 해결하려면 엄격한 규칙이 필요합니다… “AI가 안전하다고 했다”는 이유만으로 사람의 검토를 거친 것으로 간주해서는 안 됩니다.

근본적인 문제가 사람이나 AI 시스템이 알고 있는 것과 작업을 실제로 수행하는 동안 알아차리는 것 사이의 간극이라면, 조직은 지금 당장 어떤 실질적인 변화를 통해 그 간극을 좁히고 사회공학 공격이 성공하기 훨씬 어렵게 만들 수 있을까요?

수표를 작성할 때 사용하던 오래된 통제 방식인 “업무 분리”를 도입하세요. 한 사람은 새 사용자를 만들 수 있지만 활성화할 수는 없고, 두 번째 사람은 사용자를 활성화할 수 있지만 만들 수는 없으며, 세 번째 사람에게는 두 작업 모두 알림이 갑니다. 이와 똑같은 분리를 결제, 공급업체 정보 변경, AI 에이전트에도 적용하세요(어떤 에이전트도 작업을 요청하고 승인하는 일을 모두 맡아서는 안 됩니다). 속은 직원 한 명이나 탈취당한 에이전트 하나만으로는 공격을 끝낼 수 없습니다.

훌륭한 인터뷰 감사합니다. 더 자세히 알고 싶은 독자라면 IRONSCALES를 방문해 보세요.