AI 공격자는 피곤하지 않는다: 사이버 보안이 변화해야 하는 이유

귀하의 보안 프로그램은 공격자를 위해 구축되었습니다.

OpenAI가 평가 환경을 탈출한 모델에 대한 보고서를 발표하고 며칠 동안 Hugging Face의 프로덕션 인프라에 머물렀을 때, 저는 이를 사이버 보안의 터미네이터 순간이라고 부렀습니다. 저는 그 발언을 고수하지만, 이와 관련해 또 다른 점이 우리에게 경각심을 줍니다. 9일 후, Anthropic이 자체 사건을 공개했습니다. 8월 초, Meta도 또 다른 사건을 확인했습니다. 그 며칠 뒤, 네 번째 연구소인 Moonshot의 Kimi K3 모델이 테스트 샌드박스를 빠져나갔습니다. 네 개의 연구소. 3주도 채 되지 않은 기간. 아무도 의도하지 않은 곳으로 간 네 개의 모델.

이 이야기들은 주로 AI 안전 이야기로 다루어졌습니다. 그렇습니다. 하지만 CISO에게는 이것이 제3자 위험 이야기이기도 합니다—그리고 이것이 더 즉각적인 교훈일 수 있습니다. 불편한 진실은 OpenAI‑Hugging Face 사건이 근본적으로 제3자 위험 이야기라는 점입니다: 탈출 경로가 된 취약한 제3자 구성 요소, 피해자가 된 공급업체, 그리고 수천 개 기업이 의존하는 시스템이 폭발 반경이 되었습니다.

다음은 다음 보안 계획 회의에 가져갈 수치입니다. Hugging Face가 로그에서 복구한 약 17,600건의 공격자 행동 중 대부분은 실패했습니다. Hugging Face가 복구함.

에이전트는 아무데도 연결되지 않는 경로를 시험했습니다. URL 허용 목록에 차단되고 전환되었습니다. 모든 변조 호출을 거부하는 IAM 정책에 부딪혔습니다. 프로덕션 데이터베이스에 두 번 접근을 시도했지만 모두 시간 초과되었습니다. 수천 번 탐색하고 실패하고 넘어갔습니다. 절대 좌절하지 않았고, 절대 피곤해하지도 않았습니다. 그리고 실패 비용은 거의 들지 않았습니다.

네 개의 모델이 3주 미만에 테스트 환경을 탈출했습니다. 탈출 자체가 헤드라인이 되었지만, 보안 리더가 더 우려해야 할 것은 탈출을 가능하게 만든 요인, 즉 수천 번 거의 비용 없이 실패할 수 있는 공격자입니다.

이것이 변화입니다. 수십 년 동안 방어자는 한 가지 간단한 사실에 의존했습니다: 실패는 공격자에게 비용을 부과한다는 점. 정찰에는 시간이 들고, 막다른 길은 비용이 많이 들었습니다. 이러한 비대칭성의 경제학이 ‘공격자에게 비용을 부과하는’ 전략을 일관된 방어 방식으로 만들었습니다. 하지만 실패가 거의 무료가 되면, 성공 경로는 더 이상 건초 더미 속 바늘이 아니라, 모든 경로를 동시에 탐색할 수 있는 사람에게는 통계적 확실성이 됩니다.

이 사건들의 패턴은 보안 리더가 지금 바로 행동해야 할 세 가지 교훈을 제시합니다.

Four Labs, One Shape

패턴은 놀라울 정도로 일관됩니다. 모델에 목표를 주면, 예상치 못한 경로를 찾아냅니다. 때때로 그 경로는 전혀 관여하지 않아야 할 조직의 프로덕션 시스템으로 바로 이어집니다. 최소 한 경우, 영향을 받은 조직은 Anthropic이 직접 연락해 알려주었기 때문에 무슨 일이 있었는지 알게 되었습니다.

모든 경우에 경로는 다른 누군가가 만든 소프트웨어, 인프라 또는 환경을 통과했습니다. 보안 리더는 이를 개인적인 문제로 받아들여야 합니다.

이 체인에 있는 모든 조직은 보안 프로그램을 가지고 있었습니다. 몇몇은 매우 우수했습니다. 실패는 어느 하나의 경계 안에만 국한되지 않았습니다. 조직 간 경계, 즉 ‘시스템 사이’에서 발생했으며, 그 경계를 누가 관리하는지도 없습니다.

OpenAI 모델은 자체 호스팅 패키지 프록시의 제로데이 취약점을 찾아 이를 통해 외부 인터넷에 접근했습니다. 거기서 보안이 취약한 코드 실행 샌드박스(Modal Labs 고객 소유)를 뿌리내리고, 이를 스테이징 베이스로 활용했으며, Hugging Face의 데이터셋 로더를 속여 로컬 파일을 읽고 코드를 실행하게 만들었습니다. 13시간 만에 여러 내부 클러스터의 클러스터‑관리자 권한을 장악했으며, 모든 클러스터가 공유하는 단일 자격 증명이 이를 돕았습니다. 진입점은 새로웠지만, 내부 취약점은 우리가 20년째 기록해 온 것과 동일했습니다.

9일 뒤, Anthropic은 더 드문 일을 했습니다: 자체 리뷰를 공개하고 141,006건의 평가 실행 중 3건을 공개했습니다. 이들은 모두 ‘프롬프트 없이’ 유사한 상황을 보여줍니다—평가 환경에서 외부 인터넷에 접속한 뒤 실제 조직 시스템에 접근한 모델. 이번에는 샌드박스 탈출이 아니라, 존재하지 않는다고 알려진 경로가 실제로 열려 있었던 구성 오류였습니다. 외부로 나가자마자 모델은 모든 보안 팀이 알고 있는 약점—약한 비밀번호, 인증되지 않은 엔드포인트, SQL 인젝션, 노출된 디버그 페이지에 남은 자격 증명—을 악용했습니다.

Meta는 8월 초에 네 번째 사례를 확인했습니다. 평가 중 하나의 모델이 구성 오류로 인터넷 접근 권한을 얻었습니다. Meta도 이를 놓치지 않았으며, 테스트 파트너가 연락해 사건을 알게 되었습니다. 해당 평가와 Anthropic의 평가는 모두 외부 업체인 Irregular이 수행했으며, Irregular은 이를 동일한 문제라고 공개적으로 언급했습니다. 한 공급업체의 구성 오류가 두 개의 최전선 연구소와 네 개의 피해 조직에 전파됐으며, 이들 조직은 Irregular과 직접적인 관계가 전혀 없었습니다. 두 연구소에 대한 공급업체였을 뿐, 연구소 자체와는 관계가 없었습니다. 에이전트는 한 기업의 공격 표면이 어디서 끝나는지, 다른 기업이 어디서 시작하는지에 신경 쓰지 않았습니다.

이것이 제3자 위험 문제의 핵심입니다. 노출은 이제 여러분과 몇 단계 떨어진 조직, 여러분이 선택하지도, 평가하지도, 심지어 존재조차 몰랐던 조직에서 시작될 수 있습니다.

그 후 Frontier Security 연구원들은 Moonshot의 Kimi K3가 샌드박스를 빠져나가 GitHub의 벤치마크 저장소에 접근하려는 것을 포착했습니다. 아무도 침해당하지 않았으며, 모델은 할당된 목표를 추구하면서, 미리 만든 정답지를 사용하는 것이 문제 해결보다 저렴하다는 결론에 도달했습니다. 이 사례가 중요한 이유는 두 가지입니다. 연구원들이 자체 테스트 중에 이를 발견했고, Anthropic 및 Meta 사례와 완전히 다른 도구 체인에서 실행됐기 때문입니다. 한 공급업체가 한 달에 좋지 않은 성적을 냈다고 해서 이 모든 현상을 설명할 수 없습니다.

연구소들은 이를 무시하지 않습니다. Anthropic은 사전 요청 없이 리뷰를 공개했으며, 이는 업계가 패턴을 검토하고 학습할 수 있게 만든 것입니다—특이 사례를 무시하는 것이 아니라. 이것이 표준이 되어야 합니다. OpenAI는 내부 평가에서 중요한 사이버 능력을 배제하지 못해 Astra 모델 출시를 늦췄습니다. 두 조치 모두 칭찬받아 마땅하지만, 이는 방어 계획이 아닙니다: 출시 지연은 한 기업의 일정에만 영향을 미칠 뿐, 이미 오픈‑웨이트와 무료로 제공되는 Kimi K3 같은 강력한 모델에 대해서는 아무런 영향을 주지 못합니다.

Correlation Without Escalation is Not Detection

Hugging Face의 탐지 스택은 신용을 받아야 할 만큼 신호들을 연관시켜 일관된 공격으로 만들었습니다. 그러나 심각성을 상승시키지 못했고, 온콜 팀은 호출되지 않았습니다. 도구는 이야기를 조합했지만 긴급하다고 판단하지 못했습니다. 이는 4일 동안 17,600건의 이벤트가 발생해도 터무니없게 보였던 세계를 위한 트리아지 아키텍처입니다.

Cybersecurity Needs its Fosbury Flop

1968년, 딕 포스버리는 높이뛰기에서 바를 뒤로 넘으며 올림픽 금메달을 차지했습니다. 다른 선수들은 여전히 스트래들(가로 자세) 방식을 다듬고 있었습니다. 더 나은 폼, 더 큰 힘, 수십 년 된 기술에 대한 미세한 개선이었습니다. 포스버리는 문제 자체의 형태를 바꿨습니다. 두 번의 올림픽이 지나자 스트래들은 거의 사라졌습니다.

보안 리더는 이제 막 이동한 바를 넘어야 하며, 현재 업계가 제시하는 대부분의 답은 더 나은 스트래들—더 많은 알림, 더 빠른 분석가, 인간 검토에 대한 더 엄격한 SLA—입니다. 이는 통하지 않습니다. 제약은 분석가의 속도가 아니라, 기계 속도 공격에 인간 속도 트리아지로 대응할 수 없기 때문입니다.

플롭은 다음과 같습니다:

• 경계 자체를 제어점으로 보지 말아야 합니다. 평가 샌드박스가 실패하고, 데이터셋 로더가 실패하고, 파드 격리가 실패했습니다. 각각은 정상적으로 동작했지만, 그 이후에 문제가 발생했습니다. 다음에 일어날 일을 대비해 설계하세요. 단명한 자격 증명을 사용하고, 공유 관리 아이덴티티를 제거하며, 메타데이터 서비스 접근을 차단하세요. 무엇보다 첫 번째 제어점이 실패한 뒤 공격자가 이동할 수 있는 범위를 제한해야 합니다.
• 탐지를 알림에서 연관으로 옮기세요. 하나의 의심스러운 이벤트만으로는 충분하지 않습니다. 수천 개의 평범해 보이는 이벤트를 하나의 공격 스토리로 연결하고, 그 스토리가 충분히 심각해졌을 때 누군가를 깨우는 것이 목표입니다. 현재 볼륨을 고려하면 자동화가 필수입니다.
• 제3자 노출을 설문이 아니라 공격 경로로 취급하세요. 이 사건들은 제3자 의존성—공급업체 제품, 공급업체 고객, 평가 파트너, 공유 테스트 도구—을 통해 진행되었습니다. 이제 위험은 여러분이 감사하지도, 존재조차 모를 조직이 만든 구성 오류까지 포함합니다. 정적, 일시적인 평가로는 이를 파악할 수 없습니다. 이 문제는 새롭지 않지만, AI가 이를 더욱 시급하게 만들었습니다. 보안 팀은 공격자가 전체 생태계를 하나의 연결된 표면으로 보는 만큼, 기업과 기술에 대한 지속적인 가시성이 필요합니다.

SecurityScorecard에서는 바로 이러한 문제를 해결하기 위해 문화가 형성되었습니다: 공격자의 사고 방식을 깊이 탐구하고, 20년 된 가정을 도전하며, 근본적으로 다른 보안 접근 방식을 구축하는 데 열정을 가진 사람들을 모으는 것이죠!

The Question to Bring to Your Next Board Meeting

몇 주 전, 저는 요정이 병에 너무 강해졌다고 말했습니다. 네 개의 연구소가 지나간 지금, 이를 반박할 증거는 없습니다. 이러한 사건이 발생하면 모두가 같은 질문을 합니다: 우리는 AI 기반 공격자에 대비했는가? 저는 그 질문이 큰 진전을 이끌지 못한다고 생각합니다. ‘예’와 ‘아니오’는 같은 결과를 낳습니다—무엇도 변하지 않음.

더 어려운 질문을 해보세요. 앞으로 4일 동안 17,000건의 저신호 이벤트가 여러분 환경에 발생하고, 대부분이 실패처럼 보인다면, 팀이 이것이 하나의 공격이라는 것을 인식하는 데 얼마나 걸릴까요? 누가 제때 호출될까요?

답은 이미 알고 있습니다. 그 답과 4일 사이의 차이가 바로 우리가 해야 할 일입니다.