AI는 새로운 내부자 위협이지만, 위험 대응 계획은 한발 늦게 마련되고 있다

Hugging Face 침해 사고와 유사한 사건들이 업계에 충격을 안겼지만, 조직은 AI 모델 계층이 아니라 SDLC에 주목해야 한다.

7월에 OpenAI 에이전트가 일으킨 Hugging Face 침해 사고에 이어 Anthropic 및 Meta 모델과 관련된 유사한 탈출 사례가 잇따라 보도되면서, 새로운 유형으로 보이는 사이버 공격, 즉 악의적인 에이전트형 AI 내부자 위협에 경종이 울렸다.

하지만 이런 유형의 사건은 사실 새로운 것이 아니다. 수년 동안 사람들을 불안하게 해 온 최첨단 AI 연구소에서 사건이 발생하면서 불길한 새 양상을 띠게 되었지만, 이 사건들은 기업들이 수년간 쌓아 온 것과 똑같은 실패 양상과 사각지대를 보여 준다.

그렇다고 이들이 의도적으로 악의적이었던 것도 아니다. Hugging Face 침해 사고에서 약 1,200개의 인공지능 에이전트는 테스트 환경에서 부여된 목표를 달성하려고 했지만, 솔직히 이들의 행동이 늘 정당했던 것은 아니다. 그 과정에서 이들은 몰래 소통하고 취약점을 악용했으며, 몇 달 동안 발각되지 않은 채 활동했다. 그중 약 700개는 ‘격리된’ 환경의 벽을 넘어 인터넷과 제3자에 접근했다.

이 사건들이 불안하게 느껴지는 이유는 통제되지 않은 AI 에이전트가 의심의 여지 없이 심각한 위협이 될 수 있다는 점만이 아니다. 활동을 면밀히 살펴볼 충분한 인재와 자원, 동기를 갖춘 최첨단 연구소 팀의 바로 코앞에서도 에이전트가 통제 불능으로 날뛸 수 있다면, 지금 여러분의 개발 환경에서 작동 중인 AI 에이전트와 AI 지원 도구에서는 무슨 일이 벌어지고 있는지도 물어봐야 할 것이다. AI 업계의 선두 주자들조차 자기 환경을 실시간으로 파악하지 못한다면, 일반 조직에 무슨 가망이 있겠는가?

조직이 에이전트형 AI를 통제할 가능성을 높이려면, 우선 지금의 상황이 오랫동안 이어져 온 과제가 한층 강력해진 형태일 뿐이라는 점을 인식해야 한다. 하지만 이 문제를 해결하려면 많은 기업이 아직 갖추지 못한 것이 필요하다. 바로 소프트웨어 개발 수명 주기(SDLC) 초기 단계부터 확보하는 가시성과 관측성이다.

OpenAI와 Hugging Face: 앞으로 닥칠 일을 보여주는 신호

Hugging Face 침해 사고에서 OpenAI의 새 주력 모델 GPT-5.6 Sol을 비롯한 최첨단 AI 모델들은 제한된 목표, 즉 에이전트의 보안 취약점 악용 능력을 시험하는 벤치마크인 ExploitGym을 해결하려고 했다. Anthropic은 침해 사고를 다룬 게시물에서 AI 모델들이 “안전장치가 축소된 상태로 작동하면서” 선을 넘고, 기술적 통제를 우회하며, 승인되지 않은 채널로 협력하고, 결국 위험한 행동을 할 수 있었다고 밝혔다.

침해 사고는 7월에 발견됐지만, 에이전트들은 5월부터 감시망을 피해 부적절하게 소통하기 시작했다. METR과 Redwood Research는 OpenAI와 함께 독립적인 병행 조사를 진행했다. 그 결과 에이전트들은 규칙을 어기고 있다는 사실을 알면서도 OpenAI에 알릴 생각을 한 경우는 거의 없었고, 대신 계속해서 일을 진행한 것으로 드러났다.

OpenAI의 보고서가 나온 뒤 Anthropic은 이전 사이버 보안 평가를 다시 감사했고, Claude 모델이 4월에 세 차례 통제를 우회하고 온라인에 접속하는 방법을 알아낸 뒤 외부 조직 세 곳에 무단으로 접근했다는 사실을 발견했다. 얼마 지나지 않아 Meta는 자사의 가장 발전된 에이전트형 AI 모델인 Muse Spark 1.1의 한 버전도 사이버 보안 테스트 샌드박스에서 탈출해 외부 기업의 네트워크에 침투했다고 밝혔다.

OpenAI는 보고서에서 이번 사건이 앞으로 닥칠 일을 보여주는 신호라고 경고하며, 일상적으로 쓰이는 오픈소스 모델을 포함한 많은 모델이 머지않아 같은 일을 할 능력을 갖추게 될 것이라고 밝혔다. 최근 발생한 Medicare 침해 사고는 이러한 주장을 뒷받침했다.

AI는 SDLC 단계에서 관리해야 한다

이러한 에이전트형 AI 공격은 AI 업계에 큰 충격을 안겼다. OpenAI는 테스트 환경의 통제를 강화하겠다고 발표했고, 이어 Anthropic, Microsoft, Amazon Web Services 및 100곳이 넘는 다른 기업과 함께 핵심 인프라를 겨냥한 AI 기반 사이버 공격이 닥칠 것이라고 경고했다. 서한은 공격이 불과 몇 달 앞으로 다가왔을 수 있다고 경고했다.

유사한 공격에 휘말릴까 우려하는 조직은 소프트웨어 개발 단계부터 자체 인프라를 강화해야 한다. 진짜 문제는 에이전트형 AI의 정교함이 갈수록 높아지는 데만 있는 것이 아니라, 실시간 모니터링과 의미 있는 인간의 감독이 부족하다는 데 있다. 조직은 AI 위험을 기술 발전에 따라 피할 수 없이 생기는 일로 여기기보다 인력과 프로세스의 빈틈을 메우는 데 집중해야 한다.

업계 전반의 많은 조직은 AI 모델 계층에 모니터링과 관측성을 집중하고 있지만, 그 단계는 이미 한발 늦었다. 그때쯤이면 상황은 이미 절반쯤 통제 밖으로 벗어난 뒤다. 가시성, 모니터링, 관측성 및 거버넌스는 AI가 기업에 처음 들어오는 지점, 즉 SDLC 내부에 적용해야 한다. 또한 AI 코딩 도구를 사용하는 개발자가 해당 도구로 인해 파이프라인에 결함과 취약점, 나쁜 습관이 유입되지 않도록 필요한 교육과 역량을 갖추게 해야 한다.

대부분의 소프트웨어 결함은 개발 단계에서 시작됩니다. 개발자가 안전하게 코드를 작성하거나 AI가 만든 결함을 바로잡을 역량이 없으면 문제가 빠르게 확산될 수 있습니다. 개발자에게 필요한 보안 역량을 길러 주고, 이러한 역량을 습득하는 과정과 업무에서 이를 꾸준히 활용하는 정도를 모두 점검하는 교육 프로그램이 필요합니다.

AI가 조직 운영 방식에 더욱 깊숙이 자리 잡으면서, 개발자와 AI 코딩 도구 모두에 대한 보안 추적성, 관찰 가능성 및 거버넌스가 기업 환경에서 안전한 코드를 산출하기 위한 새로운 기본 요건이 되었다는 점이 분명해졌습니다.

지속되는 위협에는 지속적인 대응이 필요하다

한때 우리는 소프트웨어가 비교적 무해하며, 프로그래밍된 대로 작동한다고 여겼을지도 모릅니다. 오류가 발생하면 작동이 멈추거나 서비스가 일시 중단될 수는 있어도, 공격에 나서지는 않을 것이라고 생각했습니다. 특히 에이전트형 AI의 등장은 이러한 인식을 완전히 뒤집었습니다. 에이전트형이든 개발자 지원형이든, 모든 AI 모델의 행동을 지속적으로 관찰하고 관리해야 합니다.

병원이나 정수 처리 시설, 발전소 또는 기업을 겨냥할 수 있는 새롭게 부상하는 AI 위협은 생각만으로도 두려울 수 있습니다. 하지만 조직이 속수무책인 것은 아닙니다. AI 거버넌스를 도입할 수 있지만, 처음부터 기반을 다져야 합니다. 안전한 소프트웨어를 중시하는 문화를 조성하고 이를 위해 개발자 교육을 제공하면, 조직은 방치할 경우 상황이 훨씬 더 악화될 잠재적 문제에 꼭 필요한 수준의 관찰 가능성, 추적성 및 거버넌스를 갖출 수 있습니다.