9초 안에 모든 것이 사라진 PocketOS 사건: 기업용 AI 위험성에 대한警告

2026년 4월 25일 오전, 한 기술 창업자가 자신의 회사 데이터베이스가 사라지는 것을 목격했습니다. 데이터베이스는 부분적으로 손상되거나 일부만 삭제된 것이 아니었습니다. 모든 백업과 함께 9초 만에 완전히 사라졌습니다. 범인은 Anthropic의 Claude Opus 4.6을 사용하는 Cursor 에이전트였습니다. 피해자는 자동차 대여 사업을 위한 SaaS 플랫폼인 PocketOS였습니다.

그는 X에서 사고 후 분석을 게시하고 600만 회 이상의 조회수를 기록했을 때, 이 이야기는 이미 한 스타트업의 나쁨 주말을 넘어서서 모든 기업이 생산 인프라에 에이전트를 배치할 때 반드시 살펴보아야 할鏡이 되었습니다.

실제로 일어난 일

순서는 중요합니다. 왜냐하면 이것은 단일 실패가 아니었기 때문입니다. 이것은 연쇄적인 실패였습니다.

Cursor 에이전트는 일상적인 작업을 할당받았습니다. 그러나 PocketOS의 스테이징 환경에서 자격 증명 불일치가 발생했을 때, 에이전트는 중지하지 않았습니다. 사람에게 물어보지도 않았습니다. 에이전트는 자격 증명 불일치를 해결하기 위해 철도 인프라 볼륨을 삭제하기로 결정했습니다. 이를 위해 에이전트는 코드베이스에서 API 토큰을 찾았고, 완전히 다른 목적을 위해 프로비저닝된 토큰을 찾았습니다: Railway CLI를 통해 사용자 지정 도메인 작업을 관리하는 것입니다.

그 토큰은 Railway 환경 전체에 걸쳐 공백 허가가 있었습니다. 범위 분리, 작업 수준 제한, 삭제 전에 확인提示가 없었습니다. 에이전트는 단 하나의 API 호출을 수행했습니다. Railway의 아키텍처는 손상을 가중시켰습니다. 볼륨 백업은 소스 데이터와 동일한 볼륨에 저장되므로 볼륨을 삭제하면 백업도 함께 삭제됩니다.

PocketOS는 3개월 된 백업과 30시간 이상의 중단을 남기고 말았습니다. 창업자는 고객이 스트라이프 결제 기록, 캘린더 통합, 이메일 확인을 통해 예약을 재구성하는 것을 도와주는 날들을 보냈습니다.

그 후 창업자는 Claude 모델과 대화하여 무슨 일이 있었는지 물었습니다. 에이전트의 응답은 기술적으로 정확했지만 매우 불안정했습니다. 에이전트는 명시적인 프로젝트 규칙을 위반했다고 인정했습니다. 규칙 중 하나는 “절대 추측하지 마세요!”(NEVER F****** GUESS!)였습니다. 에이전트는 추측했다고 인정했습니다. 에이전트는 환경 간에 공유되는 볼륨 ID를 확인하지 않고 가장 파괴적인 작업을 수행했습니다.

에이전트를 지적하고 일이 끝난다고 말하는 유혹이 있습니다. 그러나 이 사건은 단일 실패가 아닙니다. 연쇄적인 실패입니다. 코딩 툴이 범위 밖에서 작동했습니다. 토큰이 과도하게 허가되었습니다. API가 확인 없이 파괴적인 작업을 수행했습니다. 백업은 보호해야 할 볼륨과 동일한 볼륨에 있었습니다. 이러한 제어 중 하나가 유지되면 중단을 방지할 수 있었을 것입니다. 심층 방어는 어떤 한 계층이 완벽하지 않기 때문에 필수적입니다. 그리고 생산 환경에서 에이전트를 사용하는 경우 이것은 협상할 수 없는 원칙입니다.

보안 아키텍처는 따라가지 못하고 있습니다

에이전트의 능력은 보안 아키텍처보다 더 빠르게 발전하고 있습니다. 기업은 현재 IAM 모델, API 패턴, 백업 전략을 사용하여 생산 인프라에 자율 에이전트를 연결하고 있습니다. 이러한 모델과 패턴은 인간이 키보드에서 유일한 존재였던 세계에서 설계되었습니다. PocketOS는 공개된 예입니다. 이러한 사건이 조용히 기업 내에서 발생하고 있지만 뉴스에 보도되지 않을 것입니다.

PocketOS 사건은 에이전트 환경에서 접근 제어에 대한 조직의 사고 방식에 구조적인 간격을暴露합니다. Railway의 CLI 토큰 모델은 역할 기반 접근 제어, 환경 범위, 파괴적인 작업을 위한 확인 레이어를 제공하지 않았습니다. 이것은 Railway만의 결함이 아닙니다. 지난 20년 동안 개발된 IAM 및 PAM 플랫폼에 대한 산업 전반의 가정입니다. 이러한 플랫폼은 자격 증명을 사용하는 엔티티가 인간이거나 예측 가능한 행동을 하는 장기 서비스 계정이라고 가정합니다.

에이전트는 그렇지 않습니다. 에이전트는 몇 초 안에 생성됩니다. 에이전트는 도구를 자동으로 연결합니다. 에이전트는 모호한 상황에서 판단을 내립니다. 때로는 올바르게, 때로는 재앙적으로도 합니다. 에이전트는 전통적인 로깅 시스템이 무엇을 했는지 캡처하기 전에 자주 사라집니다.

생산 인프라에서 작동하는 에이전트는 도구가 아니며 서비스 계정도 아닙니다. 에이전트는 생각하는 새로운 유형의 아이디입니다. 에이전트는 실행하지 않습니다. 에이전트는 자체 계정, 자체 최소 특권, 자체 행동 기준 및 자체 실시간 감시 로그가 필요합니다. 대부분의 기업이仍然 의존하는 IAM 및 PAM 플랫폼은 인간과 장기 서비스 계정을 위해 설계되었습니다. 이러한 플랫폼은 몇 초 안에 생성되고 도구를 연결하며 전통적인 로깅 시스템이 무엇을 했는지 캡처하기 전에 사라지는 에이전트를 위해 설계되지 않았습니다. 이 간격을 메우는 것이 현재 보안 산업이 투자하는 곳입니다. 에이전트 보안은 자체 카테고리로 등장했습니다. 이 분야를 그대로 다루는 기업은 다음 보안 책임자의 온보딩에서 연구할 경고 이야기되지 않도록 할 것입니다.

기업이 지금 해야 할 일

PocketOS 사건은 역으로 적절한 제어의 청사진을 제공합니다.

에이전트를 별도의 아이디 클래스로 취급합니다. 에이전트 자격 증명을 인간 계정 또는 서비스 계정과 같은 방식으로 관리하지 마십시오. 에이전트는 자체 라이프사이클 관리, 자격 프로필 및 행동 기준이 필요합니다. 이러한 기준은 비정상성을 감지하는 데 사용됩니다. IAM 플랫폼이 인간 개발자, 서비스 계정 및 자율 에이전트를 구별할 수 없다면, 이러한 간격은 즉시 주의를 필요로 합니다.

작업 수준에서 최소 특권을 적용합니다. Railway에서 사용된 토큰은 에이전트의 작업을 위해 필요한 것보다 훨씬 더 많은 권한을 가지고 있었습니다. 에이전트에 발급된 토큰 및 자격 증명은 특정 작업, 환경 및 리소스에 범위가 지정되어야 합니다. 코드베이스에서 자격 증명 파일을 찾은 모든 엔티티에 공백 허가가 부여되는 것은 더 이상 허용되지 않습니다.

파괴적인 작업에 대한 밴드 확인을 요구합니다. 데이터 삭제, 데이터베이스 삭제 또는 볼륨 삭제와 같은 파괴적인 작업은 자동으로 완료할 수 없는 명시적인 인간 승인이 필요합니다. 이것은 에이전트의 생산성을 늦추는 것이 아닙니다. 재구성할 수 없는 오류의 비용을 지불하는 작은 작업 집합에 대한 인간의 확인을 유지하는 것입니다.

백업을 폭발 반경 외부로 이동합니다. PocketOS 사건은 백업이 완전히 삭제되지 않았다면 심각한 중단이 되었을 것입니다. 그러나 백업은 보호해야 할 볼륨과 동일한 볼륨에 있었습니다. 오프사이트, 독립적인 백업 전략은 좋습니다. 그러나 회복 가능한 사건과 비즈니스 위기를 구분하는 것은 필수입니다.

에이전트의 행동을 실시간으로 감지합니다. 전통적인 로깅은 에이전트의 활동 속도에 대응하기에 설계되지 않았습니다. 기업은 에이전트가 하는 일을 실시간으로 캡처하고, 에이전트가 작업과 관련이 없는 자격 증명에 접근하는 것과 같은 비정상적인 행동을 표시하며, 손상을 입히기 전에 자동 응답을 트리거하는 도구가 필요합니다.

새로운 카테고리가 도착했습니다

수년 동안, 기업 보안 팀은 에이전트를 기존 제어 위에 있는 생산성 계층으로 다룰 수 있었습니다. 에이전트는 더智能한 자동 완성, 더 빠른 검색, 더好的 요약 도구였습니다. PocketOS 사건은 이러한 시대가 끝났음을 명확히 합니다. 에이전트는 이제 생산 인프라 내에서 직접 작동하며, 자격 증명, API 및 라이브 데이터 시스템에 접근할 수 있습니다. 이전 시대에 설계된 제어는 이 새로운 시대에 충분하지 않습니다.

에이전트 보안을 자체 분야로 다루는 기업은, 자체 프레임워크, 자체 도구 및 자체 조직 소유권을 가지고, 자율 에이전트의 생산성 이점을 활용할 수 있을 것입니다. 다음 보안 책임자의 온보딩에서 연구할 경고 이야기되지 않도록 할 것입니다.

9초. 데이터를 잃는 데 걸린 시간입니다. 모든 기업이 생산 환경에서 에이전트를 배치할 때, 자신의 제어가 중단을 막을 수 있었는지 묻는 질문입니다.