2026년 AI 에이전트가 기업 전반에 폭발적으로 증가할 것: 보안 위험에 대비했는가?

기업은 AI 에이전트를 채택하기 위해 경쟁하고 있지만, 안전하게 그렇게 하기 위한 인프라가 부족합니다. 에이전트는 AI 도구와 다르며, 독립적으로 작동하고 데이터에 지속적으로 접근하며 감독 없이 기계 속도로 작동합니다. 이는 완전히 새로운 위험을 만들어내며, 이를 위해 준비해야 합니다.

이미 사람들은 업무에서 자신의 AI 에이전트를 사용하고 있지만, 반드시 상사에게 알리지 않습니다. OpenClaw 봇이 중요한 파일을 삭제하지 않도록 어떻게 보장할 수 있을까요? 4분의 3의 대기업은 2026년 말까지 다중 에이전트 시스템을 채택할 것이라고 가트너에 따르면, 각 에이전트가 새로운 방식으로 해커가 공격할 수 있는 문을 열지 않도록 어떻게 보장할 수 있을까요?

현재의 보안 인프라는 알려진 인간 속도의 위협에 대처하기 위해 설계되었습니다. 이는 우리가 모르는 사이에 악의적인 에이전트가 기업 코드를 篡改하는 것을 고려하지 않으며, 또한 프롬프트 주입 공격을 고려하지 않습니다. 즉, 코드나 프롬프트에 숨겨진 지시로 인해 AI가 민감한 정보를 노출하거나 악의적인 코드를 실행하는 것을 고려하지 않습니다.

사실, 기업은 이 即将 到来的 물결에 대해 준비가 안 된 상태에서 더 급급합니다. 마이크로소프트의 조사에 따르면, 기업의 29%만이 안전한 AI 보호를 가지고 있다고 강하게 동의합니다.

기업 리더들은 여러 가지 일을 해야 합니다.

1. 전사적으로 AI 네이티브 보안 조치를 구현합니다.
2. AI 에이전트에 대해 인간과 동일한 보안 조치를 취합니다.
3. 에이전트가 하는 일에 대한 가시성을 높입니다.

이러한 제어를 실행함으로써, 보안은 에이전트의 속도에 따라 움직이고, 혁신을 방해하는 대신에 촉진할 수 있습니다.

AI 네이티브 보안 만들기

2월에, 메타 보안 연구자는 X에惊人的 글을 게시했습니다. 그녀의 OpenClaw 봇이 이메일을 삭제하기 시작했으며, 중지하라는 명령을 무시했습니다. 손이 닿을 때까지 이미 손상이 발생했습니다.

이는 악의적인 AI가 작동하는驚人的 속도를 보여주는 예입니다. 인간에 의존하는 제어는 불충분합니다. 보안은 에이전트와 동일한 경로로, 에이전트와 동일한 속도로 움직여야 합니다.

이는 기업의 보안 인프라를 새로 고침을 의미합니다. 단순히 기존 도구를 업그레이드하는 것이 아닙니다. 여러 영역이 이 시스템 전반의 변화를 참여해야 합니다.

메타 연구자의 상황과 같은 빠른 상황을 피하기 위해서는 실시간으로 이상을 감지하고 자동으로 대응하는 AI 도구가 필요합니다. 예를 들어, 감독 에이전트를 배치하여 다른 에이전트가 실행하는 고영향 작업을 검토할 수 있습니다. 에이전트 위협 인텔리전스(ATI) 도구를 사용하여 잠재적인 공격의 초기 단계에서 자동으로 감지하고 대응할 수 있습니다.

또 다른 중요한 예방 메커니즘은 실제로 시스템에 배포되는 모델의 안전을 보장하는 것입니다. ProtectAI, TrojAI 또는 Aim Security와 같은 플랫폼을 사용하여 프롬프트 주입과 같은 직접적인 위험을 테스트할 수 있습니다.

에이전트가 노출되는 데이터의 출처를 보장하는 것도 중요합니다. Databricks Unity Catalog, Collibra 또는 Alation과 같은 도구를 사용하여 데이터 이동을 관리할 수 있습니다.

에이전트를 배포하는 물리적 장치를 보안함으로써 에이전트를 篡改하는 것을 방지할 수 있습니다. CrowdStrike과 같은 플랫폼을 사용하여 AI 자격 증명의 악용을 방지하고 비정상적인 동작을 감지할 수 있습니다.

내부 운영과 벤더 선택을 위한 원칙을 정립하는 것이 중요합니다. 기존 산업 프레임워크를 사용하여 안전한 아키텍처를 구축할 수 있습니다. 예를 들어, Google SAIF를 사용하여 안전한 아키텍처를 구축하거나, AWS CAF-AI를 사용하여 AI 거버넌스를 구축하거나, NIST AI RMF를 사용하여 규정 준수를 구축할 수 있습니다. OWASP Gen AI 보안 프로젝트는 기업이 AI를 배포할 때 발생하는 위험을 완화하기 위한 오픈 소스 프로젝트입니다.

인간과 동일한 제한을 AI에 부여하기

작년, 투자자는 Replit AI 에이전트를 사용하여 코드를 작성하고 있었습니다. 그러나 9일째 되는 날, 에이전트가 라이브 프로덕션 데이터베이스에서 코드를 삭제하여 1,200개의 회사에 영향을 미쳤습니다.

에이전트는 독립적으로 작동할 수 있기 때문에, 문서, 데이터 및 API에 대한 광범위한 접근을 허용하는 것은 재앙적일 수 있습니다. 이유 중 하나는 기업이 에이전트에게 “아이디”를 할당하지 않기 때문입니다. 즉, 에이전트의 접근을 추적, 모니터링 및 관리할 수 없습니다.

기업은 에이전트에게 아이디를 할당함으로써 행동할 수 있습니다. 아이디 접근 관리 제공업체는 에이전트가 접근할 수 있는 영역을 엄격하게 관리할 수 있으며, 에이전트가 접근할 수 있는 시간과 위험한 동작을 감지할 수 있습니다. 이는 에이전트가 필요하지 않은 영역에 대한 과도한 접근을 줄입니다. 또한 에이전트가 작동하는 영역에서 에이전트가 할 수 있는 것을 제한합니다.

에이전트에게 아이디를 할당하면 외부 악당으로부터의 위협도 줄입니다.

연구팀이 AI 애플리케이션에 악의적인 프롬프트를 주입했을 때, 한 사용자가 다른 사용자의 개인 데이터를 가져올 수 있었습니다. 이는 사용자 수준의 데이터가 안전하게 분리되지 않았으며, 관련이 없는 시나리오에서 AI에 데이터에 대한 승인이 부여되었음을 보여줍니다.

AI “아이디”에 대한 경계를 설정하면 에이전트가 항상 접근할 수 있는 권한을 가지지 않습니다. 예를 들어, 에이전트는 특정 기능에 대한 승인을 필요로 하거나, 특정 영역에서 읽기 전용 기능을 가질 수 있습니다. 이를 통해 에이전트가 해킹되거나 악의적인 동작을 취해도, 영향은 치명적이지 않습니다.

리더십은 또한 팀원들에게 에이전트가 은밀하게 작동하는 위험에 대해 교육해야 합니다. 위험은 더 커질 수 있습니다. 직원이 승인 없이 “숨은” 에이전트를 워크스페이스에 연결했을 때, 적절한 아이디와 보안을 제공하지 않았을 때입니다. 또한 Zero Standing Privileges(ZSP) 접근 방식을 사용하여 에이전트의 기본 접근 권한을 0으로 설정할 수 있습니다. 이를 통해 승인되지 않은 에이전트가 연결되면, 모든 문이 닫혀있는 환경에 들어가게 됩니다.

에이전트를 감시하기

우리는 “AI는 블랙 박스”라는 비유를 알고 있지만, 비즈니스에서 AI를 배포할 때는 반드시 관찰하고 모니터링해야 합니다.

엄격한 보안 정책을 시행하기 위해, 모든 에이전트는 관리되어야 합니다. 즉, 에이전트는 명확하게 문서화된 소유권, 책임 및 제어가 있어야 하며, 에이전트의 경로를 정확하게 추적할 수 있어야 합니다. 또한 원격 모니터링을 통해 에이전트의 동작을 추적하고, 기존의 보안 도구에 대한 적응형 신뢰 점수를 제공할 수 있어야 합니다.

리더십은 이 새로운 보안 전선을 심각하게 받아들이고, 다양한 팀이 AI 에이전트를 사용할 때 책임을 지도록 해야 합니다. 이를 위해 새로운 컴플라이언스 KPI를 생성할 수 있습니다. 예를 들어, “데이터셋에 대한 검증된 출처의 수”, “관리되는 아이디를 가진 에이전트의百分比”, 또는 “AI 신뢰 점수”를 생성할 수 있습니다.

이것은 예방에 중요하지만, 또한 감사 가능성에도 중요합니다. 즉, 비인간 아이디도 감사 추적을 위해 필요합니다.

우리는 일반적으로 인간이 어떻게 행동하고 어떤 경로를 따르는지 이해합니다. 그러나 AI는 완전히 새로운 존재입니다. AI가 작동하는 방식에 대해 우리가 모르는 것이 많습니다. 일부 기업은办公실에서 AI를 차단하는 단기적인 해결책을 선택하고 있지만, 이는 문제를 단지 지연시키거나 직원이 숨어있는 AI를 사용하게 만들 것입니다. 이미 普及되고 있는 에이전트를 위한 보안 아키텍처를事前に 준비해야 합니다.