사이버 보안

더 똑똑해지는 AI 에이전트, 함께 커지는 공격 표면

Gary Espinosa
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트AI 에이전트의 예측 불가능한 자율성은 기존 보안 모델로는 대응하기 어려운 방대하고 역동적인 공격 표면을 생성합니다.
더 보기
  • AI 에이전트의 예측 불가능한 자율성은 기존 보안 모델로는 대응하기 어려운 방대하고 역동적인 공격 표면을 생성합니다.
  • 프롬프트 인젝션 공격은 문서나 웹페이지 같은 일상적인 입력을 통해 에이전트의 지시를 조작합니다.
  • 다중 에이전트 시스템은 신뢰 계층 구조와 중요 시스템에 대한 과도한 권한 접근을 통해 위험을 위험하게 증폭시킵니다.

AI 에이전트가 사용자를 대신해 회의를 예약하고, 코드를 실행하고, 웹을 탐색하기 시작한 순간 사이버 보안 논의는 달라졌다. 서서히가 아니라 하룻밤 사이에 바뀌었다.

이전에는 범위가 한정되고 예측 가능한 소프트웨어 시스템이었던 것이 이제는 추론하고 계획하며, 불과 1년 전만 해도 존재를 거의 알지 못했던 도구와 API를 통해 행동하는 시스템이 되었다.

이는 매우 흥미로운 동시에 두려운 변화다. 이러한 자율성에 따르는 공격 표면은 막대하며, 대부분의 조직은 이제야 에이전트를 인프라에 도입한다는 것이 무엇을 의미하는지 이해하기 시작했기 때문이다.

챗봇에서 실행 주체로

AI의 본래 약속은 간단했다. 질문하면 답을 얻는다는 것이었다. 대부분의 소비자 상호작용에서는 여전히 그렇지만, 기업이 AI를 도입하는 현장에서는 더 이상 그 정도에 머무르지 않는다. 오늘날 에이전트에는 인증 정보와 API 키뿐 아니라 데이터를 삭제하거나 생성하고 주석을 추가할 수 있는 권한까지 주어진다. 실제 결과를 초래하는 시스템 안에서 직접 행동할 수도 있다.

변화는 빨랐다. 2년도 되지 않는 사이에 AI 에이전트는 텍스트 생성기에서 여러 에이전트가 원활하게 작동하는 시스템을 운영할 수 있게 해 주는 도구로 발전했다. 이메일을 읽고, 워크플로를 실행하고, 데이터베이스에 질의하며, 경우에 따라서는 하위 에이전트를 관리하기도 한다. 이 정도의 접근 권한을 얻으려면 이전에는 긴 조달 절차와 사람의 참여가 필요했다. 이제는 설정 파일 하나와 몇 번의 API 호출이면 된다.

접근이 늘면 노출도 늘어난다

전통적인 소프트웨어 공격은 어느 정도 예측 가능한 양상을 보인다. 알려진 진입점과 취약점, 패치가 있다. AI 에이전트는 설계 자체가 동적이기 때문에 이 모델을 깨뜨린다. 정해진 코드 경로를 따르는 대신 다음에 무엇을 할지 추론한다. 따라서 그 행동은 예측하기가 더 어렵고 사후에 감사하기는 훨씬 더 어렵다.

이러한 예측 불가능성은 업무를 수행하는 데 유용하다. 시스템의 허점을 악용하려는 사람에게도 이점이 된다. 에이전트가 작업 도중 외부 API를 호출하거나 제3자 도구를 사용하기로 결정할 수 있다면, 방어할 수 있는 명확한 경계가 없다.

보안 팀은 알려진 공격 표면을 보호하고 쿠버네티스 비용을 모니터링하는 데 익숙하다. 에이전트는 계속해서 새로운 공격 표면과 취약점 악용 방법을 발견하며, 이를 실시간으로 파악하는 사람은 없다. 미처 알아차리기도 전에 누군가 인증 정보를 탈취하고 단 한 번의 행동으로 AI “유기체” 전체의 통제권을 장악할 수 있다.

프롬프트 인젝션은 새로운 SQL 인젝션이다

보안 연구자들이 계속 주목하는 공격 벡터가 있다면 바로 프롬프트 인젝션이다. 원리는 간단하다. 공격자는 코드 취약점을 악용하는 대신 에이전트가 입력을 통해 받는 지시를 조작한다. 웹페이지에 삽입된 악성 지시나 문서, 심지어 이메일에 삽입된 악성 지시가 에이전트의 다음 행동을 다른 방향으로 유도할 수 있다.

특히 위험한 이유는 에이전트가 흔히 지시받은 내용을 그대로 수행하기 때문이다. 에이전트는 웹, 사용자 메시지, 제3자 도구에서 온 콘텐츠를 처리한다. 이 모든 콘텐츠가 잠재적인 인젝션 표면이 될 수 있다. 변조된 문서를 읽고 그 내용에 따라 API를 호출하는 에이전트는 이미 탈취된 상태이며, 인과관계를 명확하게 드러내는 로그는 남기지 않을 가능성이 높다.

이를 막는 방어책은 실제로 존재하지만 불완전하다. 에이전트의 행동을 샌드박스에서 실행하고, 특정 맥락에서 호출할 수 있는 도구를 제한하며, 중대한 결과가 따르는 워크플로에 사람의 확인 단계를 두면 모두 위험을 줄일 수 있다. 하지만 위험을 없애지는 못한다. 대부분의 조직은 아직 기본적인 조치조차 시행하지 않았다.

다중 에이전트 시스템 내부의 신뢰 문제

다중 에이전트 시스템은 쉽게 과소평가할 수 있는 복잡성의 층을 더한다. 한 에이전트가 여러 에이전트를 조율할 때는 신뢰의 계층이 형성된다. 조율자는 아래로 지시를 전달하고 하위 에이전트는 이를 따른다. 조율자가 침해당하면 그 아래의 모든 에이전트도 사실상 침해당한 것과 같다는 점에서 피해 범위가 매우 빠르게 커진다.

과도한 권한 부여도 문제다. 처음부터 넓은 권한을 주는 편이 반복적으로 조정하는 것보다 쉬워, 에이전트는 필요한 것보다 더 많은 접근 권한을 받는 경우가 많다. 조사 에이전트에게 운영 데이터베이스에 대한 쓰기 권한은 필요하지 않다.

회의 일정을 잡는 에이전트는 재무 기록에 접근할 필요가 없다. 물론 모든 것이 서로 연결되어 있으면 안심이 될 수 있다. 하지만 이점이 줄어들지 않고 유지되기에는 위험이 너무 크다. 실제로는 경계가 흐려지고, 이론적으로는 잘 작동하는 최소 권한 원칙도 제품을 출시하려는 조급함 속에서 조용히 포기된다.

이 상황에서 합리적인 보안이란

에이전트 도입을 안전하게 만드는 단 하나의 해결책은 없다. 여러 층이 얽힌 문제에는 다층적인 대응이 필요하다. 이를 잘하는 조직은 대체로 접근 제어부터 시작한다. 각 에이전트에 명확하고 좁은 범위를 정해 주고, 민감한 시스템이나 외부 서비스에 영향을 미치는 모든 행동에 검토 단계를 넣는다.

관측 가능성은 예방만큼 중요하다. 에이전트가 예상 밖의 행동을 하면 팀은 어떤 지시를 받았는지에 관한 완전한 추적 기록이 필요하다. 어떤 도구를 호출했고 어떤 결과를 반환했는지도 알아야 한다. 대부분의 로깅 시스템은 이 정도의 세부 정보를 염두에 두고 설계되지 않으며, 나중에 이를 덧붙이려면 큰 어려움이 따른다. 처음부터 넣는 데 드는 수고를 감수할 가치가 있다.

공격자 관점의 테스트도 충분히 활용되지 않는다. 에이전트에 레드팀 테스트를 수행하면서 특히 악성 지시를 주입해 보고 그 결과를 관찰하면, 정적 코드 검토로는 절대 발견할 수 없는 취약점이 드러난다. 생각하기 불편하지만, 언젠가 이 시스템의 허점을 악용하려 할 사람들은 이미 이런 테스트를 하고 있다. 그들보다 먼저 움직이는 것만이 합리적인 선택이다.

마무리

AI 에이전트는 조직의 업무 방식에서 더 큰 비중을 차지할 것이며, 이 변화는 이미 본격적으로 진행 중이다. 보안 논의도 이를 따라잡아야 한다. 그것도 빠르게 따라잡아야 한다. 위험은 현실이고 공격 벡터는 새로우며, 이에 앞서 대응할 수 있는 시간은 줄어들고 있다.

자율 AI 시스템의 위협 환경을 이해하는 일은 더 이상 선택 사항이 아니다. 지금 보안 팀과 엔지니어링 팀이 할 수 있는 가장 중요한 일 중 하나이며, 이를 제대로 해내기 위한 시간은 이미 흐르기 시작했다.

Gary는 소프트웨어 개발, 웹 개발 및 콘텐츠 전략 분야에서 10년 이상의 경력을 가진 전문 작가입니다. 그는 전환을 촉진하고 브랜드 충성도를 구축하는 고품질의 매력적인 콘텐츠 제작을 전문으로 합니다. 그는 청중을 사로잡고 정보를 제공하는 이야기를 만드는 열정을 가지고 있으며, 항상 새로운 방법으로 사용자를 참여시키려고 노력합니다.