AI 에이전트는 더 지능적으로 되어가고, 그 공격 표면은 더 커져가고 있다

AI 에이전트가 대신 회의를 예약하고, 코드를 실행하고, 웹을 탐색하기 시작한 순간, 사이버 보안 대화는 변했다. 서서히가 아니라, 밤새도록 그렇게 되었다.

예전에는 예측 가능한 소프트웨어 시스템이었지만, 이제는 이유를 가지고 계획을 세우고, 도구와 API를 통해 행동하는 것이 되었다. 그것은 정말로 흥미롭고, 또한 정말로 두려운 것이다. 왜냐하면 그 자율성에 따른 공격 표면은 엄청나게 커졌고, 대부분의 조직은 아직도 그것을 이해하기 시작하고 있다.

그것은 정말로 흥미롭고, 또한 정말로 두려운 것이다. 왜냐하면 그 자율성에 따른 공격 표면은 엄청나게 커졌고, 대부분의 조직은 아직도 그것을 이해하기 시작하고 있다. 에이전트를 인프라에 도입하는 것의 의미를 이해하기 시작하고 있다.

채팅봇에서 운영자로

AI의 원래 약속은 간단했다: 질문을 하면答案을 얻는다. 그것은 여전히 대부분의 소비자 상호작용에서 사실이지만, 그것은 더 이상 기업에서 발생하는 일은 아니다. 오늘날의 에이전트는 자격증명, API 키, 데이터를 삭제, 생성 및 주석을 추가하는 능력,以及 실제 시스템에서 실제 행동을 취하는 능력을 받고 있다.

그 변화는 빠르게 일어났다. 2년 이내에, AI 에이전트는 텍스트 생성기에서 스무스한 다중 에이전트 설정을 허용하는 것으로 바뀌었다. 그들은 이메일을 읽고, 워크플ロー를 트리거하고, 데이터베이스를 쿼리하고, 경우에 따라 다른 에이전트를 관리한다. 이러한 수준의 접근은 예전에는 길고 긴 조달 과정과 인간의 개입이 필요했다. 이제는 구성 파일과 몇 개의 API 호출이다.

더 많은 접근은 더 많은 노출을 의미한다

전통적인 소프트웨어 공격에는 어느 정도 예측 가능한 프로파일이 있다. 알려진 진입점, 알려진 취약점, 알려진 패치가 있다. AI 에이전트는 이러한 모델을 깨뜨린다. 왜냐하면 그들은 설계상으로 동적이기 때문이다. 정적인 코드 경로를 따르지 않는다. 다음에 무엇을 할지에 대해 이유를 가지고, 행동은 예측하기 어렵고,事後에 감사를 하기에도 어렵다.

그 예측 불가능성은 작업을 수행하는 데 유용하다. 또한 시스템을 악용하려고 하는 사람에게도 유용하다. 에이전트가 작업 중에 외부 API를 호출하거나 제3자 도구를 가져올 수 있다면, 깨끗한 周囲을 방어할 수 없다.

보안 팀은 알려진 표면을 보호하고 쿠버네티스 비용을 모니터링하는 데 익숙하다. 에이전트는 새로운 표면과 취약점을 계속 발견하고, 아무도 그것을 실시간으로 매핑하지 않는다. 어느 순간에, 누군가가 자격증명을 탈취하고 전체 AI “유기체”를 하나의 동작으로 제어할 수 있다.

프롬프트 주입은 새로운 SQL 주입이다

보안 연구자들이 계속해서 언급하는 공격 벡터 중 하나는 프롬프트 주입이다. 공격者的 아이디어는 간단하다: 코드 취약점을 악용하는 대신, 에이전트가 받는 입력을 조작한다. 웹페이지, 문서, 또는 이메일에 포함된 악의적인 명령은 에이전트의 다음 행동을.redirect할 수 있다.

그것이 특히 날카로운 것은 에이전트가 정확히 무엇을 하는지에 따라 다르기 때문이다. 에이전트는 웹, 사용자 메시지, 제3자 도구의 내용을 처리한다. 그 내용 중任何 하나가 잠재적인 주입 표면이 될 수 있다. 타락한 문서를 읽고 그 내용에 따라 API 호출을 하는 에이전트는 탈취되었고, 그것은 아마도 아무런 로그도 남기지 않을 것이다.

그곳의 방어는 실제지만 불완전하다. 에이전트 행동을 샌드박스화하고, 특정 상황에서 에이전트가 호출할 수 있는 도구를 제한하고, 높은 위험의 워크플로에 인간 체크포인트를 구축하면 위험을 줄일 수 있다. 하지만 그것은 위험을 제거하지 않는다. 대부분의 조직은 아직도 기본적인 것을 구현하지 않았다.

다중 에이전트 시스템 내부의 신뢰 문제

다중 에이전트 시스템은 쉽게 과소평가되는 복잡성의 계층을 도입한다. 하나의 에이전트가 여러 다른 에이전트를 조율할 때, 신뢰 계층이 작동한다. 조율하는 에이전트는 지시를 내리고, 하위 에이전트는 그것을 따른다. 만약 그 조율하는 에이전트가 타락하면, 그 아래에 있는 모든 에이전트도 효과적으로 타락하고, 폭발 반경이 매우 빠르게 커진다.

또한過度 허가的问题이 있다. 에이전트는 종종 필요 이상으로 많은 접근 권한을 받는다. 왜냐하면 초기에 넓은 권한을 주는 것이 나중에 점진적으로 tinh chỉnh하는 것보다 쉽기 때문이다. 연구 에이전트는 생산 데이터베이스에 쓰기 권한이 필요 없다.

예약 에이전트는 재무 기록에 접근할 필요가 없다. 물론, 모든 것을 연결하는 것이 안심되지만, 그것은 너무 위험하다. 실제로는 경계가模糊하고, 최소한의 권한 원칙이 이론적으로 잘 작동하지만, 출하를 위한 급급한 상황에서 默默히 放棄된다.

여기서 합리적인 보안은 무엇인가?

에이전트 배치를 안전하게 하는 단일 솔루션은 없다. 그것은 계층적인 문제이고, 계층적인 반응이 필요하다. 잘하는 조직은 접근 제어로 시작한다: 각 에이전트에 정의된 狭い 범위와 외부 서비스나 민감한 시스템에 접근하는 모든 행동에 검토 단계를 구축한다.

관찰 가능성은 예방만큼 중요하다. 에이전트가 예상치 못한 행동을 하면, 팀은 지시를 받은 내용, 호출한 도구, 반환한 내용에 대한 전체 추적을 필요로한다. 대부분의 로깅 설정은 이러한粒度의 것을 염두에 두고 구축되지 않는다.事後에 그것을 리트로핏하는 것은 고통스럽다. 처음부터 구축하는 것이 마찰을 가치 있다.

적대적 테스트도 활용되지 않는다. 에이전트를 적대적으로 테스트하고, 악의적인 지시를 주입하고, 무슨 일이 일어나는지 관찰하는 것은 정적 코드 리뷰로는 결코 잡을 수 없는 취약점을 표면화한다. 그것은 불편한 생각이지만, 결국 시스템을 악용하려고 하는 사람들은 이미 그렇게 하고 있다. 먼저 그곳에 도착하는 것이 유일한 합리적인 동작이다.

최종 생각

AI 에이전트는 조직이 운영하는 방식의 더 큰 부분이 될 것이고, 그 변화는 이미 잘 진행되고 있다. 보안 대화는 따라잡아야 한다. 위험은 실제이고, 공격 벡터는 새로운 것이며, 그들을 앞서가는 창은 좁아지고 있다.

자율적인 AI 시스템의 위협 풍경을 이해하는 것은 더 이상 선택이 아니다. 그것은 보안 및 엔지니어링 팀이 지금 해야 할 가장 중요한 일 중 하나이며, 그것을 제대로 하는 시계는 이미 시작되었다.