사이버 보안
Cato Networks, 유해한 AI 에이전트 동작을 실행 전에 차단하는 AgentSense 공개

핵심 포인트AgentSense는 신뢰할 수 없는 콘텐츠가 에이전트의 행동을 어떻게 조종하는지 추적하여 간접 프롬프트 주입을 겨냥합니다.
더 보기
- AgentSense는 신뢰할 수 없는 콘텐츠가 에이전트의 행동을 어떻게 조종하는지 추적하여 간접 프롬프트 주입을 겨냥합니다.
- 유효한 자격 증명은 에이전트가 유해한 행동으로 조작될 수 있기 때문에 안전한 행동을 보장하지 않습니다.
- Cato의 10,000달러 챌린지는 연구자들에게 AgentSense가 적대적인 워크플로 리다이렉션에 저항하는지 시험해 보도록 초대합니다.
Cato Networks가 유해한 AI 에이전트 동작이 실행되기 전에 차단하도록 설계된 런타임 보안 기능 AgentSense를 공개했다. Cato AI Labs가 개발한 이 기술은 신뢰할 수 없는 콘텐츠가 에이전트의 행동에 어떤 영향을 미치는지 추적한다. 이를 통해 일반적인 접근 권한만으로는 완전히 해결할 수 없는 위험을 다룬다. 에이전트에 정당한 자격 증명이 있더라도 조작당해 잘못된 행동을 할 수 있기 때문이다.
Cato는 AgentSense가 자사 플랫폼에 통합되어 있으며, Cato AI Usage 라이선스에 추가 비용 없이 포함될 예정이라고 밝혔다. 이번 발표와 함께 진행되는 적대적 테스트 챌린지에서는 보호된 워크플로를 악의적인 동작으로 성공적으로 유도한 적격 참가자 중 선착순 3명에게 각각 10,000달러를 지급한다.
유효한 권한이 있어도 안전하지 않은 동작이 발생할 수 있다
기업용 에이전트는 작업을 완료하기 위해 이메일을 읽고, 문서를 검색하고, 웹사이트를 참조하고, 도구를 호출해야 할 수 있다. 각 출처는 에이전트가 활용할 수 있는 정보를 늘리는 동시에, 외부 텍스트가 에이전트의 다음 단계에 영향을 미칠 가능성도 만든다.
간접 프롬프트 인젝션은 바로 이 경계를 악용한다. 공격자는 권한이 있는 사용자로 가장해 직접 지시하는 대신, 에이전트가 작업 중 접하는 자료에 지시를 숨긴다. 문서, 티켓, 웹페이지 또는 도구 응답에 워크플로의 방향을 바꾸거나 정보를 노출하거나 무관한 동작을 유발하려는 텍스트가 포함될 수 있다.
에이전트가 애플리케이션에 접근할 수 있는지 확인하는 일은 여전히 중요하다. 하지만 이는 특정 동작이 사용자가 승인한 작업에 부합하는지와는 다른 질문이다. 예를 들어 에이전트가 업무 기록을 읽을 권한은 있어도, 검색한 문서가 제안한 목적지로 해당 기록을 보내도록 승인받은 것은 아닐 수 있다.
AgentSense는 실행 중 에이전트의 행동을 평가해 민감한 동작이 수행되기 전에 개입할 수 있도록 하는 것을 목표로 한다.
AI 세션에서 신뢰할 수 없는 콘텐츠의 영향 추적
발표된 신뢰할 수 없는 영향력 탐지 기능은 AI 세션 내에서 신뢰할 수 있는 지시와 신뢰할 수 없는 콘텐츠를 구분하고, 후자가 행동과 출력에 어떤 영향을 미치는지 추적한다. Cato는 신뢰할 수 없는 자료가 에이전트를 안전하지 않은 단계로 유도하는 것을 탐지하면 해당 동작을 차단한다고 밝혔다.
공격이 익숙한 악성 프롬프트처럼 보이지 않아도 되기 때문에 이러한 구분은 중요하다. Cato는 AgentSense가 정적인 분류기나 이미 관찰된 공격 패턴 목록에 의존하는 대신 영향력을 평가한다고 설명한다. 이를 통해 알아볼 수 있는 유형뿐 아니라 새로운 형태의 간접 프롬프트 인젝션에도 대응하는 것을 목표로 한다.
보도자료는 이 기술이 특허를 받았다고 설명하지만, 특허 식별 번호나 구체적인 구현 방식, 독립적인 효과성 벤치마크는 제시하지 않는다. 따라서 이전에 발견되지 않은 공격을 막는다는 주장은 모든 프롬프트 인젝션 시도가 차단된다는 보장이 아니라, 제품이 의도한 보안 기능으로 이해해야 한다.
실무적으로 중요한 점은 보안 계층이 문서를 증거로 활용하는 것과 문서를 권한 있는 지시로 취급하는 것을 구분할 만큼 충분한 세션 및 동작 맥락을 갖추고 있는지 여부다. AgentSense는 바로 이 구분을 겨냥한다.
이탈 탐지는 별도로 계획된 기능
Cato는 AgentSense 이탈 탐지 기능도 향후 제공할 기능으로 소개한다. 계획된 이 기능은 워크플로가 진행되는 동안 에이전트의 동작이 계속해서 원래 작업에 부합하는지 평가한다.
이 기능은 영향력 탐지를 보완하지만, 정확히 같은 문제를 다루지는 않는다. 신뢰할 수 없는 영향력 탐지는 외부 콘텐츠가 동작을 유도하고 있는지 살핀다. 이탈 탐지는 개별 단계가 기술적으로 허용된 경우에도 해당 동작이 여전히 목표에 부합하는지 확인하도록 설계됐다.
워크플로에는 목적 달성에 더 이상 기여하지 않는 단계가 점차 쌓일 수 있다. 이러한 이탈을 감지하려면 모든 도구 호출을 따로 판단하는 대신, 세션 전반에 걸쳐 승인된 목표를 파악해야 한다. 보도자료에는 이탈 탐지 기능의 별도 출시 일정이 명시되어 있지 않다.
AgentSense와 Cato의 기존 AI 보안 플랫폼
Cato의 에이전트형 AI 보안 솔루션은 이미 에이전트와 모델 컨텍스트 프로토콜 서버를 찾아내고, 도구 호출을 프로파일링하며, 에이전트 상호작용에 정책을 적용하는 제어 기능을 제공한다. Cato의 더 폭넓은 플랫폼은 네트워킹, 접근 및 보안 맥락을 결합한다.
회사는 직원의 AI 사용에 대한 보안과 애플리케이션 보호도 구분한다. 애플리케이션을 위한 AI 보안 솔루션은 배포된 AI 애플리케이션에 대한 런타임 가시성, 프롬프트와 응답 검사, 구성 가능한 보호 기능을 제공한다고 설명한다. 이는 워크플로 중 수행되는 동작의 무결성에 초점을 맞춘 AgentSense의 배경을 보여준다.
실제로 AI 사용을 통제하려면 서로 연관된 여러 사항을 결정해야 한다. 조직이 어떤 서비스를 허용하는지, 어떤 데이터가 해당 서비스에 전달될 수 있는지, 에이전트가 접한 정보를 바탕으로 무엇을 할 수 있는지를 정해야 한다. AgentSense는 이 체계에 행동 측면의 기능을 더해, 신뢰할 수 없는 콘텐츠가 동작 자체를 유도하는 시점을 식별한다.
프롬프트 인젝션 연구가 보여 주는 경계의 중요성
Cato의 EchoLeak 연구는 외부에서 제공된 콘텐츠로 인해 Microsoft 365 Copilot이 컨텍스트에 포함된 정보를 노출할 수 있는 공격 경로를 설명합니다. 에이전트 보안 측면에서 중요한 점은 외부 자료를 읽는 데서 그치지 않고, 그 안에 삽입된 지시에 따라 행동하는 단계로 넘어간다는 것입니다.
Cato의 CurXecute 연구는 다른 결과를 살펴봤습니다. 외부 콘텐츠를 통한 프롬프트 인젝션으로 코딩 에이전트가 MCP 구성을 수정하고 명령어를 실행하게 될 수 있다는 것입니다. Cato의 설명에 따르면 Cursor는 버전 1.3에서 해당 취약점을 수정했습니다. 이 사례는 하나의 실패 유형을 보여 주는 것이며, 패치된 문제가 아직 해결되지 않았다는 의미로 받아들여서는 안 됩니다.
두 사례 모두 어시스턴트가 민감한 데이터나 실행 도구에 접근할 수 있게 되면 콘텐츠의 출처가 중요한 이유를 보여 줍니다. 정보 검색으로 시작한 상호작용도 검색된 텍스트가 워크플로의 제어 흐름을 바꾸면 보안 사고로 이어질 수 있습니다.
보호 기능을 시험하는 공개 챌린지
AgentSense Challenge는 보안 커뮤니티가 보호되는 워크플로에 지시문을 심고 에이전트가 사용자의 의도에서 벗어나도록 유도해 보도록 초대합니다. Cato는 발견 사항과 참가자 피드백을 바탕으로 추가 평가와 개선을 진행할 예정이라고 밝혔습니다.
발표에 따르면 자격 요건을 충족하고 성공적으로 참여한 상위 3명에게 각각 $10,000가 지급됩니다. 제공된 보도자료에는 최종 챌린지 URL이나 세부 규칙이 포함되어 있지 않으므로, 참가 자격과 테스트 범위는 공개된 프로그램 약관에 따라 결정됩니다.
에이전트의 자율성을 확대하는 기업에 AgentSense는 구체적인 필요를 충족합니다. 사용자가 승인한 작업과 AI 시스템이 실제로 실행하는 행동 사이의 연결을 유지하는 것입니다. 이 기술의 가치는 정당한 작업을 계속 허용하면서 그 경계를 얼마나 일관되게 지킬 수 있는지에 달려 있습니다.












