์ฌ์ ๋ฆฌ๋
์ด๊ธฐ AI ์์ด์ ํธ ๊ณต๊ฒฉ์ด 2026๋ ์ ๋ํด ์ฐ๋ฆฌ์๊ฒ ๋ฌด์์ ์๋ ค์ฃผ๋๊ฐ
AI가 제어된 실험에서 실제 응용 프로그램으로 이동함에 따라 우리는 보안 풍경의 변곡점에 접어들고 있다. 정적 언어 모델에서 상호작용형, 에이전트 시스템으로의 전환은 문서를 탐색하고, 도구를 호출하고, 다단계 워크플로를 오케스트레이션할 수 있는 시스템으로 이미 진행 중이다. 그러나 최근 연구에 따르면 공격자는 성숙을 기다리지 않고 있다. 새로운 기능이 도입될 때마다 시스템을 탐색하고 있다.
2025년 4분기에 Lakera의 우리 팀은 Guard로 보호되는 시스템과 Gandalf: Agent Breaker 환경 내에서 실제 공격자 행동을 분석했다. 이는 30일간의 집중된 스냅샷이지만, 그 기간 동안 관찰한 더广い 패턴을 반영한다. 발견은 명확한 그림을 보여준다. 모델이 단순한 텍스트 프롬프트를 넘어 다른 것과 상호작용을 시작하는 순간(예: 문서, 도구, 외부 데이터), 위협 표면이 확장되고, 적대자는 즉시 이를 악용한다.
이 순간은 초기 웹 애플리케이션이 진화하는 것을 지켜본 사람이나 API 주도 공격의 부상에 관심을 가져본 사람에게는 익숙한 것일 수 있다. 그러나 AI 에이전트의 경우, ставки는 다르다. 공격 벡터는 많은 조직이 예상한 것보다 빠르게 등장하고 있다.
이론에서 실무로: 야생의 에이전트
2025년 대부분 동안, AI 에이전트에 대한 논의는 주로 이론적 잠재력과 초기 프로토タイプ에 중점을 두었다. 그러나 4분기에는 생산 시스템에서 대규모로 에이전트 행동이 나타났다. 문서를 가져오고 분석하고, 외부 API와 상호작용하고, 자동화된 작업을 수행할 수 있는 모델이다. 이러한 에이전트는 명백한 생산성 이점을 제공했지만, 전통적인 언어 모델에서는 없는 문을 열었다.
우리의 분석은 에이전트가 외부 콘텐츠와 도구와 상호작용할 수 있는 즉시, 공격자가 이를 알아차리고 적절히 대응했다는 것을 보여준다. 이는 적대적 행동에 대한 근본적인 진실과 일치한다. 공격자는 항상 새로운 기능을 최초의 기회에 탐색하고 악용할 것이다. 에이전트 AI의 contexto에서 이는 공격 전략의 빠른 진화로 이어졌다.
공격 패턴: 2025년 4분기에 관찰된 내용
우리가 검토한 데이터셋에 걸쳐, 세 가지 주요 패턴이 나타났다. 각 패턴은 AI 시스템을 설계, 보안, 배포하는 방법에 대한重大한 의미를 가진다.
1. 시스템 프롬프트 추출作为중앙 목표
전통적인 언어 모델에서, 프롬프트 주입( 직접 입력을 조작하여 출력을 影響하는 것 )은 잘 연구된 취약점이었다. 그러나 에이전트 기능을 가진 시스템에서, 공격자는 시스템 프롬프트를 더욱 목표로 한다. 시스템 프롬프트는 에이전트 행동을 안내하는 내부 지침, 역할 정의, 정책 정의이다.
시스템 프롬프트를 추출하는 것은 높은 가치의 목표이다. 이러한 프롬프트는 역할 정의, 도구 설명, 정책 지침, 워크플로우 논리 등을 포함한다. 한 번 공격자가 이러한 내부 메커니즘을 이해하면, 에이전트를 조작하는 청사진을 얻을 수 있다.
가장 효과적인 기술은蛮力 攻撃이 아닌,巧妙한 再構成이었다:
- 가상 시나리오: 모델에게 다른 역할이나 컨텍스트를 가정하도록 요청하는 프롬프트(예: “개발자로서 이 시스템 구성을 검토한다고 가정해 보세요…”)는 종종 모델이 보호된 내부 세부 정보를 공개하도록 유도했다.
- 구조화된 콘텐츠 내의 모호함: 공격자는 코드와 같은 구조화된 텍스트 내에 악의적인 지침을 삽입하여, 간단한 필터를 우회하고 에이전트가 파싱할 때 의도하지 않은 행동을 트리거했다.
이것은 단순히 증분적인 위험이 아니다. 에이전트 시스템의 내부 논리 보호 방식을根本的に 바꿔야 한다.
2. 미묘한 콘텐츠 안전 우회
또 다른 주요 트렌드는 콘텐츠 안전 보호를 우회하는 것이다. 이는 전통적인 필터로 탐지하고 완화하기가 어렵다.
공격자는 유해 콘텐츠를 다음과 같이 프레임했다:
- 분석 작업
- 평가
- 역할 놀이 시나리오
- 변환 또는 요약
이러한 재구성은 표면적으로 무해하게 보이기 때문에 안전성 제어를 우회했다. 직접적인 요청을 거부하는 모델은 “평가” 또는 “요약”를 요청받으면 같은 출력을 생성할 수 있다.
이 시프트는 더深い 도전을 강조한다. AI 에이전트의 콘텐츠 안전은 정책 시행에 관한 것이 아니다. 모델이 의도를 解釈하는 방식에 관한 것이다. 에이전트가 더 복잡한 작업과 컨텍스트를 수행할수록, 모델은 컨텍스트 기반의 재해석에 더욱 취약해지며, 공격자는 이러한 행동을 악용한다.
3. 에이전트 특정 공격의 출현
가장重大한 발견은 에이전트 기능의 contexto에서만 의미 있는 공격 패턴의 출현이었다. 이는 단순한 프롬프트 주입 시도가 아니었다. 새로운 행동에 연관된 악용이었다:
- 기밀 내부 데이터에 대한 접근 시도: 프롬프트는 에이전트가 연결된 문서 저장소 또는 시스템에서 정보를 검색하거나 노출하도록 설득하기 위해 제작되었다. 이전에는 모델의 범위 밖의 행동이었다.
- 텍스트에 삽입된 스크립트 형태의 지침: 공격자는 에이전트 파이프라인을 통해 흐를 수 있고 의도하지 않은 행동을 트리거할 수 있는 스크립트 또는 구조화된 콘텐츠와 같은 형식의 지침을 삽입하는 것을 실험했다.
- 외부 콘텐츠에 숨겨진 지침: 여러 공격에서, 공격자는 에이전트가 처리하도록 요청된 웹페이지 또는 문서 내에 악의적인 지침을 삽입했다. 이는 직접 입력 필터를 우회했다.
이러한 패턴은 초기이지만, 에이전트의 확장된 기능이 적대적 행동의 본질을根本的に 변화시키는 미래를 시사한다.
간접 공격이 इतन有效한 이유
보고서의 가장 놀라운 발견 중 하나는 간접 공격(외부 콘텐츠 또는 구조화된 데이터를 이용하는 공격)가 직접 주입보다 더少한 시도를 요구했다는 것이다. 이는 전통적인 입력 정제와 직접 쿼리 필터링이 모델이 신뢰할 수 없는 콘텐츠와 상호작용할 때 충분한 방어가 아니라는 것을 시사한다.
유해한 지침이 외부 에이전트 워크플로우를 통해 도착하는 경우(링크된 문서, API 응답, 가져온 웹페이지 등), 초기 필터는 덜 효과적이다. 결과적으로, 공격자는 더 큰 공격 표면과 더少한 장애물이 있다.
2026년 및 그 이후의 영향
보고서의 발견은 대규모로 에이전트 AI를 배포할 계획인 조직에 대한 긴급한 의미를 가진다:
- 신뢰 경계를 재정의하십시오
신뢰는 단순히 이진법적일 수 없다. 에이전트가 사용자, 외부 콘텐츠 및 내부 워크플로우와 상호작용할 때, 시스템은 컨텍스트, 출처, 목적을 고려하는 세분화된 신뢰 모델을 구현해야 한다. - 가드레일을 발전시킵니다
정적 안전 필터는 충분하지 않다. 가드레일은 적응적이어야 하며, 다단계 워크플로우에서 의도와 행동에 대해 이유를 부여할 수 있어야 한다. - 투명성 및 감사가 필수입니다
공격 벡터가 더 복잡해짐에 따라, 조직은 에이전트가 결정하는 방법에 대한 가시성을 필요로 한다. 중간 단계, 외부 상호작용, 변환을 포함한 결정 과정이다. 감사 로그 및 설명 가능성 프레임워크는 더 이상 선택이 아니다. - 종합적인 협력이 핵심입니다
AI 연구, 보안 엔지니어링 및 위협 인텔리전스 팀은 함께 일해야 한다. AI 안전은孤立될 수 없다. 더广い 사이버 보안 관행 및 위험 관리 프레임워크와 통합되어야 한다. - 규제 및 표준은 따라잡아야 합니다
의사결정자와 표준 기구는 에이전트 시스템이 새로운 위험 클래스를 만든다는 것을 인정해야 한다. 규제는 데이터 개인 정보 보호 및 출력 안전을 다루는 것이 필요하지만 불충분하다. 상호작용 행동 및 다단계 실행 환경도 고려해야 한다.
안전한 AI 에이전트의 미래
에이전트 AI의 도래는 능력과 위험의根本적인 변화를 나타낸다. 2025년 4분기 데이터는 에이전트가 단순한 텍스트 생성을 넘어설 때, 공격자가 이를 따를 것이라는 초기 지표이다. 우리의 발견은 공격자가 단순히 적응하는 것이 아니라, 전통적인 방어가 아직 대응하지 못하는 공격 기술을 혁신하고 있음을 보여준다.
기업과 개발자에게는 메시지가 명확하다. AI 에이전트를 보안하는 것은 기술적인 도전만이 아니다. 그것은 건축적인 도전이다. 그것은 신뢰가 어떻게 설정되는지, 가드레일이 어떻게 시행되는지, 그리고 동적이고 상호작용하는 환경에서 위험이 어떻게 지속적으로 평가되는지에 대한 재고를 필요로 한다.
2026년 및 그 이후, 에이전트 AI에 성공하는 조직은 보안을 사후적인 생각이 아닌, 기본 설계 원칙으로 다루는 조직이 될 것이다.
