생성형 AI에서 에이전트형 AI로: 콘텐츠 위험에서 실행 노출로의 전환

기업용 AI는 빠르게 발전하고 있습니다. 이메일을 작성하고 문서를 요약하는 생성형 AI 보조 필터에서 시작하여 이제는 더 자율적인 시스템으로 발전하고 있습니다. 이러한 시스템은 도구와 환경을 통해 계획, 결정, 실행을 수행합니다.

이것은 생성형 AI와 에이전트형 AI의 차이를 보여줍니다. 위험은 콘텐츠 위험에서 실행 노출로 바뀌고 있습니다.

생성형 AI는 환상, 프롬프트를 통해 데이터가 유출되는 위험, 편향된 출력과 같은 콘텐츠 위험을 가져왔습니다. 에이전트형 AI의 노출은 자율적인 시스템을 통해 발생하며, 이러한 시스템은 권한, 메모리, 모든 사용 가능한 도구에 대한 접근 권한을 가지고 있습니다.

이것은 보안, 거버넌스, AI 전문가로서 새로운 위험에 대한 자신의 입장을 재評価할 수 있는 기회입니다.

에이전트형 AI 위험은 무엇인가?

에이전트형 AI 위험은 자율적으로 작동하는 AI 시스템이帶來하는 보안, 운영, 거버넌스 위험을 말합니다. 이러한 시스템은 단순히 텍스트를 생성하는 것뿐만 아니라 다중 단계 워크플로우를 수행할 수 있습니다.

전통적인 대형 언어 모델(LLM)과 달리, 에이전트형 시스템은 동적 워크플로우를 분해하고, 외부 API 요청을 보내고, 내부 애플리케이션을 호출하며, 메모리를 저장하고 회상할 수 있습니다. 또한 위임된 身分을 사용하여 작동하고 다른 에이전트와 통신할 수 있습니다.

즉, 이러한 시스템은 채팅봇과 더 giống하며, 더 giống한 것은 주니어 디지털 직원입니다. 이것은 AI 에이전트의 공격 표면을 크게 증가시킵니다.

생성형 AI와 에이전트형 AI의 차이는 무엇인가?

생성형 AI 위험은 출력에 초점을 맞추고 있습니다. 보안 팀은 모델이 데이터를 유출하는지, 환상을 일으키는지, 또는 유해하거나 비준수 콘텐츠를 생성하는지와 같은 질문을 합니다.

인간은 반드시 루프에 있습니다. AI는 제안하고, 사람들은 승인합니다.

에이전트형 AI 위험은 행동 지향적입니다. 이제 보안 팀은 에이전트가 어떤 시스템과 상호작용할 수 있는지, 어떤 권한을 상속받을 수 있는지, 계획이 얼마나 weit할 수 있는지, 그리고 실행 중에 속여질 경우 어떻게 되는지에 대해 질문해야 합니다.

차이는 매우 작지만 중요합니다: 생성형 AI는 콘텐츠를 생성합니다. 에이전트형 AI는 결과를 생성합니다. 이것은 콘텐츠 위험에서 실행 노출로의 전환입니다.

에이전트형 AI는 어떻게 기업의 공격 표면을 확장하는가?

에이전트형 AI는 새로운 애플리케이션을 추가하는 것이 아닙니다. 새로운 운영 레이어를 생성합니다. 공격 표면이 어떻게 증가하는지 살펴보겠습니다.

1. 특권 에이전트

사용자나 서비스 계정을 대신하여 작동하는 많은 에이전트가 있습니다. 권한의 범위가 엄격하지 않으면, 이러한 에이전트는贵重한 목표물이 됩니다.

이것은 混乱한 대리인 문제, 권한 상승, 수평적 이동과 같은 문제를 일으킬 수 있습니다. 클라우드, SaaS, 내부 시스템이 에이전트에게 동적 또는 상속된 접근 권한을 제공할 때 이러한 문제가 발생합니다.

2. 동적 실행 경로

전통적인 애플리케이션의 제어 흐름은 결정적입니다. 에이전트형 AI 시스템의 제어 흐름은 그렇지 않습니다.

에이전트형 시스템은 목표, 행동, 반성, 정제, 도구 호출을 비결정적으로 수행합니다. 이것은 분석하기 어려운 실패 사례, 복잡한 의존성 그래프, 다중 에이전트 시스템의 연쇄 실패를 일으킵니다. 전통적인 제어 흐름에 개발된 보안 제어는 여기서 적용되지 않습니다.

3. 지속적인 메모리

에이전트의 메모리에서 발생하는 공격 표면은 지속적입니다.

단기 또는 장기 메모리가 손상되면, 악의적인 상태가 여러 세션에 걸쳐 결정에 영향을 미칠 수 있습니다. 이것은 단일 프롬프트 주입과 달리, 메모리 손상으로 인한 지속성을 제공합니다.

4. 기계 속도 결정 위험

자율 에이전트는 인간의 반응을 따라잡을 수 없는 속도로 결정합니다. 이것은 빠른 오류 전파, 인간 반응보다 빠른 악용 주기, 탐지 전에 에스컬레이션과 같은 기계 속도 결정 위험을 가져옵니다.

다중 에이전트 시스템에서 영향 범위는 빠릅니다. 악의적인 에이전트는 실패 사슬을 트리거할 수 있습니다.

전통적인 제어는 에이전트형 AI에서 왜 실패하는가?

대부분의 전통적인 기업 보안 모델은 정적 애플리케이션, 예측 가능한 호출 그래프, 인간 승인, 데이터 처리와 실행 사이의 명확한 구분에 의존합니다. 에이전트형 AI는 이러한 가정들을 무효화합니다.

예를 들어, 전통적인 제어인 입력 유효성 검사는 시스템의 경계를 보호합니다. 그러나 에이전트형 위험은通常 루프의 중간, 계획, 반성, 도구화 단계에서 발생합니다.

전통적인 취약성 스캔도 인프라스트럭처와 소프트웨어에 초점을 맞추고 있습니다. 그러나 AI 실행 위험은 에이전트의 추론 및 행동 레이어에 존재합니다.

질문은 이것입니다: 어떻게 하면 다음 행동을 선택할 수 있는 것을 보호할 수 있나요? 단일 모델 호출을 둘러싼 제어만으로는 충분하지 않습니다. 워크플로우를 보호해야 합니다.

에이전트형 AI를 보호하는 방법은 무엇인가?

에이전트형 AI를 보호하기 위해서는 周辺적인思考에서 수명주기적인思考으로의 전환이 필요합니다. 에이전트는 무한히 목표를 재해석할 수 없어야 하며, 이를 달성하기 위한 여러 방법이 있습니다.

허용되는 목표 시퀀스를 설정하고, 계획 확장 트리의 깊이를 규제하며, 추론 드리프트를 모니터링하고, 범위를 벗어난 자체 작성된 목표를 금지하는 것이 모두 필수적인 제어입니다. 예상치 못한 추론의 변이는 종종 조작의 先駆者입니다.

도구 실행을 강화합니다. 도구는 계획이 현실을 만나는 곳이며, 보안은 도구 실행 전의 권한 확인, 샌드박스化된 실행 환경, 엄격한 매개변수 유효성 검사, 및 정시 자격 증명 전송을 다루어야 합니다. 모든 도구 실행은 1차 보안 이벤트로 기록되어야 합니다.

메모리와 권한 범위를 분리합니다. 메모리는 민감한 인프라스트럭처로 취급되어야 합니다. 즉, 쓰기 작업을 유효성 검사하고, 메모리 도메인을 분할하며, 읽기 작업의 범위를 작업당 제한하고, 短期 자격 증명을 사용하며, 상속된 권한을 방지해야 합니다. 유효성 검사되지 않은 권한 누적은 에이전트형 AI의 주요 위험입니다.

다중 에이전트 조정을 보호합니다. 분산된 에이전트 시스템에서 통신 자체가 공격 벡터가 됩니다. 이것은 에이전트 인증, 메시지 스키마 유효성 검사, 제한된 통신 채널, 및 비정상적인 영향 패턴을 모니터링을 의미합니다. 조정이 예상되는 흐름에서 벗어나면 자동으로 분리되어야 합니다.

노출 관리에서 AI 시스템의 노출 평가로

이것은 보다广い 보안 철학이 중요한 곳입니다. 전통적인 취약성 관리는 알려진 약점을 식별합니다. 그러나 자율적인 AI 시스템은 새로운 노출을 가져옵니다: 구성, 권한 설계, 통합 경로, 동적 행동에서 발생하는 위험입니다.

이것은 산업이 노출 관리 및 노출 평가라고 부르는 것입니다.

노출 관리는 시스템(클라우드 자산, 身分, 애플리케이션, 이제는 AI 에이전트 포함)가 악의적인 배우가 악용할 수 있는 경로를 생성하는 것을 계속해서 볼 수 있는 것입니다.

자율적인 AI 시스템의 보안을 위해서는 다음을 묻는 것입니다: 이 에이전트는 무엇을 접근할 수 있습니까? 어떤 권한을 집계합니까? 어떤 시스템을 조율합니까? 그리고 실행은 어디서 민감한 데이터와 교차합니까?

이미 노출 기반 전략을 사용하여 사이버 위험을 줄인 팀은 AI 환경으로 이러한 원칙을 확장할 수 있는 좋은 위치에 있습니다. 예를 들어, 身分, 클라우드, 취약성 가시성을 통합하는 플랫폼은 권한 있는 AI 에이전트가 기존 공격 경로와 교차하는 방법을 이해하는 방법을 제공합니다.

중요한 것은 벤더 도구가 아닙니다. 그것은 마음가짐입니다:

에이전트형 AI를 보호하는 것은 모델을 보호하는 것이 아닙니다. 그것은 계속해서 노출을 측정하고 줄이는 것입니다.

에이전트형 AI의 실행 레이어 위험 관리

에이전트형 AI 보안의 특징은 이것입니다: 공격 표면은 응답이 아니라 워크플로우입니다.

실행 레이어 위험은 많습니다. 인증되지 않은 도구 사용, 身分 스푸핑, 권한 크립, 메모리 중독, 에이전트 간 조작, 인간-루프 시스템이 강제되는 위험입니다.

이러한 위험을 완화하는 것은 身分 관계, 권한 상속, API 의존성, 런타임 활동, 실행 텔레메트리를 가시화하는 것입니다.

이제 이것은 더 이상 생성형 AI 보안만이 아닙니다. 이것은 AI 운영 보안입니다.

에이전트형 AI 위험은 구조적이지 않습니다

에이전트형 AI는 기업용 AI 채택의 다음 단계입니다. 효율성, 자동화, 확장성의 약속을 가지고 있습니다. 그러나 또한 AI가 하는 말에서 하는 행동으로의 위험을 가져옵니다.

생성형에서 에이전트형 시스템으로의 전환은 다음을影响합니다:

• 콘텐츠 위험에서 실행 위험으로
• 정적 프롬프트에서 동적 실행 흐름으로
• 인간 검토에서 자율적인 실행으로
• 애플리케이션 보안에서 노출 관리로

보안 리더가 이 전환을 먼저 이해하면, 자율성과 함께 확장하는 가드레일을 설계할 수 있습니다. 다른 사람들은 디지털 인사이더를 가지지만 인사이더 컨트롤은 없습니다.

기업용 AI의 미래는 에이전트형입니다. AI 보안의 미래는 노출 주도형, 워크플로우 인식, 기계 속도 작동을 위한 것입니다.

에이전트가 실행할 수 있는 능력이 있는 경우, 유일한 가능한 접근 방법은 지속적으로 노출되는 것을 이해하고 완화하는 것입니다.