์ฌ์ ๋ฆฌ๋
์์ฑํ์์ ์์ด์ ํธํ AI๋ก: ์ฝํ ์ธ ์ํ์์ ์คํ ๋ ธ์ถ๋ก์ ์ ํ
기업용 AI는 빠르게 발전하고 있습니다. 이메일을 작성하고 문서를 요약하는 생성형 AI 조종사가 시작된 것이 이제는 더自治적인 시스템으로 발전하고 있습니다. 이러한 시스템은 도구와 환경 전체에서 계획, 결정, 실행 등의 작업을 수행합니다.
이것은 생성형과 에이전트형 AI의 차이를 보여줍니다. 새로운 위험이 나타나고 있습니다.
GenAI는 환상, 프롬프트를 통해 데이터가 유출되는 것, 편향된 출력과 같은 콘텐츠 위험을 가져왔습니다. 에이전트형 AI의 노출은 자율적 시스템을 통해 발생하며, 이러한 시스템은 권한, 메모리, 모든 사용 가능한 도구에 대한 접근 권한을 가지고 있습니다.
이것은 보안, 거버넌스, 또는 AI 전문가로서 새로운 위험에 대한 자신의 입장을 재評価할 수 있는 기회입니다.
에이전트형 AI 위험은 무엇인가?
에이전트형 AI 위험은 AI 시스템이 자율적으로 작동하여 텍스트를 생성하는 것뿐만 아니라 다단계 워크플로를 수행하는 기업 시스템에 대한 보안, 운영, 거버넌스 위험을 말합니다.
전통적인 대규모 언어 모델(LLM)과는 달리, 에이전트형 시스템은 동적 워크플로를 분해하고, 외부 API 요청을 보내고, 내부 애플리케이션을 호출하며, 메모리를 저장하고 회상할 수 있습니다. 또한 위임된 身分으로 작동하고 다른 에이전트와 통신할 수 있습니다.
다시 말해,它们는 채팅봇과는 달리 주니어 디지털 직원과 비슷합니다. 이것은 AI 에이전트의 공격 표면을 크게 증가시킵니다.
생성형과 에이전트형 AI: 무엇이 달라지나요?
생성형 AI 위험은 출력에 중점을 둡니다. 보안 팀은 모델이 데이터를 유출하는지, 환상이 있는지, 또는 유해하거나 비준수 콘텐츠가 생성되는지와 같은 질문을 합니다.
인간은 확실히 루프 안에 있습니다. AI는 제안하고, 사람들은 승인합니다.
에이전트형 AI 위험은 행동 지향적입니다. 이제 보안 팀은 에이전트가 어떤 시스템과 상호작용할 수 있는지, 어떤 권한을 상속받을 수 있는지, 계획이 얼마나 멀리 갈 수 있는지, 그리고 실행 중에 속아 넘어가면 어떤 일이 일어날 수 있는지에 대해 질문해야 합니다.
차이는 아주 작을 수 있지만, 중요합니다: 생성형 AI는 콘텐츠를 생성합니다. 에이전트형 AI는 결과를 생성합니다. 이것은 콘텐츠 위험에서 실행 노출로의 이동입니다.
에이전트형 AI는 어떻게 기업의 공격 표면을 확장하는가?
에이전트형 AI는 새로운 애플리케이션을 추가하지 않습니다. 새로운 운영 계층을 생성합니다. 여기서 공격 표면이 어떻게 증가하는지 보여줍니다:
1. 특권 에이전트
사용자 또는 서비스 계정의 대리인으로 작동하는 많은 에이전트가 있습니다. 권한의 범위가 엄격하지 않으면, 이러한 에이전트는 유용한 목표가 됩니다.
이것은 혼동된 대리인 문제, 특권 상승, 횡단 이동과 같은 문제를 일으킬 수 있습니다. 이것은 클라우드, SaaS, 내부 시스템이 에이전트에게 동적 또는 상속된 접근 권한을 제공할 때 문제가 됩니다.
2. 동적 실행 경로
전통적인 앱의 제어 흐름은 결정적입니다. 에이전트형 AI 시스템의 제어 흐름은 그렇지 않습니다.
에이전트는 목표, 동작, 반성, 정제, 도구 호출과 같은 비결정적 방식으로 이유를 따지며, 이는 분석하기 어려운 실패 사례, 복잡한 의존성 그래프, 다중 에이전트 시스템의 연쇄 실패를 유발합니다. 전통적인 제어 흐름을 위해 개발된 보안 제어는 여기서 적용되지 않습니다.
3. 지속적 메모리
에이전트 메모리가 가져오는 공격 표면은 지속적입니다.
단기 또는 장기 메모리가 손상되면, 악의적인 상태가 여러 세션에 걸쳐 결정에 영향을 줄 수 있습니다. 이것은 단일 프롬프트 주입과는 다르며, 메모리 손상은 지속성을 제공합니다.
4. 기계 속도 결정 위험
자율 에이전트는 인간이 따라잡을 수 없는 속도로 결정합니다. 이것은 빠른 오류 전파, 인간 반응보다 훨씬 빠른 남용 주기, 탐지 가능하기 전에 에스컬레이션과 같은 기계 속도 결정 위험을 가져옵니다.
다중 에이전트 시스템에서 영향 범위는 빠릅니다. 악의적인 에이전트는 실패 캐스케이드를 조정 체인에서 트리거할 수 있습니다.
전통적인 제어가 에이전트형 AI에서 실패하는 이유
대부분의 전통적인 기업 보안 모델은 정적 애플리케이션, 예측 가능한 호출 그래프, 인간 승인, 데이터 처리와 실행 사이의 명확한 분리에 의존합니다. 에이전트형 AI는 이러한 가정의 무효를 만듭니다.
예를 들어, 전통적인 제어인 입력 유효성 검사는 시스템의 경계를 보호합니다. 그러나 에이전트형 위험은 일반적으로 루프의 중간, 계획, 반성 또는 도구화 단계에서 나타납니다.
전통적인 취약성 스캔도 인프라와 소프트웨어에 중점을 둡니다. 그러나 AI 실행 위험은 에이전트의 이유와 행동 계층에 존재합니다.
질문은: 어떻게 하면 다음 동작을 선택할 수 있는 것을 보호할 수 있나요? 단일 모델 호출을 둘러싼 제어만으로는 충분하지 않습니다. 워크플로를 보호해야 합니다.
에이전트형 AI를 보호하는 것: 무엇이 실제로 작동하나요?
에이전트형 AI를 보호할 때, 周辺思考에서 수명주기思考으로의 이동이 필요합니다. 에이전트는 무한히 목표를 재해석할 수 없어야 합니다. 이를 달성하는 방법은 여러 가지가 있습니다.
허용되는 목표 시퀀스를 설정하고, 계획 확장 트리의 깊이를 규제하며, 이유가逸する 것을 모니터링하고, 범위 밖의 자체 작성된 목표를 금지하는 것이 모두 필수적인 제어입니다. 이유의 예기치 않은 변이는 souvent 조작의 先駆者입니다.
도구 실행을 강화하십시오. 도구는 계획이 현실을 만나는 곳입니다. 보안은 도구 실행 전의 권한 확인, 샌드박스化된 실행 환경, 엄격한 매개변수 유효성 검사, 및 정시 자격 증명 전송을 다루어야 합니다. 모든 도구 실행은 1등급 보안 이벤트로 기록되어야 합니다.
메모리와 권한 범위를 분리하십시오. 메모리는 민감한 인프라로 취급되어야 합니다. 이는 작성 작업을 유효성 검사하고, 메모리 도메인을 분할하고, 작업당 읽기 작업의 범위를 제한하고, 일시적 자격 증명을 사용하며, 상속된 권한을 방지하는 것을 의미합니다. 유효성 검사되지 않은 권한 누적은 주요 에이전트형 AI 위험입니다.
다중 에이전트 조정을 보호하십시오. 분산 에이전트 시스템에서 통신 자체가 공격 벡터가 됩니다. 이는 에이전트 인증, 메시지 스키마 유효성 검사, 제한된 통신 채널, 및 예기치 않은 영향 패턴을 모니터링을 의미합니다. 조정이 예상되는 흐름에서逸する 경우 자동으로 분리되어야 합니다.
노출 관리에서 AI 시스템의 노출 평가로
이것은 보다广い 보안 철학이 핵심이 됩니다. 전통적인 취약성 관리는 알려진 약점을 식별합니다. 그러나 자율적 AI 시스템은 출현 노출을 도입합니다: 구성, 권한 설계, 통합 경로, 동적 행동에서 발생하는 위험.
이것은 산업이 노출 관리라고 불리는 것과, 더 최근에는 노출 평가와 일치합니다.
노출 관리는 클라우드 자산, 身分, 애플리케이션, 그리고 이제는 AI 에이전트와 같은 시스템이 악의적인 행위자가 악용할 수 있는 경로를 생성하는 방식에 대한 지속적인 가시성을 갖는 모든 것에 관한 것입니다.
자율적 AI 시스템의 보안을 위해, 다음과 같은 질문을 해야 합니다: 이 에이전트는 무엇에 접근할 수 있나요? 어떤 권한을 집계하나요? 어떤 시스템을 조율하나요? 그리고 실행은 어디서 민감한 데이터와 교차하나요?
이미 노출 기반 전략을 사용하여 사이버 위험을 줄이는 팀은 이러한 원칙을 AI 환경으로 확장할 수 있는 좋은 위치에 있습니다. 예를 들어, 身分, 클라우드, 취약성 가시성을 통일하는 플랫폼은 권한 있는 AI 에이전트가 기존 공격 경로와 교차하는 방식을 이해하는 방법을 제공합니다.
중요한 것은 벤더 도구가 아닙니다. 그것은 마음가짐입니다:
에이전트형 AI를 보호하는 것은 모델을 보호하는 것이 아닙니다. 그것은 지속적으로 노출을 측정하고 줄이는 것입니다.
에이전트형 AI의 실행 계층 위험 관리
에이전트형 AI 보안의 특징은 이것입니다: 공격 표면은 응답이 아니라 워크플로입니다.
실행 계층 위험은 많습니다. 이를 포함하여, 인증되지 않은 도구 사용, 身分 스푸핑, 권한 크리핑, 메모리 중독, 에이전트 간 조작, 인간-루프 시스템이 강제되는 경우 등이 있습니다.
이러한 위험을 완화하는 것은 身分 관계, 권한 상속, API 의존성, 런타임 활동, 실행 텔레메트리와 같은 것에 대한 가시성을 갖는 것을 의미합니다.
이제 이것은 더 이상 생성형 AI 보안만이 아닙니다. 이것은 AI 운영 보안입니다.
에이전트형 AI 위험은 건축적이지 않습니다
에이전트형 AI는 기업용 AI 채택의 다음 단계입니다. 효율성, 자동화, 확장성의 약속을 가지고 있습니다. 그러나 이것은 또한 AI가 말하는 것에서 AI가 하는 것에 대한 위험을 도입합니다.
생성형에서 에이전트형 시스템으로의 전환은 다음을影响합니다:
- 콘텐츠 위험에서 실행 위험으로
- 정적 프롬프트에서 동적 실행 흐름으로
- 인간 검토에서 자율적 실행으로
- 애플리케이션 보안에서 노출 관리로
보안 리더가 이 전환을 먼저 이해하면, 자율성과 함께 확장하는 가드레일을 설계할 수 있습니다. 다른 사람들은 디지털 인사이더를 가지지만, 인사이더 컨트롤은 없습니다.
기업의 AI 미래는 에이전트형입니다. AI 보안의 미래는 노출 주도형, 워크플로우 인식, 기계 속도 작동을 위한 것입니다.
한번 AI 에이전트가 실행할 수 있는 능력을 가지면, 유일한 가능성 있는 접근법은 지속적으로 노출되는 것을 이해하고 완화하는 것입니다.
