AI 에이전트의 숨겨진 위협: 새로운 보안 모델의 필요성

에이전트형 AI 시스템은 지난 1년 동안 대중화되었습니다. 현재 사용자 인증, 자본 이동, 컴플라이언스 워크플로우 실행, 엔터프라이즈 환경에서 최소한의 인간 감시와 함께 여러 기능을 수행하기 위해 사용되고 있습니다.

그러나 점점 더 자율적인 에이전트형 시스템에서 더 심각한 문제가 발생하고 있습니다. 이는 프롬프트나 정책 수준이 아닌 인프라스트럭처 수준에서 발생하는 문제입니다. 에이전트형 시스템은 아직도 에이전트 자신을 보호하지 못하는 컴퓨팅 환경에서 실행되고 있습니다.

전통적인 보안은 소프트웨어가 수동적이라고 가정하지만, 에이전트형 시스템은 그렇지 않습니다. 에이전트형 시스템은 지속적으로 이유를 부여하고, 기억하고, 자율적으로 행동합니다.

또한, 에이전트형 시스템은 이메일, 전화 기록 등 개인 데이터에 접근할 수 있습니다.

さらに, 하드웨어 기반 보호 수단이 존재하지만, 대부분의 에이전트형 시스템에서 기본적으로 사용되고 있지 않습니다. 따라서 많은 에이전트형 시스템은仍然으로 실행되는 환경에서 민감한 데이터가 노출될 수 있습니다.

에이전트는 도구가 아님

보안 팀은 이미 내부 위협을 포함하는 문제를 알고 있습니다. 버라이즌의 2025년 데이터 침해 보고서에 따르면, 시스템 침해는 확인된 침해의 53% 이상을 차지했습니다. 또한, 22%의 경우 공격자가 합법적인 자격증명을 사용하여 접근했습니다.

에이전트형 시스템은 프롬프트 로직, 도구 및 플러그인, 자격증명, 정책으로 구성됩니다. 에이전트형 시스템은 코드를 실행하고 웹을 탐색할 수 있으며, CRM을 조회하고, 이메일을 읽고, 티켓을 푸시할 수 있습니다. 이러한 기능의 조합은 전통적인 공격 표면을 현대적인 인터페이스로 가져옵니다.

OWASP는 프롬프트 인젝션을 중요하게 여기는 취약점으로 간주합니다. 마이크로소프트의 위협 인텔리전스 팀은 AI 시스템이 도구 접근을 통해 데이터를窃取할 수 있음을 경고했습니다.

이러한 보고서는 에이전트형 시스템이 합법적인 접근을 가지지만, 소유자에 반대하는 행동을 할 수 있음을 상기시킵니다. 그러나 에이전트형 시스템의 위험은 단일한 것이 아닙니다. 애플리케이션 계층 위협은 모델의 한계에서 비롯됩니다.

또한, 일부 에이전트형 시스템은 평문 메모리에서 실행되므로, 민감한 정보가 노출될 수 있습니다. OWASP는 이러한 위험을 민감한 정보 노출로 식별합니다.

따라서, 사용자는 에이전트형 시스템을 단순한 애플리케이션으로 취급해서는 안 됩니다. 에이전트형 시스템은 동적이고, 이유를 부여하며, 자율적으로 행동하는 실행자입니다. 이러한 에이전트형 시스템은 소프트웨어 제어와 하드웨어 보호를 모두 포함하는 보안 모델을 필요로 합니다.

신뢰의 아키텍처는 치명적인 결함을 가지고 있음

현재의 보안 관행은 데이터를 보호하는 데 중점을 두고 있습니다. 그러나 데이터가 사용되는 동안의 마지막 전선, 즉 데이터가 사용되는 동안의 보안은 거의 노출되어 있습니다.

표준 클라우드 모델에서, 인프라스트럭처를 제어하는 누구든지, 하이퍼바이저 관리자나 공동 테넌트 공격자 등, 워크로드가 실행되는 동안 무슨 일이 발생하는지 볼 수 있습니다. 에이전트형 시스템의 경우, 이러한 노출은 특히 위험합니다.

Lumia Security는 공격자가 로컬 머신에 접근하면, ChatGPT, Claude, Copilot 데스크톱 애플리케이션의 프로세스 메모리에서 JWT와 세션 키를 얻을 수 있음을 보여주었습니다.

예를 들어, AWS CodeBuild의 메모리 덤프 사건에서, 공격자가 프로젝트에 악의적인 코드를 추가하여 시스템이 실행할 때, 코드가 컴퓨터의 메모리를 들여다보고, 저장된 로그인 토큰을 훔칠 수 있었습니다.

금융 기관의 경우, 이러한 침묵적인 조작은 존재론적인 문제입니다. 은행, 보험사, 투자 회사들은 이미 평균 침해 비용이 1,000만 달러 이상이며, 무결성이 중요함을 알고 있습니다. 최근 Informatica 보고서에 따르면, “신뢰 역설”은 조직이 자동화된 에이전트를 출력을 검증하기 전에 배포하고 있음을 설명합니다.

분리와 기밀 컴퓨팅

INCREMENTAL 수정은 문제를 해결하지 못합니다. 기밀 컴퓨팅은 하드웨어 기반의 신뢰할 수 있는 실행 환경을 통해 데이터를 사용하는 동안 보호합니다.

에이전트형 시스템의 경우, 이러한 하드웨어 수준의 분리는 변혁적입니다. 에이전트형 시스템의 身分 증명, 모델 가중치, 특허 프롬프트, 처리하는 민감한 사용자 데이터를 포함하여 모든 것이 실행 중에 암호화된 채로 유지될 수 있습니다.

원격 증명은 특정 추론 요청이 하드웨어 지원된 신뢰할 수 있는 실행 환경에서 실행되었음을 증명합니다. 증명은 하드웨어 측정에서 생성되어 응답과 함께 제공되며, 작업이 어디서 어떻게 실행되었는지 독립적으로 검증할 수 있습니다.

증명 기록은 실행된 코드를 공개하지 않습니다. 대신, 각 워크로드는 고유한 워크로드 ID 또는 트랜잭션 ID와 연결되며, TEE 증명 기록은 해당 식별자와 연결됩니다. 증명은 계산이 신뢰할 수 있는 환경에서 실행되었음을 확인하지만, 내용을 공개하지 않습니다.

이 설정은 규정 준수와 감사 가능성을 위한 새로운 기준을 마련합니다. 에이전트형 시스템의 행동을 특정 버전의 코드와 알려진 입력 데이터 세트에 연결할 수 있습니다.

책임 있는 자율성으로

위에서 설명한 시스템의 의미는 기본적인 보안을 넘어섭니다. 금융, 의료, 개인 정보와 관련된 법률을 고려해 보십시오. 많은 관할 지역에서는 데이터 주권 규칙을 적용하여 정보가 처리될 수 있는 위치를 제한합니다.

중국에서는 개인 정보 보호 법과 데이터 보안 법이 특정 카테고리의 데이터를 국내에 저장하고, 해외로 전송하기 전에 검토하도록 요구합니다.

기밀 컴퓨팅은 데이터를 처리하는 동안 보호하고, 실행 환경에 대한 증명을 가능하게 함으로써 보안과 감사 가능성을 강화할 수 있습니다. 그러나 처리가 발생하는 위치를 변경하지는 않습니다.

또한, 기밀 컴퓨팅은 다중 에이전트 시스템에서 보안적인 협력을 강화할 수 있습니다.

제로 트러스트 아키텍처와 결합하면, 훨씬 더 강력한 기반을 마련할 수 있습니다. 제로 트러스트는 지속적으로 身分과 접근을 검증하며, 기밀 컴퓨팅은 하드웨어의 메모리를 보호하고, 민감한 정보가 평문으로 회복되지 않도록 합니다.

결과적으로, 실제로 중요한 것을 방어합니다. 예를 들어, 의사 결정 로직, 민감한 입력, 행동을 승인하는 암호화 키 등입니다.

자율 시스템의 새로운 기준

모든 상호작용이 사람들을 노출의 위험에 빠지게 한다면, 사람들은 AI가 의료 기록이나 금융 의사 결정을 처리하는 것을 허용하지 않을 것입니다.同様하게, 회사는 중요한 작업을 자동화하지 않을 것입니다.

심각한 개발자들은 애플리케이션 계층 수정만으로는 충분하지 않음을 알고 있습니다.

에이전트형 시스템이 금융 권한, 규제 데이터 또는 조직 간 협력을 맡길 때, 인프라스트럭처 수준의 노출은 더 이상 이론적인 문제가 아닙니다. 기밀 실행이 없는 경우, 많은 에이전트형 시스템은 여전히 軟한 표적입니다.

개인 정보와 무결성은 선택적 기능이 아닙니다. 배포 후에 추가되어서는 안 됩니다. 실리콘 수준에서 설계되어야 합니다. 따라서, 에이전트형 AI를 안전하게 확장하기 위해, 하드웨어 기반의 기밀성은 단순한 경쟁 우위가 아니라 기준이 되어야 합니다.