์ฌ์ ๋ฆฌ๋
AI ์์ด์ ํธ์ ์จ๊ฒจ์ง ์ํ์ ์๋ก์ด ๋ณด์ ๋ชจ๋ธ์ ์๊ตฌํ๋ค
에이전트 AI 시스템은 지난 1년 동안 대중화되었습니다. 현재 사용자 인증, 자본 이동, 컴플라이언스 워크플로우 트리거, 엔터프라이즈 환경에서 최소한의 인간 감시와 함께 여러 기능을 위해 사용되고 있습니다.
그러나 더 조용한 문제는 등장하고 있습니다. 프롬프트 또는 정책 수준이 아닌 인프라스트럭처 신뢰 수준에서 자율성의 증가와 함께 발생합니다. 에이전트 시스템은 자동화된 의사결정자들을 인프라스트럭처로부터 보호하기 위해 설계되지 않은 컴퓨팅 환경에서 실행되면서 인사이드 권한을 부여받고 있습니다.
전통적인 보안은 소프트웨어가 수동적이라고 가정하지만, 에이전트 시스템은 그렇지 않습니다.它们는 이유를 부여하고, 기억하고, 지속적으로, 자동으로, 위임된 권한으로 행동합니다.
또한, AI 에이전트는 사용 사례에 따라 이메일 및 통화 기록과 같은 개인 데이터에 액세스할 가능성이 있습니다.
또한, 하드웨어 기반 보호 수단인 기밀 가상 머신 및 보안 강화 영역과 같은 것이 존재하지만, 대부분의 에이전트 AI 배포의 기본 기반으로 사용되지 않습니다. 결과적으로 많은 에이전트는仍然적으로 민감한 데이터가 실행 시간 동안 기본 인프라스트럭처에 노출되는 환경에서 실행됩니다.
에이전트는 도구가 아니라 인사이드입니다
보안 팀은 이미 인사이드 위협을 포함하는 것이 얼마나 어려운지 알고 있습니다. 이것은 Verizon의 2025 데이터 침해 보고서에서 강조된 문제로, 시스템 침입이 지난 해 확인된 침해의 53% 이상을 차지했습니다. 이러한 경우의 22%에서 공격자는 합법적인 身分을 사용하여 접근을 얻었습니다. 이는 기술적 결함을 악용하는 것보다 합법적인 身分을 사용하여 성공하는 경우가 많음을 강조합니다.
이제, 프롬프트 논리, 도구 및 플러그인, 자격 증명 및 정책으로 구성된 에이전트를 고려해 보십시오. 코드를 실행하고 웹을 탐색할 뿐만 아니라 CRM을 쿼리하고, 이메일을 읽고, 티켓을 푸시하는 등 많은 일을 할 수 있습니다. 이러한 함수의 조합은 전통적인 공격 표면을 현대적인 인터페이스로 가져왔습니다.
이러한 인사이드 위협의 위험은 추측적이지 않습니다. Open Web Application Security Project (OWASP)는 현재 리스트에 “프롬프트 주입”을 LLM 애플리케이션의 중요 취약점으로 나열하며, 체인 액션을 하는 에이전트 시스템에 대한 특별한 위험을 강조합니다. Microsoft의 위협 인텔리전스 팀은 또한 AI 시스템에 대한 경고를 발행했으며, 도구 액세스가 있는 AI 시스템은 안전이 구조적으로 강화되지 않으면 데이터 도난을 수행하도록 조작될 수 있다고 경고합니다.
이러한 보고서는 시스템과 데이터에 합법적인 액세스 권한을 가진 에이전트가 소유자에 대하여 사용될 수 있다는 것을 시기적으로 상기시킵니다. 그러나 에이전트 시스템의 위험 풍경은 단일하지 않습니다. 애플리케이션 계층 위협인 프롬프트 주입 및 도구 악용 는 모델이 신뢰할 수 있는 지침과 신뢰할 수 없는 사용자 입력을 구별할 수 없는 디자인 제한으로 인해 발생합니다. 이는 메모리 강화로 해결할 수 없는 문제입니다.
인프라스트럭처 수준에서 또 다른 중요한 문제가 있습니다. 일부 에이전트 는 평문 메모리에서 실행되므로, 채팅 기록, API 응답, 문서와 같은 민감한 정보가 처리 중에 표시될 수 있으며 나중에 액세스할 수 있습니다. OWASP 는 이러한 위험을 민감한 정보 공개(LLM02) 및 시스템 프롬프트 누출(LLM07)로 식별하며, 컨텍스트 분리, 네임스페이스 세분화 및 메모리 샌드박싱을 중요한 안전 대책으로 제안합니다.
따라서 사용자는 이러한 에이전트를 단순한 애플리케이션으로 취급해서는 안 됩니다. 에이전트는 동적이고, 이유를 부여하고, 실행하는 非인간 实体로서, 그들의 고유한 특성을 고려한 보안 모델이 필요합니다. 이는 모델이 행동하는 방식에 대한 소프트웨어 제어와 데이터를 안전하게 유지하기 위한 하드웨어 보호를 모두 포함해야 합니다.
신뢰의 아키텍처는 치명적인 결함을 가지고 있습니다
현재의 보안 관행은 데이터를 저장하고 전송하는 동안 보호하는 데 중점을 두고 있습니다. 그러나 데이터가 사용되는 마지막 전선은 거의 노출되어 있습니다. AI 에이전트가 기밀 데이터셋을 이유로 대출을 승인하거나, 환자 기록을 분석하거나, 거래를 실행할 때, 해당 데이터는 일반적으로 서버의 메모리 내에서 평문으로 처리됩니다.
표준 클라우드 모델에서, 인프라스트럭처에 대한 제어 권한을 가진 누구든지, 하이퍼바이저 관리자 또는 공동 테넌트 공격자와 같은, 처리 중인 워크로드를 볼 수 있습니다. AI 에이전트의 경우, 이는 특히 위험합니다. 에이전트는 작업을 수행하기 위해 민감한 정보에 액세스해야 하기 때문입니다.
Lumia Security 는 보여주었듯이, 로컬 머신에 액세스할 수 있는 공격자는 ChatGPT, Claude, Copilot 데스크톱 애플리케이션의 프로세스 메모리에서 직접 JWT 및 세션 키를 얻을 수 있습니다. 이러한 도난당한 자격 증명은 공격자가 다른 사용자로 가장할 수 있으며, 대화 기록을 훔치고, 진행 중인 세션에 프롬프트를 주입하여 에이전트의 행동을 변경하거나 거짓 기억을 심을 수 있습니다.
예를 들어, AWS CodeBuild의 메모리 덤프 사건은 2025년 7월에 발생했습니다. 공격자는 프로젝트에 악의적인 코드를 추가했으며, 시스템이 이를 실행하면 코드가 컴퓨터의 메모리를 들여다보고 저장된 로그인 토큰을 훔쳤습니다. 이러한 토큰을 사용하여 공격자는 프로젝트의 코드를 변경하고 다른 시스템에 액세스할 수 있었습니다.
금융 기관의 경우, 조용한 조작은 존재에 대한 위협입니다. 은행, 보험사, 투자 회사와 같은 기관은 이미 평균 침해 비용이 1,000만 달러 이상임을 알고 있으며, 무결성이 기밀성만큼 중요하다는 것을 이해합니다. 최근 Informatica 보고서에 따르면, “신뢰 역설”은 다음과 같이 설명되었습니다. 조직은 에이전트의 출력을 검증할 수 있는 속도보다 자동 에이전트를 배포하고 있습니다. 결과는 자동화가 코어 프로세스에 오류나 편향을 하드코딩할 수 있으며, 이는 기계 속도로 작동합니다.
기밀 컴퓨팅과 분리 사례
증분 수정은 문제를 해결하지 못합니다. 엄격한 액세스 제어 및 개선된 모니터링은 도움이 될 수 있지만, 기본적인 문제를 변경할 수 없습니다. 문제는 아키텍처적이며, 계산이 노출된 메모리에서 발생하는 한, 에이전트는 가장 중요한 순간에 취약합니다. 즉, 이유를 부여할 때입니다.
기밀 컴퓨팅, 즉 하드웨어 기반의 신뢰할 수 있는 실행 환경(TEE)을 통해 데이터를 사용 중에 보호하는 것은 핵심적인 결함을 직접적으로 해결합니다.
AI 에이전트의 경우, 이러한 하드웨어 수준의 분리는 변혁적입니다. 에이전트의 身分 자격 증명, 모델 가중치, 고유한 프롬프트 및 처리하는 민감한 사용자 데이터를 포함하여 모든 것을 실행 중에 평문으로 저장되지 않도록 암호화할 수 있습니다. 분리는 전통적인 모델에서 인프라스트럭처에 대한 제어가 워크로드에 대한 제어를 보장한다는 것을 명확하게 부정합니다.
원격 증명 는 하드웨어 지원 신뢰할 수 있는 실행 환경 내에서 특정 추론 요청이 실행된 것을 증명하는 검증 가능한 암호학적 증거를 제공합니다. 증거는 하드웨어 측정에서 생성되어 응답과 함께 전달되며, 워크로드가 어디서 어떻게 실행되었는지 독립적으로 검증할 수 있습니다.
증명 기록은 실행된 코드를 공개하지 않습니다. 대신, 각 워크로드는 고유한 워크로드 ID 또는 트랜잭션 ID와 연결되며, TEE 증명 기록은 해당 식별자에 연결됩니다. 증명은 신뢰할 수 있는 환경 내에서 계산이 실행되었음을 확인하지만 내용을 공개하지 않습니다.
설정은 규정 준수 및 감사 가능성을 위한 새로운 기준을 생성합니다. 에이전트의 행동을 특정 코드 버전과 알려진 입력 데이터 세트에 연결할 수 있습니다.
책임 있는 자율성으로
위에서 설명한 시스템의 의미는 기본적인 보안을 넘어섭니다. 금융, 의료, 개인 정보와 같은 법률을 고려해 보십시오. 많은 관할 구역은 데이터 주권 규칙을 적용하여 정보가 처리될 수 있는 위치를 제한합니다. 중국의 경우, 개인 정보 보호 법과 데이터 보안 법 는 중요한 개인 데이터와 같은 특정 데이터 카테고리를 국내에 저장하고 해외로 전송하기 전에 검토하도록 요구합니다.
유사하게, 몇몇 걸프 국가, UAE 및 사우디 아라비아와 같은 경우, คล라우드 주권 접근 방식을 채택했습니다. 특히 금융, 정부 및 중요 인프라 데이터의 경우입니다.
기밀 컴퓨팅은 데이터를 처리 중에 보호하고 런타임 환경의 증명을 가능하게 함으로써 보안과 감사 가능성을 강화할 수 있습니다. 그러나 처리가 발생하는 위치를 변경하지는 않습니다. 데이터 주권 규칙이 지역 처리 또는 국경 간 전송에 대한 조건을 요구하는 경우, 신뢰할 수 있는 실행 환경은 규정 준수 제어를 지원할 수 있지만 법적 요구 사항을 대체할 수는 없습니다.
또한, 기밀 컴퓨팅은 다중 에이전트 시스템에서 보안 협력을 가능하게 합니다. 여기서 에이전트는 서로 다른 조직 또는 부서 내에서 정보를 공유하거나 출력을 검증해야 하는 경우가 많습니다.
이 기술을 제로 트러스트 아키텍처와 결합하면 훨씬 더 강력한 기반을 제공합니다. 제로 트러스트는 身分 및 액세스를 지속적으로 검증하는 반면, 기밀 컴퓨팅은 하드웨어의 메모리를 불법적인 추출로부터 보호하고 민감한 정보가 평문으로 회복되지 않도록 합니다.
둘 다 실제로 중요한 것을 방어합니다. 예를 들어, 의사 결정 논리, 민감한 입력 및 행동을 권한 부여하는 암호화 키입니다.
자율 시스템의 새로운 기준
모든 상호작용이 노출 위험을 초래한다면, 사람들은 AI가 의료 기록을 처리하거나 금융 결정을 내리는 것을 허용하지 않을 것입니다. 유사하게, 회사는 중요한 작업을 자동화하지 않을 것입니다. 그렇게 하면 규제 문제나 중요한 데이터 손실이 발생할 수 있기 때문입니다.
진지한 개발자는 고보안 환경에서 애플리케이션 계층 수정만으로는 불충분하다는 것을 인정합니다.
에이전트가 금융 권한, 규제 데이터 또는 조직 간 조정을 맡고 있는 경우, 인프라스트럭처 수준의 노출은 이론적인 문제를 넘어섭니다. 기밀 실행이 없는 경우, 많은 에이전트는 여전히 軟한 표적이며, 그들의 키는 훔치기 쉽고, 그들의 논리는 가변적입니다. 현대적인 침해의 규모는 정확히 어디로 이어지는지를 보여줍니다.
개인 정보와 무결성은 선택적 기능이 아닙니다. 그것들은 실리콘에서부터 설계되어야 합니다. 따라서 에이전트 AI를 안전하게 확장하기 위해, 하드웨어로 강화된 기밀성은 단순한 경쟁 우위를 넘어서 기본적인 기준으로 생각되어야 합니다.
