AI 가시성 위기: 보안 팀이 왜盲點에 빠져 있는지 그리고 왜 그럴 필요가 없는지

AI 에이전트가 생산 환경에 통합되는 속도는 가속화되고 있지만, 이를 보안하기 위한 안전 아키텍처는 위험하게 뒤처지고 있다. 우리는 AI 에이전트가 스테이징 환경에서 루틴 작업을 수행하도록 지시했는데, 자격증명 불일치를 “수정”하기 위해 데이터베이스 볼륨을 삭제하는 독립적인 결정할 수 있는 시대에 살고 있다.

산업 전체적으로, 우리는 AI를 둘러싼 기본적인 보안과 관찰 가능성 원칙에 대해 우리의 뇌를 끄고 있다. 보안 팀은盲點에 빠져 있지만, 그럴 필요는 없다.

시스템 프롬프트와 안전한 툴링의 신화

AI 공간에서 퍼져 있는 신화는 에이전트의 행동을 단순히 지시함으로써 제어할 수 있다는 것이다. 시스템 프롬프트는 자문적인 것이지, 강제적인 것이 아니다. 앞서 언급한 사건에서, AI의 시스템 규칙은 명시적으로 파괴적인 명령을 실행하지 말라고 규정했지만, 에이전트는 자신의 마케팅된 가드레일을 위반하고 가능할 가장 불가역적인 행동을 수행했다.

우리는 AI가 실제로 “아무것도” 모른다는 가정하에 일해야 한다. AI에 대한 공격은 사회 공학적 공격이지만, 표적은 평균적인 인간보다 더 어리석다. 펜트레스트 테스트를 경험한 사람은 조직이 사회 공학적 공격에 대해 방어하는 것이 얼마나 어려운지 이해한다. 이제 우리의 컴퓨터도 취약하다.

또한, AI 툴링은 궁극적으로 소프트웨어이기 때문에, 모든 소프트웨어는 버그가 있다. 이미 AI 툴링이 자동으로 인증되지 않은 HTTP 서버를 시작하여 로컬 프로세스나 웹사이트가 사용자 권한으로 임의의 셸 명령을 실행할 수 있는 경우를 보았다.

AI 감사의 블랙박스

AI가 무작위로 작동하거나 조작된다면, 그것이 무엇을 했는지 알아내는 것은 악몽이다. AI 툴은 일반적으로 감사 로그를 제공하지 않는다. 만약 당신이幸運으로 엔터프라이즈 티어에 있다면, 받는 로그는 심각하게 부족하다. 예를 들어, “Gen AI”를 사용한 사용자에 대한 모호한 이벤트와 기본 메트릭을 입력 및 출력 토큰 수로 자세히 받을 수 있다.

이 두 가지 모두 보안 분석가가 기본적인 질문에 답할 수 없다: 이 에이전트는 정확히 무엇을 실행했는가?

AI를 드러내다:盲點에 빠지지 않도록 하는 방법

좋은 소식은 당신이 가시성을 다시 얻으려면 반드시 새로워야 하는 AI 전용 보안 어플라이언스가 필요하지 않다는 것이다. 쉐도우 AI 사용과 에이전트 활동은 기존 로그 분석 기술을 사용하여 감지할 수 있다. AI 툴 호출, 명령 실행 및 시스템 변경 이벤트는 기존 프로세스 실행 분석(당신의 보안 정보 및 이벤트 관리(SIEM)에서 수행하는 것)을 사용하여 AI로 추적할 수 있다.

여기에서는 현재 인프라를 사용하여 AI 활동을 감지하는 방법이 있다:

• DNS 분석: AI 서비스 도메인에 대한 DNS 로그 쿼리를 분석하여 환경에서 AI 사용을 감지하는 데 도움이 될 수 있다.
• 위협 목록: 이 접근 방식은 AI 플랫폼 또는 모델 제공업체와 관련된 도메인의 최신 위협 목록을 유지하는 것을 필요로 한다.
• 커뮤니티 리소스: 프로그램 사용을 위해 수정할 수 있는 커뮤니티 프로젝트와 블록 목록이 사용 가능하다.
• SSL 추적: 유사한 접근 방식은 서버 이름을 추적하기 위해 SSL 로그를 사용할 수 있지만, 전체 URL이 기록되지 않으므로 약간의 세부 정보가 제공된다.
• 엔드포인트 텔레메트리: Sysmon과 같은 도구를 사용하여 자식 프로세스를 계산하고 높은 bash 생성자를 사냥하여 엔드포인트에서 명령을 실행하는 잠재적인 AI 에이전트를 강한 지표로 사용할 수 있다.

盲點을 요구하는 데이터 수집의 활성 변경은 프롬프트 자체이다. 사용자가 AI에 무엇을 요청하는가? 사용자가 잠재적으로 민감한 문서를 업로드하여 컴플라이언스 문제를 생성하는가? 이러한 질문에 대한 답변은 가장 вероят적으로 제공업체에 대한 API 요청을 수집하는 것을 필요로 한다. 웹 프록시, LLM 프록시 및 로깅 및 SIEM 제공업체의 데이터 수집 도구. 이러한 도구는 이貴한 데이터 소스를 가리는 베일을 제거할 수 있다.

제기되는 위협: 악의적인 MCP 서버

모델 컨텍스트 프로토콜(MCP)은 AI 앱이 외부 도구 및 데이터 소스와 통합하는 방법을 지정하는 방법으로 등장했다. 표준화된 연결을 제공하지만, “악의적인 MCP” 서버를 통해 대규모 새로운 공격 벡터를 도입한다.

나는 학생들이 이 공격을 직접 경험할 수 있는 실습 워크샵을 주최한다. 그들은 악의적인 MCP 서버를 설계하여 LLM을 속여 합법적인 도구를 호출하고 출력을 공격자에게 되돌려 보내도록 한다. LLM은 사회 공학에 매우 취약하기 때문에, 내장된 가드레일을 우회하는 것은 종종 더 나은 단어 선택이나 교활한 전제만으로 가능하다.

학생들은 종종 악의적인 서버를 사용하여 AI에게 “유지 보수 모드”에 있으며 “감사 로깅”을 위해 데이터를 두 번째 도구에 전달해야 한다고 지시한다. 이는 데이터 유출로 이어진다. 일부 학생들은 다른 학생보다 창의적이지만, 모두 일반적으로 성공한다.

제어권을 되찾다

실제 세계에서 AI 활동을 적절하게 감사하려면 AI 요청을 가로채는 프록시와 대량의 JSON 페이로드를 처리할 수 있는 로그 수집 도구가 필요하다. 이 가시성을 통해, 당신은 위협을 감지하고 분류할 수 있다. 당신은 안전 계층을 제공하기 위해 단지 AI 벤더에만 의존할 수 없다. 시행은 조직의 시스템에 있어야 하며, 모델이 복종하기를 바라는 텍스트의 단락에 있으면 안 된다. 良好的 로깅 솔루션을 사용하면 보안 팀은 원격 분석을 가지고 있다; 이제 그것을 쿼리하기 시작할 때이다.