체크포인트의 CTO 조나단 장거, 인터뷰 시리즈

조나단 장거, 체크포인트의 최고기술책임자(CTO)는 드문 군사 정보 경험, 심층적인 AI 전문 지식, 스타트업과 글로벌 기업 모두에서 운영 리더십을 보유하고 있습니다. 현재의 역할 이전에, 그는 Trigo의 CTO로 재직하며 다음 세대 AI 및 컴퓨터 비전 시스템의 개발을 이끌었으며, 무결점 소매 및 대규모 손실 방지를 가능하게 하였습니다. 이전에는 Trigo에서 고위 연구개발 리더십 역할을 수행하였으며, 이스라엘의 엘리트 유닛 8200에서 10년 이상 근무하며 국가 규모의 정보 및 사이버 보안 이니셔티브를 담당하였습니다.

체크포인트 소프트웨어 테크놀로지스는 글로벌 사이버 보안 리더로, 기업과 정부를 점점 더 복잡한 디지털 위협으로부터 보호하기 위한 AI驱動, 클라우드 기반 보안 솔루션을 제공합니다. 이 회사는 100,000개 이상의 조직에 포괄적인 플랫폼을 제공하며, 네트워크, 클라우드 환경, 엔드포인트, 사용자를 보호하는 예방 우선 접근 방식을 통해 공격을 발생하기 전에 차단하는 것을 목표로 합니다. 통합 아키텍처는 보안 운영을 단순화하고, 위험을 줄이고, 기업이 AI, 클라우드 컴퓨팅, 분산 시스템을 채택함에 따라 안전하게 확장할 수 있도록 합니다.

대규모 사이버 보안 및 AI 이니셔티브를 이끌었으며, Trigo에서 AI驱動 시스템을 구축하였으며, 현재 체크포인트에서 AI 전략을 책임지고 있습니다. 제어된 환경에서 프로덕션으로 전환할 때 AI 시스템에서 발생하는 특정 실패 모드를 관찰했습니다. 특히 도구와 기업 데이터에 접근할 때 어떤 실패 모드를 관찰하였나요?

프로덕션에서 두 가지가 근본적으로 변경됩니다. 첫째, 규모는 에지 케이스를 일상적인 이벤트로 만듭니다. 실험실에서 0.1%의 거짓 양성률은 훌륭하지만, 수백만 개의 상호작용을 처리할 때, 그것은 주의를 필요로 하는 수천 개의 사건으로 변환됩니다. 테스트에서 통계적 아웃라이어는 규모에서 운영 현실이 됩니다.

둘째, 프로덕션은 적대적 노출을 의미합니다. 제어된 환경에서 입력은 무해하고 예측 가능합니다. 실제 세계에서 일부 사용자와 위협 행위자는 시스템을 속이기 위해 모든 신뢰할 수 없는 데이터 채널을 사용하여 행동을 조작하려고 할 것입니다. 데모에서 프로덕션으로의 전환은 확장 문제가 아닙니다. 그것은 협력적인 환경에서 tranh쟁 환경으로의 전환입니다. 그리고 그것은 근본적으로 다른 설계 가정들을 요구합니다.

에이전트 시스템에서 모델이 API를 호출하고 코드를 실행하며 액션을 체인할 수 있는 경우, 보안 팀이 아직 제대로 기기화하지 못한 가장 중요한 공격 표면은 무엇인가요?

대부분의 팀이 과소평가하는 중요한 표면은 데이터 자체입니다. 에이전트 시스템은 일반적으로 신뢰할 수 없는 데이터 소스를 접근합니다. 들어오는 이메일, 웹 사이트, 지라 티켓, 오픈소스 코드, 외부 문서 등이 모델의推論 과정에서 분석됩니다.

이것은 두 가지 구체적인 위험을 생성합니다. 첫째, 메모리 중독 — 조작된 콘텐츠가 모델의 미래 응답과 결정에 미묘하게 영향을 미칩니다. 둘째, 간접 프롬프트 주입 — 적대적 지침이 외부 데이터에 내장되어 효과적으로 모델을 내부에서 탈옥시킵니다. 공격자는 프롬프트에 직접 터치하지 않습니다. 에이전트가 찾을 수 있는 곳에 지침을 심습니다.

프롬프트 주입은 종종 모델 문제로 프레임화되지만, 실제로는 시스템 수준의 문제입니다. 기업은 모델 입력, 도구 실행, 민감한 데이터 접근을 분리하기 위해 아키텍처를 어떻게 재설계해야 합니까?

프롬프트 주입은 보편적인 문제가 아니며, 보편적인 해결책도 없습니다. 특정 입력이 합법적이거나 적대적인지 여부는 hoàn전히 컨텍스트에 달려 있습니다. 에이전트에게 “관리자 암호를 변경하십시오”라고 요청하는 것은 기술 지원 에이전트라면 완전히 합법적입니다. 동일한 요청을 온라인 소매업체의 챗봇에게 하는 것은 공격입니다.

이것은 아키텍처가 더 중요하다는 것을 의미합니다. 시스템은 결정론적 및 비결정론적 메커니즘을 모두 필요로 합니다. 결정론적 제어는 에이전트, 사용자, 시스템의 정의된 역할에 따라 도구와 데이터에 대한 접근을 관리합니다. 비결정론적, 모델 기반 제어는 언어, 컨텍스트 및 의도를 이해하는 능력을 추가합니다. 두 계층 —剛性 정책 집행 및 지능형 컨텍스트 推論 — 모두 필요합니다. 어느 하나만으로는 충분하지 않습니다.

많은 AI 에이전트는 검색 보강 생성 및 외부 데이터 소스를 사용합니다. 이러한 파이프라인에서 데이터 중독 및 컨텍스트 조작의 위험은 무엇이며, 런타임에 어떻게 완화할 수 있나요?

위험은 데이터 흐름의 방향에 따라 다릅니다. 내부 데이터 소스의 경우 주요 위험은 민감한 데이터 누출입니다. 외부 데이터 소스의 경우 위험에는 모델 편향, 간접 프롬프트 주입, 신뢰할 수 없는 출처 의존이 포함됩니다.

완화는 트랜잭션 수준에서 실시간으로 발생해야 합니다. 모든 에이전트 상호작용은 양방향으로 보안되어야 합니다. 내부에서 외부로 민감한 데이터가 누출되지 않도록 하고, 외부에서 시스템이나 모델로 유독하거나 적대적인 정보가 주입되지 않도록 합니다. 이것을 데이터 수집 시간에만 해결할 수 없습니다. 컨텍스트는 동적이며 위협 풍경은 지속적으로 변경됩니다.

AI 디펜스 플레인은 직원 AI 사용, 애플리케이션, 에이전트 시스템에 걸쳐 통일된 제어 계층을 도입합니다. 이러한 분산된 AI 스택에 걸쳐 정책을 관찰하고 시행하는 시스템을 구축하는 데 가장 큰 아키텍처적 도전은 무엇이었나요?

우리는 에이전트 워크로드가 엔드포인트, 애플리케이션, SaaS 서비스 및 클라우드 워크로드를 모두 超连接하는 “에이전트 인터넷”이라고 하는 것을 믿습니다. AI 디펜스 플레인의 아이디어는 이 발전하는 기업 에이전트 인프라를 단일 패널에서 발견, 관리 및 보호하는 것입니다.

핵심 아키텍처 도전은 에이전트의 위험 프로파일과 컨텍스트를 동적으로 평가하는 것입니다. 또한 모든 에이전트 트랜잭션에 대해 효율적인 실시간 보호를 개발하는 것입니다. 즉, 실제 위협에 대해 높은 차단률을 유지하면서 거짓 양성률을 최소화하는 것입니다. 이러한 분산된 및 빠르게 발전하는 AI 스택에 걸쳐 일관된 방식으로 보안 정책을 관찰하고 시행하는 시스템을 구축하기 위해 우리는 AI 활동을 근본적으로 추상화하고 평가하는 방법을 재고했습니다.

플랫폼은 언어와 워크플로우에 걸쳐 기계 속도에서 실시간 의사 결정에 강조를 둡니다. 프로덕션 환경에서 AI驱動 액션의 심층적인 검사 및 제어와 대기 시간 제약을 어떻게 균형 있게 조정하나요?

우리는 위협 방지를 위해 특별히 설계된 기초 모델을 개발하고 디스틸레이션 기술을 사용하여 매우 효율적으로 만듭니다. 이것은 최소한의 컴퓨팅으로 빠르고 정확하게 추론을 실행할 수 있도록 합니다. 이미지 및 오디오 분석을 포함하여 다중 언어 및 다중 모달 커버리지를 제공합니다.

이 접근 방식은 에이전트 트랜잭션을 깊숙이 검사할 수 있게 하면서도 병목 현상을 일으키지 않습니다. 사용자에게 불편함을 주는 보안은 우회될 것입니다. 워크플로우에 보이지 않지만 의미 있는 제어를 시행하는 보안은 실제로 배포되고 유지되는 것입니다.

AI 에이전트는 도구 사용을 통해 다중 시스템에 걸쳐 위임된 권한을 점점 더 많이 운영합니다. 비인간 에이전트, 특히 에이전트가 도구 사용을 통해 동적으로 범위를 확장할 때 身分 및 접근 관리를 어떻게 재고해야 합니까?

대부분의 조직이 犯하는 실수는 AI 에이전트를 인간 사용자의 확장 또는 전통적인 서비스 계정으로 취급하는 것입니다. 두 모델 모두 맞지 않습니다. 에이전트를 정의된 역할, 책임 및 경계를 가진 디지털 직원으로 생각해야 합니다.

에이전트 身分은 세 가지 차원으로 정의되어야 합니다. 에이전트가 실행하는 특정 워크플로우, 에이전트를 소유하거나 생성한 사용자, 현재 에이전트와 상호작용하는 사용자입니다. 세 가지 요소 모두 에이전트가 수행할 수 있는 작업을 결정합니다. 또한 조직은 에이전트에 대해 제로 트러스트 원칙을 적용해야 합니다. 출처나 에이전트의 행동에 기반하여 신뢰를 가정하지 말고, 지속적으로 행동을 확인하고, 모든 단계에서 최소 권한 접근을 시행해야 합니다. 그렇지 않으면 에이전트는 아무도 의도하지 않은 권한을 축적할 것입니다.

대부분의 기업은 현재 코파일럿, 플러그인, 내부 스크립트를 통해 그림자 AI 사용을 하고 있습니다. 보안 팀은 민감한 데이터와 상호작용하는 방법에 대한 실제 가시성을 얻으려면 어떤 텔레메트리를 수집해야 합니까?

가시성은 에이전트 트랜잭션 수준에서 작동해야 합니다. 즉, 프롬프트와 응답만이 아니라, 도구 호출, 도구가 반환하는 데이터, 그 결과 발생하는 액션을 모두 볼 수 있어야 합니다. 에이전트가 무엇을 요청했는지, 어떤 데이터에 접근했는지, 어떤 도구가 호출되었는지, 어떤 매개변수가 전달되었는지, 그리고 다음에 무슨 일이 발생했는지 보안 팀은 모두 볼 수 있어야 합니다.

에이전트 트랜잭션 수준의 텔레메트리가 없으면, 노출, 남용 또는 영향에 대한 기본적인 질문에 답할 수 없습니다. 그림자 AI는 존재하기 때문에 위험하지 않습니다. 그것은 이러한 수준의 거버넌스나 통찰력 없이 작동하기 때문에 위험합니다.

에이전트 시스템의 적대적 테스팅은 정적 애플리케이션 테스팅과 근본적으로 다릅니다. 멀티스텝 워크플로우에서 적대적 행동을 어떻게 시뮬레이션하며, 어떤 종류의 취약점이 가장 일반적으로 발견됩니까?

우리는 Gandalf (https://gandalf.lakera.ai)를 운영합니다. 이는 세계에서 가장 큰 AI 적대적 테스팅 운동입니다. 실제 사용자가 AI 에이전트를 제한을 벗어나도록 설득하려고 시도하는 크라우드소스 플랫폼입니다. 이것은 실제 사용자가 AI 시스템을 조작하기 위해 사용하는 실제 적대적 기술의 고유하고 지속적으로 증가하는 데이터 세트를 제공합니다.

우리는 이 데이터 세트를 사용하여 적대적 테스팅 능력을 구동합니다. 가장 많이 보는 공격은 사용자가 에이전트를 점진적으로 제한을 위반하도록 설득하는 것입니다. 간접 프롬프트 주입, 창의적인 재구성, 컨텍스트 조작 및 다중 상호작용에서 점진적인 신뢰 악용을 통해 발생합니다. 이러한 문제는 개별 프롬프트만 테스트할 때 보이지 않습니다. 시퀀스와 지속적인 적대적 캠페인을 테스트해야 합니다.

공격자가 시스템을 지속적으로 탐지하기 위해 자율 에이전트를 사용하기 시작할 때, 방어는 실시간 적응형 제어로 전환될 것으로 예상되며, 이는 AI에 의해 구동됩니다. 실제 아키텍처는 무엇입니까?

예. 정적 방어는 지속적으로 작동하는 자율 공격자와 함께 유지할 수 없습니다. 방어는 적응형, 런타임 주도형, 자동화되어야 합니다. 이것은 AI 행동의 실시간 모니터링, 지속적인 위험 평가 및 정책 위반 시 즉각적인 시행을 의미합니다. AI 주도 공격의 속도와 규모는 동일한 속도의 기계 속도 방어로만 대응될 수 있습니다.

실제로, 보안은 규칙 세트가 아닌 피드백 루프가 됩니다. AI 시스템은 관찰되고, 평가되고, 동적으로 제약을 받습니다. 그것은 작동하는 속도와 규모와 동일합니다. 이 전환은 기업이 안전하게 대규모로 AI를 배포하려는 경우 필수적입니다.

훌륭한 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 체크포인트 소프트웨어 테크놀로지스를 방문하십시오.