샌디 던, SPLX의 CISO – 인터뷰 시리즈

샌디 던, SPLX의 CISO는 20년 이상의 헬스케어 및 스타트업 경험을 가진 베테랑 CISO로서 QuarkIQ를 통해 CISO 컨설팅을 제공합니다. 그녀는 OWASP Top 10 for LLM Applications 사이버 보안 및 거버넌스 체크리스트를 주도하며 OWASP AI Exchange, OWASP Top 10 for LLM, 및 Cloud Security Alliance에 기여합니다. 보이시 주립 대학교의 부교수로서 그녀는 또한 보이시 주립 대학교의 퍼스바이브 사이버 보안 연구소의 자문위원 및 이사입니다. 샌디는 SANS에서 정보 보안 관리 석사 학위를 취득하였으며 CISSP, 여러 SANS GIAC 자격증, Security+, ISTQB, 및 FAIR를 포함한 수많은 자격증을 보유하고 있습니다.

SPLX는 자동화된 적대적 테스팅, 런타임 보호, 거버넌스, 복구, 위협 검사, 및 모델 보안을 통해 AI 시스템에 대한 종단간 보호를 제공하는 사이버 보안 회사입니다. 그들의 플랫폼은 1시간 이내에 수천 개의 적대적 시뮬레이션을 실행하여 취약성을 식별하고, 배포 이전에 시스템 프롬프트를 강화하며, 다중 에이전트 AI 워크플로우에서 위험을 매핑하고 분석하는 오픈 소스 도구인 Agentic Radar를 포함합니다.

AI와 사이버 보안의 교차점에 처음으로 관심을 가지게 된 것은 무엇이며, 그것이 SPLX에서의您的 역할 및 OWASP와의 참여로 이어진 경로는 무엇입니까?

AI는 ChatGPT 이전에 이미 사이버 보안 대화의 일부였지만, 그것이 기대에 못 미친다는 느낌을 받았습니다. 그러나 그것을 사용했을 때, 나는 그것이 할 수 있는 것에 놀랐고, 적대적 공격이나 개인 정보 유출을 위해 얼마나 빠르게 무기화될 수 있는지에 대해恐怖를感じ했습니다. 그 순간에 불이 붙었습니다. 나는 LLM에 대해 모든 연구 논문을 읽고, 관련 슬랙 및 디스코드 커뮤니티에 참여하며, 내 자신의 실험을 실행했습니다. 나는 OWASP Top 10 for LLMs 채널에서 잠시 관찰했으며, 첫 번째 목록이 게시되었을 때, 그것이 중요한 里程碑임을 알았습니다. 그러나 CISO로서, 나는 보안 팀이 더 많은 정보가 필요하다고 느꼈습니다. 우리는人们에게 무엇을 걱정해야 하는지 말했지만, 무엇을 해야 하는지에 대해 말하지 않았습니다. 나는 프로젝트 리드인 Steve Wilson에게 “LLM 보안 CISO 체크리스트”를 만들자고 제안했습니다. 그것은 이후 첫 번째 OWASP GenAI 서브 프로젝트가 되었습니다.

그 작업을 통해, 나는 Kristian Kamber와 Ante Gojsalic (SPLX의 설립자)를 만났으며, 또한 여러 AI 보안 스타트업을 자문했습니다. 당시 나는 B2B 챗봇 회사에서 CISO였으며, 광범위한 AI 적대적 테스팅 플레이북을 만들었습니다. SPLX의 데모를 보았을 때, 나는 즉시 그들이 내가 고민하고 있던 문제를 해결했다는 것을 알았습니다. SPLX가 CISO를 필요로 할 때, 나는 놀라운 회사에 가입하여 중요한 도전을 해결하는 일에 참여할 기회를 잡았습니다.

SPLX의 CISO로서, 특히 에이전트 AI와 관련하여 가장 새로운 공격 기법은 무엇입니까?

GenAI 시스템 디자인의 특이성으로 인해, 에이전트의 자율성과 능력을 무기화하는 취약성과 공격을 완전히 제거하는 것은 불가능합니다. 메모리 포이즈닝 공격과 같은 MINJA는 최근의 예입니다. 공격자는 에이전트의 메모리 뱅크를 조작된 상호작용을 통해 손상시킬 수 있으며, 나중에 위험한 행동을 유발하는 유해한 “기억”을 심을 수 있습니다. 에코 체임버 공격은 또 다른 예입니다. 적대자는 에이전트에게 반복되는 악의적인 컨텍스트를 보내는 것으로 대화 루프를 만들 수 있습니다. 연구자들은 안전 메커니즘을 우회하여 여러 차례에 걸쳐 유해한 지침을 강화했습니다.

간접적이고 크로스-모달 프롬프트 주입은 또 다른 예입니다. 악의적인 지침은 에이전트가 소비하는 외부 콘텐츠 seperti 이미지 또는 문서에 숨겨져 있습니다. 이러한 지침은 사용자로부터 직접 입력 없이 자율적인 결정에 영향을 줄 수 있습니다.

도구 포이즈닝과 같은 복잡한 AI 에이전트 생태계 공격은 에이전트 플랫폼에 대한 전체 공급망을 신중하게 검토해야 합니다. 공격자는 에이전트 플랫폼용으로 보이는 합법적인 도구를 만들지만, 도구 설명 및 문서에 악의적인 지침을 포함시킵니다. 에이전트가 이러한 도구를 로드하면, 포함된 지침은 에이전트의 컨텍스트가 되어, 데이터 유출 또는 시스템 손상과 같은 비인가된 동작을 가능하게 합니다.

조직은 SPLX 플랫폼을 통해 LLM 특정 위협 such as 프롬프트 주입 또는 적대적 탈옥 공격에 대해 어떻게 탐지하고 대응해야 합니까?

SPLX는 개발에서 배포 및 실시간 운영까지 AI 생명주기 전반에 걸쳐 LLM 기반 애플리케이션 및 다중 에이전트 시스템을 보호하는 종단간 보안 플랫폼입니다. 우리의 AI 런타임 보호는 이러한 위협을 발생할 때 중단하도록 설계되었습니다. 실시간으로 입력 및 출력을 모니터링 및 필터링하여 AI에 대한 실시간 방화벽으로 작동하며, AI의 엄격한 행동 경계를 강제합니다. SPLX의 동적 탐지 엔진은 실시간으로 악의적인 활동을 플래그하여 AI 시스템이 안전하게 응답하고 의도된 경계를 유지하도록 보장합니다.

OWASP의 업데이트된 GenAI 보안 Top 10은 시스템-프롬프트 누출 및 벡터-데이터베이스 취약성과 같은 주요 위험을 확장합니다. 이러한 새로운 위협은 어떻게 진화하는 적대적 풍경을 반영합니까?

2025년 OWASP Top 10 업데이트는 실제 시나리오에서 LLM 및 생성 AI 기술이 사용되는 방식에 대한 이해가 진화하고 있음을 반영합니다. LLM07 불안정한 플러그인 디자인은 공급망에 포함되었으며, LLM010 모델 도난은 무제한 소비에 포함되어 2025년 목록에 포함되었습니다. 이것은 시스템-프롬프트 누출 및 벡터-데이터베이스 취약성과 같은 새로운 위협을 추가할 수 있었습니다.

1. 시스템-프롬프트 누출은 LLM 프롬프트가 노출될 때 발생하는 위협을 식별합니다. 이는 가드레일, 논리 흐름 또는 LLM 프롬프트에 포함된 비밀을 노출할 수 있습니다.

2. 벡터-데이터베이스 취약성은 RAG 시스템에서 발생할 수 있는 보안 문제를 플래그합니다. 이는 크로스-테넌트 데이터 누출, 임베딩 반전 또는 유해한 문서가 이후에 위험한 출력을 나타낼 수 있습니다.

3. 업데이트는 AI 중심 공격이 기회주의적 프롬프트 공격에서 전략적 사고를 가진 전체 AI 시스템을 대상으로 하는 공격으로 진화하고 있음을 보여줍니다. 현대적인 공격은 지속성, 규모 및 시스템적 영향에 중점을 둡니다.

에이전트 아키텍처의 확장된 커버리지는 또 다른 중요한 개발을 인정합니다. AI 시스템이 더 큰 자율성과 의사 결정 능력을 얻을수록, 보안 실패의 잠재적인 결과는 기하급수적으로 증가합니다. 인간의 감독을 줄이면서 더 강력한 애플리케이션을 가능하게 하는 것은 보안 실패의 영향을 증폭하는 조합 효과를 가집니다.

현재 에이전트 AI를 배포하는 기업에서 가장 일반적으로 간과되는 취약성은 무엇입니까?

가장 일반적으로 간과되는 문제는 전통적인 소프트웨어 및 시스템 배포와 마찬가지로, 최소 권한의 원칙입니다. 우리는 아직 인간 사용자 및 서비스 계정의 최소 권한을 다루고 있으며, 이제 기업은 에이전트 身分 및 액세스를 완전히 이해하거나 해결하지 못하고 있습니다. 우리는 에이전트에게 광범위한 권한을 부여하는 것을 보며, 문서를 읽거나 외부 API에 액세스하거나甚至 시스템을 수정할 수 있습니다. 이것은 기술적인 결함이 아니라, 기본적인 아키텍처 오류입니다. 과도한 권한을 가진 에이전트는 데이터 유출 또는 금융 거래를 시작하는 등 큰 피해를 줄 수 있습니다.

또 다른 일반적으로 간과되는 문제는 에이전트 사이의 “신뢰” 관계입니다. 에이전트 시스템에서 에이전트는 종종 서로 통신하고 협력하도록 설계됩니다. 우리는 한 에이전트가 합법적인 에이전트를 가장할 수 있는 새로운 공격 클래스를 보며, 이는 기본적으로 아키텍처 수준의 트로이 목마입니다.

기업 보안 팀은 생산 환경에서 에이전트 AI 도구를 배포할 때 어떤 조치가 필요합니까?

1. 사고 대응 계획부터 시작하십시오. 최악의 날이 어떤 모습일지, 그런 다음 보안 제어가 있으며 가시성이 있는지 확인하기 위해 뒤로 돌아가십시오. AI 침해가 발생하면 보안 운영 센터에는 플레이북이 필요합니다. 누구에게 통보해야 합니까? 어떻게 하면 손상된 에이전트를 격리할 수 있습니까? 알려진 좋은 상태로 되돌리는 과정은 무엇입니까? 위기가 발생하기 전에 계획을 갖는 것이 중요합니다.

2. 공격 표면 인벤토리 및 위협 평가를 수행하십시오. 보안을 유지할 수 없는 것을 알지 못합니다. 첫 번째 단계는 사용 중인 모든 AI 에이전트, 도구 및 데이터 액세스를 인벤토리화하는 것입니다. 어떤 데이터에 접근합니까? 어떤 권한을 가지고 있습니까? 무엇이 손상될 경우 어떤 영향이 있습니까? 높은 영향 및 가장 가능성 있는 위협에 우선순위를 부여하십시오. 그런 다음 실행 팀과 위험 감수에 대한 성실한 대화를 하십시오. 가속된 AI 활동의 이점은 CISO, 위험 책임자, 법률 팀 및 경영진이 비즈니스 목표, 위험 감수 및 보안 예산에 대해 실제 대화를 하도록 강제합니다.

3. 가드레일, 최소 권한 및 모니터링 도구를 구현하십시오. 에이전트 배포의 범위는 중요합니다. 에이전트의 목적, 경계 및 권한을 정의하십시오. 에이전트에게 전체 SharePoint 라이브러리에 접근할 필요가 없다면 하나의 폴더만 제공하십시오. 에이전트가 호출할 수 있는 API 및 수행할 수 있는 동작을 제한하는 제어를 구현하십시오. 이것을 새로운, 매우 똑똑한, 취약한 인턴으로 생각하십시오. 그들이 놀라운 능력을 가지고 있음을 인정하지만, 그들에게 모든 것을 信頼하지는 않습니다. 그들이 회사 내에서 무엇을 할 수 있는지 제한하고, 중요한 것을 접근하지 못하도록 하며, 그들이 하는 일을 모니터링하고, 절대적으로 해서는 안 되는 일(예를 들어, CEO의 사무실에 접근하는 것)을 하려고 할 때 경보 시스템을 갖추고 있습니다.

4. 전통적인 보안 스택과 병합되는 AI 특정 보안 스택을 구현하십시오. 전통적인 보안 도구는 GenAI 시스템 또는 에이전트 시스템을 위해 설계되지 않았습니다. 프롬프트 검증, 출력 소독, 에이전트 동작의 지속적인 모니터링과 같은 GenAI 및 에이전트 시스템에 특정한 문제를 위한 도구를 구현해야 합니다.

5. CI/CD 파이프라인에 AI 적대적 테스팅을 통합하십시오. 에이전트의 취약성을 변경의 중요성 및 조직의 위험 감수에 따라 지속적으로 테스트해야 합니다. 최근 GPT-5 업데이트는 에이전트 워크플로우에 미치는 변화가 얼마나 방해가 될 수 있는지 보여주는 예입니다. 자동화된 적대적 테스팅을 개발 라이프사이클의 핵심 부분으로 만듭니다. 이것은 업데이트와 변경할 때 문제를 식별하는 데 도움이 됩니다.

조직은 자동화된 적대적 테스팅, CIAM, RAG 거버넌스, 및 모니터링을 어떻게 GenAI 위험 관리 전략에 통합해야 합니까?

핵심은 통합입니다. 각 구성 요소를 별도의 이니셔티브로 취급하지 말고, 서로를 강화하도록 하는 일관된 프레임워크가 필요합니다.

자동화된 적대적 테스팅을 기본으로 시작하십시오. 위협 풍경이 진화함에 따라 지속적인 적대적 테스팅이 중요합니다. SPLX 플랫폼은 다양한 위험 범주에서 수천 개의 공격 시나리오를 시뮬레이션하여 프롬프트 주입, 탈옥, 컨텍스트 조작 및 도구 포이즈닝을 테스트합니다. 중요한 점은 이것을 CI/CD 파이프라인의 일부로 만들어 배포 전에 에이전트 업데이트가 보안 유효성 검사를 받도록 하는 것입니다.

AI 시스템을 위한 CIAM에는 전통적인 身分 모델을 재고하는 것이 필요합니다. 에이전트는 컨텍스트 및 위험 수준에 따라 동적으로 조정될 수 있는 세분화된 권한이 필요합니다. 속성 기반 액세스 제어가 에이전트의 身分뿐만 아니라 처리 중인 데이터, 요청하는 도구 및 위협 컨텍스트를 고려하도록 구현하십시오.

RAG 거버넌스는 특히 중요합니다. 벡터 저장소에摄取되는 모든 콘텐츠에 대한 데이터 계보 추적을 설정하십시오. 악의적인 예제 또는 문서에 포함된 유해한 지침을 감지할 수 있는 콘텐츠 검증 파이프라인을 구현하십시오.

모니터링의 경우, 기술적 및 행동적 지표를 모두 캡처할 수 있는 텔레메트리가 필요합니다. 기술적 모니터링에는 입력/출력 분석, API 호출 패턴 및 리소스 사용이 포함됩니다. 행동적 모니터링은 의사 결정 품질, 작업 완료 패턴 및 손상으로 인해 나타날 수 있는 상호작용 컨텍스트에 중점을 둡니다.

통합이 중요합니다. 적대적 테스팅 결과는 CIAM 정책을 정보로 제공해야 하며, 모니터링 시스템은 RAG 거버넌스 프로세스로 피드백을 제공해야 하며, 모든 것이 중앙 집중식 엔터프라이즈 위험 관리 플랫폼을 통해 이러한 모든 도메인에서 신호를 상관시킬 수 있어야 합니다.

AI 관련 침해는 아직 초기 단계이지만 증가할 것으로 예상됩니다. 보안 리더는 향후 12~18개월 동안 어떤 추세를 준비해야 합니까?

AI 인프라를 포함한 모든 것을 대상으로 하는 공급망 공격의 상당한 확장을 예상합니다. AI 공급망 공격은 훈련 데이터 세트를 손상시키거나, 모델 저장소를 손상시키거나, 소프트웨어 종속성에 악의적인 코드를 주입하여 AI 시스템에 대한 지속적인 액세스를 얻을 수 있습니다.

자율적인 사회 공학 공격, 즉 딥페이크 비싱 사건이 이미 증가하고 있으며, 완전히 자율적인 생성으로의 진화는 가장 우려스러운 것입니다. AI 에이전트가 여러 플랫폼에서 동시에 타겟 및 컨텍스트에 맞춘 완전한 사회 공학 캠페인을 처리할 수 있는 lực량을 가집니다.

기계 속도에서 작동하는 AI 네이티브 공격의 부상도 예상합니다. 전통적인 보안 도구 및 인간 분석가는 기계 속도에서 복잡한, 다단계 공격을 수행하는 공격자와 대응할 수 없습니다.

생성 AI 위험에 대한 규제 및 준수 프레임워크는 어떻게 진화할 것으로 예상합니까?

규제 프레임워크에서 주요한 변화를 예상합니다. 그것은 혁신과 책임성, 투명성, 안전한 개발 관행 및 공급망 보안에 대한 중점을 균형있게 다룰 것입니다.

데이터 출처 및 무결성에 대한 중점을 예상합니다. 규제 기관은 AI 모델을 훈련하고 보강하는 데 사용된 데이터가 어디에서 왔는지 알고 싶을 것입니다. 데이터가 소독되었는지, 민감한 정보를 포함하지 않았는지, 그리고 유해한 정보가 포함되지 않았는지 확인하고 싶을 것입니다.

마지막으로, 섹터별 규제를 예상합니다. 금융 기관이 거래를 처리하기 위해 AI 에이전트를 사용하는 경우와 의료 기관이 진단을 위해 에이전트를 사용하는 경우의 위험은 다릅니다.

규제 기관은 중요한 산업을 위한 특정 표준을 정의할 것입니다. 자동화된 적대적 테스팅, 인간의 중재, 및 AI 시스템에 대한 엄격한 감사와 같은 것을 요구할 것입니다. 이는 생명과 죽음의 결과를 가질 수 있는 AI 시스템의 경우입니다.

보이시 주립 대학교의 부교수이자 퍼스바이브 사이버 보안 연구소의 이사로, 어떻게 다음 세대의 AI-보안 전문가를 준비하고 있으며, 오늘날의 빠르게 진화하는 풍경에서 어떤 기술이 가장 중요합니까?

비판적 사고 및 문제 해결은 여전히 학생들이 사이버 보안에서 훌륭한 경력을 위해 필요한 가장 중요한 기술입니다. 그러나 사이버 위협 인텔리전스 팀에서만 발견되는 인간 심리학 및 언어학과 같은 기술은 다양한 사이버 보안 역할에서 이점을 줄 것입니다.

사람들과 의사 소통 기술도 중요합니다. 사이버 보안은 IT 시스템에 관한 것이 아니라, 사람들에 관한 것입니다. 비즈니스가 비즈니스 목표를 달성하는 데 도움이 되고, 기술적 위험을 비기술적 이해관계자에게 번역하여 올바른 결정을 내릴 수 있도록 합니다. 사이버 보안의 미래는 기술적으로 똑똑하지만 또한 접지된 커뮤니케이터인 전문가们에게 달려 있습니다.

마지막으로, AI 보안 풍경은 매우 빠르게 진화하고 있으므로, 빠르게 학습하고 적응하는 것이 중요할 것입니다.

멋진 인터뷰 및詳細한 통찰력에 감사드립니다. 더 많은 것을 배우고 싶은 독자는 SPLX를 방문해야 합니다.