마인드가드의 피터 가라한 박사, CEO, CTO 및 공동 창립자 – 인터뷰 시리즈

피터 가라한 박사는 마인드가드의 CEO, CTO 및 공동 창립자로, 인공지능 보안 테스팅 분야의 선두주자입니다. 랭커스터 대학에서 설립되어 최첨단 연구로 뒷받침되는 마인드가드는 기존의 애플리케이션 보안 도구가 해결하지 못하는 새로운 위협으로부터 조직의 인공지능 시스템을 보호할 수 있도록 합니다. 랭커스터 대학의 컴퓨터 과학 교수인 피터는 인공지능 보안 분야의 국제적으로 인정받는 전문가입니다. 그는 인공지능에 대한 증가하는 위협에 대처하기 위해 고급 기술을 개발하는 데 자신의 경력을 바쳤습니다. 1,160만 유로 이상의 연구 자금과 60개 이상의 출판된 과학 논문으로, 그의 기여는 과학적 혁신과 실제 솔루션 모두에 걸쳐 있습니다.

마인드가드의 창립 배경에 대해 알려주세요. 학계에서 사이버 보안 스타트업으로 전환하기로 결정한 계기는 무엇입니까?

마인드가드는 학술적 통찰력을 실제적인 영향력으로 바꾸고자 하는 열망에서 탄생했습니다. 컴퓨팅 시스템, 인공지능 보안, 기계 학습을 전문으로 하는 교수로, 저는 과학이 사람들의 삶에 큰 영향을 미치는 것을 추구하도록 동기를 부여받았습니다. 2014년부터 저는 인공지능과 기계 학습을 연구했으며, 사회를 변革할 수 있는 잠재력과 함께 나라이별 공격이나 선거 개입과 같은 위험을 인식했습니다. 기존 도구는 이러한 도전에 대처하기 위해 설계되지 않았으므로 저는 과학자와 엔지니어 팀을 이끌어 인공지능 보안 분야에서 혁신적인 접근 방식을 개발했습니다. 마인드가드는 연구 주도형 벤처로, 인공지능 위협으로부터 보호하기 위한 구체적인 솔루션을 구축하는 데 중점을 두었습니다.

대학에서 회사를 분사시키는 과정에서 직면한 도전 과제는 무엇이었으며, 어떻게 극복했습니까?

마인드가드는 2022년 5월에 공식적으로 설립되었습니다. 랭커스터 대학의 지원은 컸지만, 대학 분사에는 연구 기술 이상이 필요합니다. 자본을 조달하고 가치 제안을 정제하며 기술을 데모를 위해 준비하는 모든 과정이 필요했습니다. 동시에 저는 교수직을 유지해야 했습니다. 학자들은 연구자로 훈련을 받고 새로운 과학을 추구하도록 되어 있습니다. 분사는 단순히 혁신적인 기술에만 의존하지 않습니다. 기술이 비즈니스에 즉각적인 또는 미래의需求을 어떻게 충족하며, 사용자와 고객을 유치하고 유지하는 가치를 제공하는지에 달려 있습니다.

마인드가드의 핵심 제품은 수년간의 연구 개발의 결과입니다. 초기 연구가 어떻게 상업적 솔루션으로 발전했는지에 대해 설명해 주시겠습니까?

연구에서 상업적 솔루션으로의 여정은 의도적이고 반복적인 과정이었습니다. 그것은 10년 이상 전에 시작되었습니다. 저의 랭커스터 대학 팀은 인공지능과 기계 학습 보안의 기본적인 도전 과제를 탐구했습니다. 우리는 전통적인 보안 도구가 해결하지 못하는 인공지능 시스템의 취약점을 식별했습니다.

시간이 지남에 따라, 우리의 초점은 연구 탐구에서 프로토タイプ 구축과 생산 시나리오 내에서의 테스트로 이동했습니다. 산업 파트너와의 협력을 통해, 우리는 우리의 접근 방식을 정제하여 실제 nhu cầu를 해결하도록 했습니다. 많은 인공지능 제품이 적절한 보안 테스트나 보증 없이 출시되고 있으며, 이는 조직을 취약하게 만들며, 인공지능을 의사 결정과 정보 처리를 위해 사용하는 응용 프로그램의 무결성을 손상시킵니다. 가트너의 조사에 따르면, 29%의 기업이 인공지능 시스템을 배포했으며, 10%의 내부 감사员만이 인공지능 위험에 대한 가시성을 가지고 있습니다. 이러한 문제를 강조하면서, 저는 솔루션을 상업화할 때가 되었다고 느꼈습니다.

마인드가드가 설립된 2022년 이후 주요 이정표는 무엇입니까?

2023년 9월, 우리는 IQ Capital과 Lakestar가 주도하는 300만 파운드의 자금을 확보하여 마인드가드 솔루션의 개발을 가속화했습니다. 우리는 이전의 Snyk, Veracode, Twilio 출신의 지도자들을 영입하여 회사를 다음 단계로推進했습니다. 우리는 Infosecurity Europe에서 영국에서 가장 혁신적인 사이버 보안 중소기업으로 인정받은 것을 자랑스럽게 생각합니다. 현재 우리는 15명의 전임 직원, 10명의 박사 연구원(さらに募集中), 그리고 보안 분석가와 엔지니어를 적극적으로 모집하고 있습니다. 앞으로 미국에서 우리의 존재감을 확대할 계획이며, 보스턴 기반의 투자자로부터의 새로운 자금 조달은 이러한 성장에 대한坚实한 基础를 제공할 것입니다.

기업이 인공지능을 더 많이 채택함에 따라, 그들이 오늘날 직면하는 가장 긴급한 사이버 보안 위협은 무엇입니까?

많은 조직이 인공지능과 관련된 사이버 보안 위험을 과소평가합니다. 인공지능이 실제로 어떻게 작동하는지, 더 나아가 비즈니스에 대한 보안 영향을 이해하는 것은 非専門家에게 매우 어렵습니다. 저는 인공지능 보안을 비전문가에게 설명하는 데 많은 시간을 보냅니다. 결국, 인공지능은 소프트웨어와 데이터가 하드웨어에서 실행되는 것입니다. 그러나 인공지능은 전통적인 시스템과 다른 고유한 취약점을 소개하며, 이러한 위협은 다른 소프트웨어보다 더 높고, 테스트하기도 어렵습니다.

마이크로소프트의 AI 콘텐츠 필터와 같은 시스템에서 발견된 취약점은 어떻게 마인드가드 플랫폼의 개발에 영향을 미쳤습니까?

마이크로소프트의 Azure AI 콘텐츠 안전 서비스에서 발견된 취약점은 우리의 플랫폼 개발을 형성하는 것보다, 그 기능을展示하는 데 더 관련이 있습니다.

Azure AI 콘텐츠 안전은 인공지능 애플리케이션을 보호하기 위해 설계된 서비스로, 텍스트, 이미지, 비디오의 유해 콘텐츠를 모니터링합니다. 우리 팀이 발견한 취약점은 AI 텍스트 모더레이션(혐오스러운 발언, 성적인 자료 등 유해 콘텐츠를 차단)과 프롬프트 실드(탈옥 및 프롬프트 주입을 방지)를影响했습니다. 이러한 취약점이 무시되면, 더广泛한 공격을 시작하거나, 인공지능 기반 시스템에 대한 신뢰를 훼손하거나, 의사 결정과 정보 처리를 위해 인공지능을 사용하는 응용 프로그램의 무결성을 손상시킬 수 있습니다.

인공지능 시스템에서 “탈옥”과 “프롬프트 조작”의 중요성을 설명하고, 왜 이러한 위협이 고유한 도전을 제기하는지에 대해 설명해 주시겠습니까?

탈옥은 LLM을 악의적인 목적으로 사용할 수 있는 프롬프트 주입 취약점의 한 유형입니다. 악의적인 행위자는 LLM을 의도된 용도와 반대되는 지침을 따르도록 악용할 수 있습니다. LLM이 처리하는 입력에는 응용 프로그램 설계자에 의해 작성된 지침과 사용자 입력이 포함되며, 이는 공격자가 사용자 입력을 통해 지침을 재정의할 수 있도록 합니다. 이는 SQL 주입 취약점이 데이터베이스 쿼리를 변경하는 사용자 입력을 허용하는 것과 유사합니다. 그러나 이러한 위험은 코드가 인간이 읽을 수 없는巨大한 숫자 행렬이기 때문에, 런타임에만 감지할 수 있습니다.

마인드가드의 플랫폼은 다양한 유형의 인공지능 모델에서 취약점을 어떻게 해결합니까?

우리의 플랫폼은 프롬프트 주입, 탈옥, 추출(모델을 훔치기), 역공학(데이터를 역공학하기), 데이터 누출, 회피(검출을 피하기) 등을 포함하여 인공지능 전반에 걸친 다양한 취약점을 해결합니다. 모든 유형의 인공지능 모델(LLM 또는 멀티모달 시스템)은 이러한 위험에 취약합니다. 마인드가드에는 새로운 공격 유형을 발견하고 구현하는 데 전문적인 연구 개발 팀이 있습니다. 따라서 사용자는 최신 위험에 대해 최신 상태로 유지할 수 있습니다.

인공지능 시스템을 보호하기 위한 적대적 테스팅(red teaming)의 역할은 무엇이며, 마인드가드의 플랫폼은 이 분야에서 어떻게 혁신을 이루고 있습니까?

적대적 테스팅은 인공지능 보안의 중요한 구성 요소입니다. 지속적으로 적대적인 공격을 시뮬레이션함으로써, 적대적 테스팅은 인공지능 시스템의 취약점을 식별하여 조직이 위험을 완화하고 인공지능을 채택할 수 있도록 도와줍니다. 그러나 인공지능에서의 적대적 테스팅은 표준화가 부족하여, 위협 평가와 완화 전략에 불일致가 발생합니다. 이것은 다양한 시스템의 안전성을 객관적으로 비교하거나 위협을 효과적으로 추적하는 것을 어렵게 만듭니다.

마인드가드의 제품은 기업이 대규모로 인공지능을 배포하는 MLOps 파이프라인에 어떻게 적합합니까?

마인드가드는 기존의 CI/CD 자동화와 모든 SDLC 단계에 원활하게 통합되도록 설계되었습니다. 모델 통합을 위해 추론 또는 API 엔드포인트만 필요합니다. 현재 우리의 솔루션은 인공지능 모델에 대한 동적 애플리케이션 보안 테스팅(DAST-AI)을 수행합니다. 이것은 고객이 빌드와 구매 전 생명주기 전반에 걸쳐 모든 인공지능에 대한 지속적인 보안 테스팅을 수행할 수 있도록 해줍니다. 보안 팀은 개발자들이 인공지능을 구축하고 사용할 때 발생하는 위험을 신속하게 식별하고 대응할 수 있도록 합니다. 또한 인공지능 가드레일 및 WAF 솔루션을 테스트하고 평가하며, 맞춤형 인공지능 모델과 기준 모델 간의 위험을 평가할 수 있습니다. 펜테스터와 보안 분석가는 마인드가드를 사용하여 인공지능 적대적 테스팅 노력을 확대하고, 개발자는 인공지능 배포의 통합된 지속적인 테스팅을 혜택을 받습니다.

인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 마인드가드를 방문하시기 바랍니다.