Dr. Peter Garraghan, CEO, CTO & Co-Founder at Mindgard – Wywiad

Dr. Peter Garraghan jest CEO, CTO & współzałożycielem Mindgard, liderem w dziedzinie testowania bezpieczeństwa sztucznej inteligencji. Założony na Uniwersytecie w Lancaster i wspierany przez najnowsze badania, Mindgard umożliwia organizacjom zabezpieczenie ich systemów sztucznej inteligencji przed nowymi zagrożeniami, których nie mogą rozwiązać tradycyjne narzędzia bezpieczeństwa aplikacji. Jako profesor informatyki na Uniwersytecie w Lancaster, Peter jest międzynarodowo uznawanym ekspertem w dziedzinie bezpieczeństwa sztucznej inteligencji. Poświęcił swoją karierę rozwojowi zaawansowanych technologii do walki z rosnącymi zagrożeniami dla sztucznej inteligencji. Z ponad 11,6 milionami euro na badania i ponad 60 opublikowanymi pracami naukowymi, jego wkład obejmuje zarówno innowacje naukowe, jak i rozwiązania praktyczne.

Czy mógłby Pan podzielić się historią założenia Mindgard? Co skłoniło Pana do przejścia z akademii do założenia startupu związanego z cyberbezpieczeństwem?

Mindgard powstał z pragnienia przekształcenia akademickich spostrzeżeń w realny wpływ. Jako profesor specjalizujący się w systemach komputerowych, bezpieczeństwie sztucznej inteligencji i uczeniu maszynowym, jestem zmotywowany do prowadzenia nauki, która generuje duży wpływ na życie ludzi. Od 2014 roku badam sztuczną inteligencję i uczenie maszynowe, rozpoznając ich potencjał do transformacji społeczeństwa – oraz ogromne ryzyko, jakie stanowią, od ataków państwowych po ingerencję w wybory. Istniejące narzędzia nie były zaprojektowane do rozwiązania tych wyzwań, więc poprowadziłem zespół naukowców i inżynierów do opracowania innowacyjnych podejść w dziedzinie bezpieczeństwa sztucznej inteligencji. Mindgard powstał jako przedsięwzięcie badawcze skupione na budowaniu konkretnych rozwiązań w celu ochrony przed zagrożeniami sztucznej inteligencji, łącząc najnowsze badania z zaangażowaniem w aplikację przemysłową.

Jakie wyzwania Pan spotkał podczas tworzenia startupu z uniwersytetu, i jak je Pan pokonał?

Oficjalnie założyliśmy Mindgard w maju 2022 roku, a chociaż Uniwersytet w Lancaster zapewnił nam wielkie wsparcie, tworzenie spin-offu uniwersyteckiego wymaga więcej niż tylko umiejętności badawczych. Oznaczało to pozyskanie kapitału, udoskonalenie wartości oferowanej przez naszą firmę oraz przygotowanie technologii do demonstracji – wszystko to równocześnie z równoczesnym pełnieniem roli profesora. Akademicy są szkoleni do bycia naukowcami i do prowadzenia nowatorskiej nauki. Spin-offy odnoszą sukcesy nie tylko dzięki przełomowej technologii, ale także dzięki temu, jak dobrze ta technologia odpowiada na bieżące lub przyszłe potrzeby biznesowe i dostarcza wartości, która przyciąga i zatrzymuje użytkowników i klientów.

Produkt podstawowy Mindgard to efekt wielu lat badań i rozwoju. Czy mógłby Pan opowiedzieć o tym, jak wczesne etapy badań przekształciły się w rozwiązanie komercyjne?

Podróż od badań do rozwiązania komercyjnego była celowym i iteracyjnym procesem. Zaczęło się ponad dekadę temu, kiedy mój zespół na Uniwersytecie w Lancaster badał podstawowe wyzwania w dziedzinie bezpieczeństwa sztucznej inteligencji i uczenia maszynowego. Zidentyfikowaliśmy słabości w zainicjowanych systemach sztucznej inteligencji, których tradycyjne narzędzia bezpieczeństwa, zarówno skanowanie kodu, jak i firewalle, nie były w stanie rozwiązać.

W miarę upływu czasu nasz focus przesunął się od eksploracji badawczej do budowy prototypów i testowania ich w scenariuszach produkcyjnych. Współpracując z partnerami z branży, udoskonaliliśmy nasze podejście, zapewniając, że odpowiada ono na praktyczne potrzeby. Z wieloma produktami sztucznej inteligencji uruchamianymi bez odpowiednich testów bezpieczeństwa lub gwarancji – co podkreśla znalezienie Gartnera, że 29% firm wdrożonych systemów sztucznej inteligencji zgłosiło naruszenia bezpieczeństwa, a tylko 10% wewnętrznych audytorów ma wgląd w ryzyko sztucznej inteligencji – uznałem, że jest odpowiedni moment, aby skomercjalizować rozwiązanie.

Jakie są niektóre z kluczowych kamieni milowych w historii Mindgard od jego powstania w 2022 roku?

We wrześniu 2023 roku zabezpieczyliśmy 3 miliony funtów w finansowaniu, prowadzonym przez IQ Capital i Lakestar, w celu przyspieszenia rozwoju rozwiązania Mindgard. Udało nam się zbudować wielki zespół liderów, którzy są byłymi pracownikami Snyk, Veracode i Twilio, aby poprowadzić naszą firmę do następnego etapu jej rozwoju. Jesteśmy dumni z uznania za najbardziej innowacyjne SME cyberbezpieczeństwa w Wielkiej Brytanii na Infosecurity Europe w tym roku. Dziś mamy 15 pełnoetatowych pracowników, 10 doktorantów (i więcej, którzy są aktywnie rekrutowani), oraz aktywnie rekrutujemy analityków bezpieczeństwa i inżynierów, aby dołączyli do naszego zespołu. Spójrzmy w przyszłość, planujemy rozszerzyć naszą obecność w Stanach Zjednoczonych, z nową rundą finansowania od inwestorów z Bostonu, co zapewni solidną podstawę dla tego wzrostu.

Jakie najpilniejsze zagrożenia cyberbezpieczeństwa widzi Pan dla przedsiębiorstw, które coraz częściej przyjmują sztuczną inteligencję?

Wiele organizacji niedocenia zagrożenia cyberbezpieczeństwa związane z sztuczną inteligencją. Jest niezwykle trudno dla osób niebędących specjalistami zrozumieć, jak sztuczna inteligencja naprawdę działa, nie mówiąc już o implikacjach bezpieczeństwa dla ich biznesu. Spędzam znaczną ilość czasu na demistyfikowaniu bezpieczeństwa sztucznej inteligencji, nawet z doświadczonymi technologami, którzy są ekspertami w zakresie bezpieczeństwa infrastruktury i ochrony danych. Ostatecznie sztuczna inteligencja jest po prostu oprogramowaniem i danymi działającymi na sprzęcie. Ale wprowadza unikalne słabości, które różnią się od tradycyjnych systemów, a zagrożenia ze strony sztucznej inteligencji są znacznie wyższe i trudniejsze do przetestowania w porównaniu z innym oprogramowaniem.

Pan odkrył słabości w systemach takich jak filtry treści sztucznej inteligencji Microsoftu. Jak te odkrycia wpływają na rozwój platformy Mindgard?

Słabości, które odkryliśmy w usłudze Azure AI Content Safety Service Microsoftu, były mniej związane z kształtowaniem rozwoju naszej platformy, a bardziej z demonstracją jej możliwości.

Azure AI Content Safety to usługa zaprojektowana do zabezpieczenia aplikacji sztucznej inteligencji poprzez moderowanie szkodliwej treści w tekście, obrazach i filmach. Słabości, które nasz zespół odkrył, dotknęły usługi AI Text Moderation (która blokuje szkodliwą treść, taką jak mowa nienawiści, materiały seksualne itp.) oraz Prompt Shield (która zapobiega jailbreakom i wstrzyknięciom poleceń). Jeśli nie zostaną rozwiązane, te słabości mogą być wykorzystane do rozpoczęcia szerszych ataków, podważenia zaufania do systemów opartych na sztucznej inteligencji i skompromitowania integralności aplikacji, które polegają na sztucznej inteligencji do podejmowania decyzji i przetwarzania informacji.

Czy mógłby Pan wyjaśnić znaczenie “jailbreaków” i “manipulacji poleceń” w systemach sztucznej inteligencji oraz dlaczego stanowią one tak unikalne wyzwanie?

Jailbreak to rodzaj słabości wstrzyknięcia poleceń, gdzie aktor atakujący może nadużywać LLM, aby postępować wbrew jego przeznaczeniu. Dane wejściowe przetwarzane przez LLM zawierają zarówno polecenia ustalone przez projektanta aplikacji, jak i niezaufane dane wejściowe użytkownika, umożliwiając ataki, w których niezaufane dane wejściowe użytkownika zastępują polecenia ustalone. To ma podobieństwo do tego, jak słabość wstrzyknięcia SQL umożliwia niezaufanym danym wejściowym użytkownika zmianę zapytania bazy danych. Problem polega jednak na tym, że te ryzyka mogą być wykryte tylko w czasie wykonywania, biorąc pod uwagę, że kod LLM jest skutecznie olbrzymią macierzą liczb w nieczytelnym dla człowieka formacie.

Jak platforma Mindgard rozwiązuje słabości w różnych typach modeli sztucznej inteligencji, od LLM do systemów wielomodalnych?

Nasza platforma rozwiązuje szeroki zakres słabości w sztucznej inteligencji, obejmujący wstrzyknięcie poleceń, jailbreaki, ekstrakcję (kradzież modeli), odwrócenie (odwrócenie inżynierii danych), wyciek danych, unikanie (ominięcie wykrywania) i wiele innych. Wszystkie typy modeli sztucznej inteligencji (czy to LLM, czy wielomodalne) wykazują podatność na te ryzyka – sztuczką jest odkrycie, które konkretnych technik wyzwala te słabości i powoduje problem bezpieczeństwa. W Mindgard mamy duży zespół badawczo-rozwojowy, który specjalizuje się w odkrywaniu i wdrażaniu nowych typów ataków do naszej platformy, aby użytkownicy mogli pozostać na bieżąco z najnowszymi ryzykami.

Jaką rolę odgrywa red teaming w zabezpieczaniu systemów sztucznej inteligencji, oraz jak Państwa platforma innowuje w tym obszarze?

Red teaming jest kluczowym składnikiem bezpieczeństwa sztucznej inteligencji. Poprzez ciągłe symulowanie ataków przeciwnika, red teaming identyfikuje słabości w systemach sztucznej inteligencji, pomagając organizacjom zmniejszyć ryzyka i przyspieszyć wdrożenie sztucznej inteligencji. Pomimo jego znaczenia, red teaming w sztucznej inteligencji brakuje standaryzacji, co prowadzi do niekonsekwencji w ocenie zagrożeń i strategiach naprawy. To sprawia, że trudno obiektywnie porównać bezpieczeństwo różnych systemów lub skutecznie śledzić zagrożenia.

Jak Pan widzi swoje rozwiązanie wpasowujące się w pipeline MLOps dla przedsiębiorstw wdrożonych sztuczną inteligencję na dużą skalę?

Mindgard jest zaprojektowany, aby płynnie integrować się z istniejącą automatyzacją CI/CD i wszystkimi etapami SDLC, wymagając tylko punktu końcowego inferencji lub API do integracji modelu. Nasze rozwiązanie wykonuje testy bezpieczeństwa aplikacji dynamicznej sztucznej inteligencji (DAST-AI). Umożliwia naszym klientom wykonywanie ciągłych testów bezpieczeństwa na wszystkie ich systemy sztucznej inteligencji w całym cyklu życia budowy i zakupu. Dla przedsiębiorstw jest wykorzystywany przez wiele osób. Zespoły bezpieczeństwa wykorzystują go, aby uzyskać wgląd i szybko reagować na ryzyka od developerów budujących i używających sztucznej inteligencji, testować i oceniać rozwiązania zabezpieczeń sztucznej inteligencji i WAF, oraz oceniać ryzyka pomiędzy dostosowanymi modelami sztucznej inteligencji a modelami bazowymi. Testerzy penetracyjni i analitycy bezpieczeństwa wykorzystują Mindgard, aby skalować swoje wysiłki w zakresie czerwonego zespołu sztucznej inteligencji, podczas gdy deweloperzy korzystają na zintegrowanym, ciągłym testowaniu swoich wdrożeń sztucznej inteligencji.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Mindgard.