Dr. Peter Garraghan, CEO, CTO & spoluzakladatel Mindgardu – rozhovor

Dr. Peter Garraghan je CEO, CTO a spoluzakladatel Mindgardu, lídra v oblasti testování bezpečnosti umělé inteligence. Založena na Lancaster University a podporovaná nejnovějším výzkumem, Mindgard umožňuje organizacím zabezpečit své systémy umělé inteligence před novými hrozbami, kterým tradiční nástroje pro bezpečnost aplikací nemohou čelit. Jako profesor počítačových věd na Lancaster University je Peter mezinárodně uznávaným odborníkem v oblasti bezpečnosti umělé inteligence. Věnoval svou kariéru vývoji pokročilých technologií pro boj proti rostoucím hrozbám, kterým čelí umělé inteligence. S více než 11,6 miliony eur na výzkumné financování a více než 60 publikovanými vědeckými články, jeho příspěvky zahrnují jak vědeckou inovaci, tak praktická řešení.

Můžete sdílet příběh za založením Mindgardu? Co vás inspirovalo k přechodu z akademie na spuštění kyberbezpečnostní startupu?

Mindgard vznikl z touhy proměnit akademické poznatky v reálný dopad. Jako profesor specializující se na počítačové systémy, bezpečnost umělé inteligence a strojové učení, jsem byl hnán snahou o vědu, která má velký dopad na životy lidí. Od roku 2014 jsem se zabýval umělou inteligencí a strojovým učením, uznávajíc jejich potenciál transformovat společnost – a enormní rizika, která s sebou nesou, od útoků států po interference do voleb. Stávající nástroje nebyly postaveny pro řešení těchto výzev, takže jsem vedl tým vědců a inženýrů, abychom vyvinuli inovativní přístupy v oblasti bezpečnosti umělé inteligence. Mindgard se stal výzkumně zaměřenou firmou, která se soustředí na budování hmatatelných řešení pro ochranu před hrozbami umělé inteligence, kombinujících nejnovější výzkum s závazkem k průmyslové aplikaci.

Jaké výzvy jstečel při odštěpení společnosti od univerzity a jak jste je překonal?

Oficiálně jsme založili Mindgard v květnu 2022 a zatímco Lancaster University poskytla skvělou podporu, vytvoření spin-offu z univerzity vyžaduje více než jen výzkumné dovednosti. To znamenalo získání kapitálu, vylepšení hodnotového предложení a přípravu technologií pro demonstrace – vše při současném vyvažování mé role profesora. Akademici jsou školeni jako výzkumníci a k tomu, aby sledovali novou vědu. Spin-offy uspějí nejen díky průlomové technologii, ale také tím, jak dobře tato technologie řeší současné nebo budoucí obchodní potřeby a dodává hodnotu, která přitahuje a zadržuje uživatele a zákazníky.

Jádrový produkt Mindgardu je výsledkem let výzkumu a vývoje. Můžete mluvit o tom, jak se rané fáze výzkumu vyvinuly v komerční řešení?

Cesta od výzkumu ke komerčnímu řešení byla úmyslným a iterativním procesem. Začalo to před více než desetiletím, kdy můj tým na Lancaster University prozkoumával základní výzvy v oblasti bezpečnosti umělé inteligence a strojového učení. Identifikovali jsme zranitelnosti v systémech umělé inteligence, kterým tradiční bezpečnostní nástroje, včetně kontrolního skenování a firewallů, nemohly čelit.

Postupem času se naše zaměření přesunulo z výzkumného zkoumání na budování prototypů a testování jich v produkčních scénářích. Spolupráce s průmyslovými partnery nám umožnila vylepšit náš přístup, zajistit, aby řešil praktické potřeby. S mnoha produkty umělé inteligence, které byly spuštěny bez adekvátního bezpečnostního testování nebo záruk, což nechalo organizace zranitelné – problém, který je zdůrazněn nálezem Gartner, že 29 % firem, které nasazují systémy umělé inteligence, hlásí bezpečnostní porušení, a pouze 10 % interních auditorů má přehled o rizicích umělé inteligence – cítil jsem, že je správný čas komercializovat řešení.

Jaké jsou některé z hlavních milníků v historii Mindgardu od jeho založení v roce 2022?

V září 2023 jsme získali 3 miliony liber ve financování, vedené IQ Capital a Lakestar, na urychlení vývoje řešení Mindgard. Podařilo se nám vytvořit skvělý tým lídrů, kteří pocházejí z firem jako Snyk, Veracode a Twilio, aby nás posunuli do další fáze naší cesty. Jsme hrdí na to, že jsme byli uznáni jako nejinovativnější kyberbezpečnostní SME ve Spojeném království na Infosecurity Europe tento rok. Dnes máme 15 zaměstnanců na plný úvazek, 10 výzkumných pracovníků PhD (a další, kteří jsou aktivně náborováni), a aktivně náborujeme bezpečnostní analytiky a inženýry, aby se připojili k našemu týmu. V budoucnu plánujeme rozšířit naší přítomnost ve Spojených státech, s novým kolečkem financování od bostonských investorů, které poskytuje silný základ pro takový růst.

Jaké jsou podle vás nejnaléhavější kyberbezpečnostní hrozby, kterým čelí podniky, které stále více přijímají umělou inteligenci?

Mnohé organizace podceňují kyberbezpečnostní rizika spojená s umělou inteligencí. Je extrémně obtížné pro nespecialisty pochopit, jak umělá inteligence vlastně funguje, natož aby rozuměli bezpečnostním implikacím pro jejich podnikání. Trávím značné množství času vysvětlováním bezpečnosti umělé inteligence, i zkušeným technológům, kteří jsou odborníky na infrastrukturu zabezpečení a ochranu dat. Na konci dne je umělá inteligence stále vlastně softwarem a daty, které běží na hardwaru. Ale introduces jedinečné zranitelnosti, které se liší od tradičních systémů, a hrozby z chování umělé inteligence jsou mnohem vyšší a obtížněji testovatelné ve srovnání s jiným softwarem.

Vy jste odhalili zranitelnosti v systémech, jako je Microsoft (MSFT ) ův filtr obsahu umělé inteligence. Jak tyto nálezy ovlivňují vývoj vaší platformy?

Zranitelnosti, které jsme objevili v Microsoftově službě Azure AI Content Safety, nebyly tak moc o formování vývoje naší platformy, ale spíše o demonstraci jejích schopností.

Azure AI Content Safety je služba navržená tak, aby chránila aplikace umělé inteligence moderováním škodlivého obsahu v textu, obrazech a videích. Zranitelnosti, které naše tým objevil, ovlivňovaly službu AI Text Moderation (která blokuje škodlivý obsah, jako je hate speech, sexuální materiál atd.) a Prompt Shield (který zabraňuje jailbreakům a prompt injekcím). Pokud by zůstaly neošetřené, tato zranitelnost by mohla být zneužita k spuštění širších útoků, podkopání důvěry v systémy založené na umělé inteligenci a ohrožení integrity aplikací, které se spoléhají na umělou inteligenci pro rozhodování a zpracování informací.

Můžete vysvětlit význam „jailbreaků“ a „manipulace s promptem“ v systémech umělé inteligence a proč představují tak jedinečnou výzvu?

Jailbreak je typ zranitelnosti injekce promptu, kde může zlý aktér zneužít velký jazykový model (LLM), aby následoval instrukce, které jsou v rozporu s jeho určeným použitím. Vstupy zpracované LLM obsahují jak stojící instrukce od aplikace designéra, tak i nedůvěryhodný vstup uživatele, což umožňuje útoky, kde nedůvěryhodný vstup uživatele přepsal stojící instrukce. To má podobnosti s tím, jak zranitelnost SQL injekce umožňuje nedůvěryhodnému vstupu uživatele změnit dotaz na databázi. Problém je však v tom, že tato rizika lze detekovat pouze během runtime, protože kód LLM je efektivní obrovská matice čísel v nečitelném formátu.

Například výzkumný tým Mindgardu nedávno prozkoumal sofistikovanou formu jailbreak útoku. Obsahuje vložení skrytých audio zpráv do audio vstupů, které jsou nedetekovatelné pro lidské posluchače, ale rozpoznatelné a provedené LLM. Každá vložená zpráva obsahovala přizpůsobenou jailbreak příkaz spolu s otázkou navrženou pro konkrétní scénář. Takže v scénáři chatbotu pro lékařství by skrytá zpráva mohla.promptovat chatbota, aby poskytl nebezpečné instrukce, jako je například, jak syntetizovat metamfetamin, což by mohlo vést k vážnému poškození reputace, kdyby byla odpověď chatbota brána vážně.

Platforma Mindgard identifikuje takové jailbreaky a mnoho dalších bezpečnostních zranitelností v modelech umělé inteligence a způsobem, jakým podniky implementují tyto modely ve svých aplikacích, aby mohli bezpečnostní lídři zajistit, že jejich aplikace s umělou inteligencí jsou navrženy s ohledem na bezpečnost a zůstávají bezpečné.

Jak platforma Mindgard řeší zranitelnosti napříč různými typy modelů umělé inteligence, od LLM po multimodální systémy?

Naše platforma řeší širokou škálu zranitelností v oblasti umělé inteligence, od injekce promptu, jailbreaků, extrakce (krádeže modelů), inverze (reverzního inženýrství dat), úniku dat, vyhýbání se (obcházení detekce) a další. Všechny typy modelů umělé inteligence (bez ohledu na to, zda se jedná o LLM nebo multimodální) vykazují susceptibility k těmto rizikům – trik spočívá v odhalení konkrétních technik, které spouští tyto zranitelnosti a vytvářejí bezpečnostní problém. V Mindgardu máme velký tým výzkumu a vývoje, který se specializuje na objevování a implementaci nových typů útoků do naší platformy, aby uživatelé mohli zůstat aktuální proti nejnovějším hrozbám.

Jakou roli hraje red teaming v zajišťování bezpečnosti systémů umělé inteligence a jak vaše platforma inovuje v tomto prostoru?

Red teaming je kritickou součástí bezpečnosti umělé inteligence. Kontinuálním simulováním adversářských útoků identifikuje red teaming zranitelnosti v systémech umělé inteligence, což pomáhá organizacím zmírnit rizika a urychlit přijetí umělé inteligence. Navzdory jeho důležitosti red teaming v oblasti umělé inteligence postrádá standardizaci, což vede k nesrovnalostem v hodnocení hrozeb a strategiích nápravy. To činí obtížným objektivně srovnávat bezpečnost různých systémů nebo účinně sledovat hrozby.

Abyste toto řešili, jsme představili MITRE ATLAS™ Adviser, funkci navrženou pro standardizaci reportování o red teamingu v oblasti umělé inteligence a usnadnění systematických postupů red teamingu. To umožňuje podnikům lépe spravovat současné rizika a připravovat se na budoucí hrozby, jak se schopnosti umělé inteligence vyvíjejí. S komplexní knihovnou pokročilých útoků vyvinutých naším týmem výzkumu a vývoje, Mindgard podporuje multimodální red teaming umělé inteligence, pokrývající tradiční i modely založené na generativní umělé inteligenci. Naše platforma řeší klíčová rizika pro soukromí, integritu, zneužití a dostupnost, zajišťujíc, aby podniky byly vybaveny pro efektivní zabezpečení svých systémů umělé inteligence.

Jak vidíte své produkty zapadající do MLOps pipeline pro podniky, které nasazují umělou inteligenci ve velkém?

Mindgard je navržen tak, aby se hladce integroval do stávajících automatizací CI/CD a všech fází SDLC, vyžadujících pouze koncový bod inference nebo API pro integraci modelu. Naše řešení dnes provádí Dynamické testování aplikace zabezpečení modelů umělé inteligence (DAST-AI). To umožňuje našim zákazníkům provádět nepřetržité bezpečnostní testování všech svých modelů umělé inteligence napříč celým životním cyklem sestavení a nákupu. Pro podniky je využíván několika osobami. Bezpečnostní týmy jej používají k získání přehledu a rychlé reakci na rizika od vývojářů, kteří budují a používají umělou inteligenci, k testování a hodnocení bezpečnostních bran a WAF řešení a k posouzení rizik mezi přizpůsobenými modely umělé inteligence a základními modely. Penetrační testery a bezpečnostní analytici využívají Mindgard k rozšíření svých úsilí o red teaming umělé inteligence, zatímco vývojáři profitují z integrovaného nepřetržitého testování svých nasazení umělé inteligence.

Děkuji za skvělý rozhovor, čtenáři, kteří si chtějí přečíst více, by měli navštívit Mindgard.