Dr. Peter Garraghan, CEO, CTO og medgrunnlegger i Mindgard – Intervju-serie

Dr. Peter Garraghan er CEO, CTO og medgrunnlegger i Mindgard, ledende innen kunstig intelligens-sikkerhetstesting. Grunnlagt ved Lancaster University og bakket opp av banebrytende forskning, gjør Mindgard det mulig for organisasjoner å sikre sine AI-systemer mot nye trusler som tradisjonelle applikasjonssikkerhetsverktøy ikke kan håndtere. Som professor i datavitenskap ved Lancaster University er Peter en internasjonalt anerkjent ekspert på AI-sikkerhet. Han har viet sin karriere til å utvikle avanserte teknologier for å bekjempe de voksende truslene mot AI. Med over 11,6 millioner euro i forskningsmidler og mer enn 60 publiserte vitenskapelige artikler, omfatter hans bidrag både vitenskapelig innovasjon og praktiske løsninger.

Kan du dele historien bak Mindgards etablering? Hva inspirerte deg til å gå fra akademia til å etablere en cybersecurity-startup?

Mindgard ble født ut av et ønske om å omdanne akademiske innsikter til virkelige resultater. Som professor som spesialiserer seg på datamaskinsystemer, AI-sikkerhet og maskinlæring, har jeg vært drevet av å drive vitenskap som genererer stor skala innvirkning på menneskers liv. Siden 2014 har jeg forsket på AI og maskinlæring, og erkjent deres potensiale til å transformere samfunnet – og de enorme risikoene de utgjør, fra nasjonalstatlige angrep til valginterferens. Eksisterende verktøy var ikke bygget for å håndtere disse utfordringene, så jeg ledet et team av forskere og ingeniører for å utvikle innovative tilnærminger innen AI-sikkerhet. Mindgard oppstod som et forskningsdrevet foretak fokusert på å bygge konkrete løsninger for å beskytte mot AI-trusler, og kombinere banebrytende forskning med et engasjement for industriell anvendelse.

Hvilke utfordringer møtte du mens du etablerte et selskap fra et universitet, og hvordan overvant du dem?

Vi etablerte offisielt Mindgard i mai 2022, og selv om Lancaster University ga stor støtte, krever etablering av et universitets-spin-off mer enn bare forskningsferdigheter. Det betød å reise kapital, finpusse verdiproposisjonen og gjøre teknologien klar for demonstrasjoner – samtidig som jeg balanserte min rolle som professor. Akademikere er trent til å være forskere og å drive ny vitenskap. Spin-off-suksess avhenger ikke bare av banebrytende teknologi, men også av hvordan den teknologien håndterer nåværende eller fremtidige forretningsbehov og leverer verdi som tiltrekker og beholder brukere og kunder.

Mindgards kjerneprodukt er resultatet av årevis med FoU. Kan du snakke om hvordan de tidlige forskningsfasene utviklet seg til en kommersiell løsning?

Reisen fra forskning til en kommersiell løsning var en bevisst og iterativ prosess. Den startet for over ett tiår siden, da mitt team ved Lancaster University utforsket grunnleggende utfordringer innen AI- og maskinlæringssikkerhet. Vi identifiserte sårbarheter i instansiert AI-systemer som tradisjonelle sikkerhetsverktøy, både kode-scanning og brannmurer, ikke var utstyrt til å håndtere.

Over tid skiftet fokuset vårt fra forskningsutforskning til bygging av prototyper og testing av dem i produksjonsscenarier. Sammen med industripartnere finpuslet vi vår tilnærmning, og sikret at den håndterte praktiske behov. Med mange AI-produkter lansert uten tilstrekkelig sikkerhetstesting eller garantier, og organisasjoner sårbare – et problem understreket av en Gartner-funn som viste at 29% av bedriftene som implementerte AI-systemer hadde rapportert sikkerhetsbrudd, og bare 10% av interne revisorer hadde oversikt over AI-risiko – følte jeg at tiden var rett til å kommersialisere løsningen.

Hva er noen av de viktigste milepælene i Mindgards reise siden etableringen i 2022?

I september 2023 sikret vi 3 millioner pund i finansiering, ledet av IQ Capital og Lakestar, for å akselerere utviklingen av Mindgard-løsningen. Vi har etablert et fantastisk team av ledere som tidligere har jobbet i Snyk, Veracode og Twilio, for å drive selskapet til neste stadium. Vi er stolte over å ha blitt anerkjent som Storbritannias mest innovative cybersikkerhets-SME på Infosecurity Europe i år. I dag har vi 15 fast ansatte, 10 PhD-forskere (og flere som aktivt rekrutteres), og vi rekrutterer aktivt sikkerhetsanalytikere og ingeniører for å slutte seg til teamet. Fremover planlegger vi å utvide vår tilstedeværelse i USA, med en ny finansieringsrunde fra Boston-baserte investorer som gir en solid grunnlag for slik vekst.

Ettersom bedrifter i økende grad adopterer AI, hva ser du som de mest presserende sikkerhetstruslene de står overfor i dag?

Mange organisasjoner undervurderer sikkerhetsrisikoene knyttet til AI. Det er ekstremt vanskelig for ikke-eksperten å forstå hvordan AI faktisk fungerer, og enda mindre hva sikkerhetsimplikasjonene er for deres forretning. Jeg bruker en betydelig del av tiden min på å avmystifisere AI-sikkerhet, selv for erfarne teknologer som er eksperter på infrastruktursikkerhet og datavern. Til slutt er AI i stor grad programvare og data som kjører på maskinvare. Men det introduserer unike sårbarheter som skiller seg fra tradisjonelle systemer, og truslene fra AI-atferd er mye høyere og vanskeligere å teste sammenlignet med annen programvare.

Du har avdekket sårbarheter i systemer som Microsofts AI-innholdssfilter. Hvordan påvirker disse funnene utviklingen av din plattform?

Sårbarhetene vi avdekket i Microsofts Azure AI-innholdssikkerhetstjeneste var mindre om å forme plattformens utvikling, og mer om å vise dens evner.

Azure AI-innholdssikkerhet er en tjeneste designet for å beskytte AI-applikasjoner ved å moderere skadelig innhold i tekst, bilder og videoer. Sårbarhetene som ble avdekket av vårt team påvirkte tjenestens AI-tekstmoderasjon (som blokkerer skadelig innhold som hatytringer, seksuelt materiale osv.) og Prompt Shield (som forhindrer fengsling og promptinjeksjon). Ubehandlet kan denne sårbarheten utnyttes for å lansere bredere angrep, undergrave tilliten til GenAI-baserte systemer og kompromittere applikasjonsintegriteten som avhenger av AI for beslutning og informasjonsbehandling.

Kan du forklare betydningen av “jailbreaks” og “prompt-manipulering” i AI-systemer, og hvorfor de utgjør en så unik utfordring?

En jailbreak er en type promptinjeksjonssårbarhet hvor en malisøs aktør kan misbruke en LLM til å følge instruksjoner motsatt av dens intenderte bruk. Inndata prosessert av LLM-er inneholder både stående instruksjoner fra applikasjonsdesigneren og upålitelige bruker-inndata, og muliggjør angrep hvor upålitelig bruker-inndata overstyrer stående instruksjoner. Dette har likheter med hvordan en SQL-injeksjonssårbarhet muliggjør upålitelig bruker-inndata å endre en database-spørring. Problemet er at disse risikoene bare kan detekteres på kjøretid, gitt at koden til en LLM i stor grad er en stor matrise av tall i ikke-menneskelig lesbar format.

For eksempel har Mindgards forskningsteam nylig utforsket en sofistikert form for jailbreak-angrep. Det inneholder å innebygge hemmelige lydmeldinger i lyd-inndata som er uoppdagelige for menneskelige lyttere, men gjenkjent og utført av LLM-er. Hver innebygget melding inneholdt en tilpasset jailbreak-kommando samt et spørsmål designet for en bestemt scenario. Så i et medisinsk chatbot-scenario kunne den skjulte meldingen prompte chatboten til å gi farlige instruksjoner, som hvordan man syntetiserer metamfetamin, som kunne resultere i alvorlig omdømme-skade hvis chatbotens svar ble tatt alvorlig.

Mindgards plattform identifiserer slike jailbreaks og mange andre sikkerhetssårbarheter i AI-modeller og måter bedrifter har implementert dem i sine applikasjoner, så sikkerhetsledere kan sikre at deres AI-drevne applikasjon er sikker fra starten og forblir sikker.

Hvordan håndterer Mindgards plattform sårbarheter på tvers av ulike typer AI-modeller, fra LLM-er til multimodale systemer?

Vår plattform håndterer en rekke sårbarheter innen AI, som omfatter promptinjeksjon, jailbreaks, uttrekk (tyveri av modeller), inversjon (omvendt ingeniørkunst av data), datalekkasje og unngåelse (unngåelse av oppdaging), og mer. Alle AI-modelltyper (enten LLM eller multimodal) viser seg å være sårbare for disse risikoene – trikset er å avdekke hvilke spesifikke tekniker som utløser disse sårbarhetene og produserer et sikkerhetsproblem. Hos Mindgard har vi et stort FoU-team som spesialiserer seg på å oppdage og implementere nye angrepsmetoder i vår plattform, så brukerne kan holde seg oppdatert mot banebrytende risiko.

Hva rolle spiller red teaming i å sikre AI-systemer, og hvordan innovasjoniserer din plattform i dette rommet?

Red teaming er en kritisk komponent i AI-sikkerhet. Ved kontinuerlig å simulere adversarial-angrep, identifiserer red teaming sårbarheter i AI-systemer, og hjelper organisasjoner å minimere risiko og akselerere AI-adoptsjon. Til tross for sin betydning, mangler red teaming i AI standardisering, noe som fører til inkonsistenser i trusselvurdering og reparasjonsstrategier. Dette gjør det vanskelig å objektivt sammenligne sikkerheten til ulike systemer eller spore trusler effektivt.

Til å håndtere dette, introduserte vi MITRE ATLAS™ Adviser, en funksjon designet for å standardisere AI-red teaming-rapportering og strømlinje systematisk red teaming-praksis. Dette muliggjør at bedrifter kan bedre håndtere dagens risiko og forberede seg på fremtidige trusler mens AI-kapasiteter utvikler seg. Med en omfattende bibliotek av avanserte angrep utviklet av vårt FoU-team, støtter Mindgard multimodal AI-red teaming, dekkende både tradisjonelle og GenAI-modeller. Vår plattform håndterer nøkkelrisiko for personvern, integritet, misbruk og tilgjengelighet, og sikrer at bedrifter er utstyrt for å sikre sine AI-systemer effektivt.

Hvordan ser du din produkt inn i MLOps-pipeline for bedrifter som deployer AI i stor skala?

Mindgard er designet for å integrere smidig i eksisterende CI/CD-automatisering og alle SDLC-faser, og krever bare en inferens eller API-endepunkt for modell-integrasjon. Vår løsning i dag utfører dynamisk applikasjonssikkerhetstesting av AI-modeller (DAST-AI). Den muliggjør at våre kunder kan utføre kontinuerlig sikkerhetstesting på alle sine AI-modeller på tvers av hele bygge- og kjøpslivssyklusen. For bedrifter brukes det av flere personaer. Sikkerhetsteam bruker det for å få oversikt og reagere raskt på risiko fra utviklere som bygger og bruker AI, for å teste og evaluere AI-vaktverktøy og WAF-løsninger, og for å vurdere risiko mellom tilpassede AI-modeller og basis-modeller. Pentestere og sikkerhetsanalytikere utnytter Mindgard for å skalerer AI-red teaming-ansatt, mens utviklere nyter godt av integrert kontinuerlig testing av sine AI-deployments.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke Mindgard.