Dr. Peter Garraghan, VD, CTO och medgrundare på Mindgard – Intervjuserie

Dr. Peter Garraghan är VD, CTO och medgrundare på Mindgard, ledande inom artificiell intelligenssäkerhetstestning. Grundat vid Lancaster University och med stöd av banbrytande forskning, möjliggör Mindgard för organisationer att skydda sina AI-system från nya hot som traditionella applikationssäkerhetsverktyg inte kan hantera. Som professor i datavetenskap vid Lancaster University är Peter en internationellt erkänd expert inom AI-säkerhet. Han har ägnat sin karriär åt att utveckla avancerad teknik för att bekämpa de växande hoten mot AI. Med över 11,6 miljoner euro i forskningsfinansiering och mer än 60 publicerade vetenskapliga artiklar, omfattar hans bidrag både vetenskaplig innovation och praktiska lösningar.

Kan du dela med dig av historien bakom Mindgards grundande? Vad inspirerade dig att gå från akademin till att starta ett cybersäkerhetsföretag?

Mindgard föddes ur en önskan att omvandla akademiska insikter till verklig påverkan. Som professor som specialiserat sig på datasystem, AI-säkerhet och maskinlärning, har jag drivits av att bedriva vetenskap som genererar stor påverkan på människors liv. Sedan 2014 har jag forskat om AI och maskinlärning, och insett deras potential att förändra samhället – och de enorma risker de medför, från nationella attacker till valpåverkan. Existerande verktyg var inte utvecklade för att hantera dessa utmaningar, så jag ledde ett team av forskare och ingenjörer för att utveckla innovativa tillvägagångssätt inom AI-säkerhet. Mindgard uppstod som ett forskningsdrivet företag med fokus på att bygga verkliga lösningar för att skydda mot AI-hot, genom att kombinera banbrytande forskning med en åtagande att tillämpa den i industrin.

Vilka utmaningar mötte du när du startade ett företag från ett universitet, och hur övervann du dem?

Vi grundade officiellt Mindgard i maj 2022, och medan Lancaster University gav oss stor support, kräver skapandet av ett universitetsutspinns mer än bara forskningsfärdigheter. Det innebar att samla in kapital, finslipa värdeerbjudandet och göra tekniken redo för demonstrationer – allt medan jag balanserade min roll som professor. Akademiker är tränade att vara forskare och att bedriva ny vetenskap. Utspinns lyckas inte bara på banbrytande teknik, utan på hur väl den tekniken tillgodoser omedelbara eller framtida affärsbehov och levererar värde som lockar och behåller användare och kunder.

Mindgards kärnprodukt är resultatet av år av forskning och utveckling. Kan du tala om hur de tidiga forskningsstadierna utvecklades till en kommersiell lösning?

Resan från forskning till en kommersiell lösning var en medveten och iterativ process. Den började för över ett decennium sedan, när mitt team vid Lancaster University undersökte grundläggande utmaningar inom AI- och maskinlärningssäkerhet. Vi identifierade sårbarheter i instansierade AI-system som traditionella säkerhetsverktyg, både kodscanning och brandväggar, inte var utrustade för att hantera.

Med tiden skiftade vår fokus från forskningsexploration till att bygga prototyper och testa dem i produktions-scenarier. I samarbete med industripartner, finslipade vi vår tillvägagångssätt, säkerställde att den tillgodosåg praktiska behov. Med många AI-produkter som lanserades utan tillräcklig säkerhetstestning eller garantier, lämnade organisationer sårbara – en fråga som understryks av en Gartner-fynd som visar att 29% av företag som distribuerar AI-system har rapporterat säkerhetsbrott, och endast 10% av interna revisorer har insyn i AI-risker – kände jag att det var rätt tid att kommersialisera lösningen.

Vilka är några av de viktigaste milstolparna i Mindgards resa sedan dess grundande 2022?

I september 2023 säkrade vi 3 miljoner pund i finansiering, ledd av IQ Capital och Lakestar, för att påskynda utvecklingen av Mindgard-lösningen. Vi har kunnat etablera ett fantastiskt team av ledare som tidigare har arbetat på Snyk, Veracode och Twilio för att driva vårt företag till nästa nivå. Vi är stolta över att ha blivit erkända som Storbritanniens mest innovativa cybersäkerhetsföretag på Infosecurity Europe i år. Idag har vi 15 heltidsanställda, 10 doktorandforskare (och fler som för närvarande rekryteras), och vi rekryterar aktivt säkerhetsanalytiker och ingenjörer för att ansluta sig till teamet. Framåt planerar vi att utöka vår närvaro i USA, med en ny finansieringsrunda från Boston-baserade investerare som ger en stark grund för sådan tillväxt.

När företag alltmer antar AI, vad ser du som de mest pressande cybersäkerhetshoten de står inför idag?

Många organisationer underskattar cybersäkerhetsriskerna kopplade till AI. Det är extremt svårt för icke-experter att förstå hur AI faktiskt fungerar, för att inte tala om vilka säkerhetsimplikationer det har för deras verksamhet. Jag tillbringar en betydande del av min tid med att avmystifiera AI-säkerhet, även med erfarna tekniker som är experter på infrastruktursäkerhet och dataskydd. Till slut är AI i princip bara programvara och data som körs på hårdvara. Men det introducerar unika sårbarheter som skiljer sig från traditionella system, och hoten från AI-beteende är mycket högre och svårare att testa jämfört med annan programvara.

Du har avslöjat sårbarheter i system som Microsofts AI-innehållsfilter. Hur påverkar dessa upptäckter utvecklingen av din plattform?

De sårbarheter vi upptäckte i Microsofts Azure AI-innehållssäkerhetstjänst var inte så mycket om att forma vår plattforms utveckling, utan mer om att visa dess förmågor.

Azure AI-innehållssäkerhet är en tjänst utformad för att skydda AI-applikationer genom att moderera skadligt innehåll i text, bilder och videor. Sårbarheter som upptäcktes av vårt team påverkade tjänstens AI-textmoderering (som blockerar skadligt innehåll som hatprat, sexuellt material etc.) och Prompt Shield (som förhindrar fängelse och promptinjektion). Om dessa sårbarheter inte åtgärdas kan de utnyttjas för att lansera bredare attacker, undergräva förtroendet för GenAI-baserade system och äventyra applikationsintegriteten som förlitar sig på AI för beslutsfattande och informationsbearbetning.

Kan du förklara betydelsen av “jailbreaks” och “promptmanipulering” i AI-system, och varför de utgör sådana unika utmaningar?

En jailbreak är en typ av promptinjektionssårbarhet där en illvillig aktör kan missbruka en LLM för att följa instruktioner som strider mot dess avsedda användning. Indata som bearbetas av LLM innehåller både stående instruktioner från applikationsdesignern och obehörig användarindata, vilket möjliggör attacker där obehörig användarindata åsidosätter stående instruktioner. Detta liknar hur en SQL-injektionssårbarhet möjliggör obehörig användarindata för att ändra en databasfråga. Problemet är dock att dessa risker bara kan upptäckas i realtid, med tanke på att koden i en LLM i princip är en jättematris med siffror i icke-mänsklig läsbar form.

Till exempel undersökte Mindgards forskningsteam nyligen en sofistikerad form av jailbreak-attack. Den innehåller inbäddade hemliga ljudmeddelanden inom ljudinmatningar som är odetekterbara för mänskliga lyssnare men erkända och utförda av LLM. Varje inbäddat meddelande innehöll en anpassad jailbreak-kommando tillsammans med en fråga utformad för ett specifikt scenario. Så i ett medicinskt chattbot-scenario kunde det dolda meddelandet prompta chattboten att ge farliga instruktioner, såsom hur man syntetiserar metamfetamin, vilket kunde resultera i allvarlig rykteskada om chattbotens svar togs på allvar.

Mindgards plattform identifierar sådana jailbreaks och många andra säkerhetssårbarheter i AI-modeller och hur företag har implementerat dem i sina applikationer, så att säkerhetsledare kan säkerställa att deras AI-drivna applikation är säker från början och förblir säker.

Hur hanterar Mindgards plattform sårbarheter över olika typer av AI-modeller, från LLM till multimodala system?

Vår plattform hanterar en bred palett av sårbarheter inom AI, som omfattar promptinjektion, jailbreaks, extraktion (stöld av modeller), inversion (omvänd ingenjörskonst av data), dataläckage och undvikande (undvikande av upptäckt), och mer. Alla AI-modelltyper (oavsett LLM eller multimodala) visar sig vara känsliga för riskerna – knepet är att upptäcka vilka specifika tekniker som utlöser dessa sårbarheter och producerar ett säkerhetsproblem. På Mindgard har vi ett stort FoU-team som specialiserat sig på att upptäcka och implementera nya attacktyper i vår plattform, så att användare kan hålla sig uppdaterade mot de senaste riskerna.

Vilken roll spelar red teaming i att säkra AI-system, och hur innoverar din plattform inom detta område?

Red teaming är en kritisk komponent i AI-säkerhet. Genom att kontinuerligt simulera adversariala attacker identifierar red teaming sårbarheter i AI-system, vilket hjälper organisationer att mildra risker och påskynda AI-antagande. Trots dess betydelse saknar red teaming inom AI standardisering, vilket leder till inkonsekvenser i hotbedömning och åtgärdsstrategier. Detta gör det svårt att objektivt jämföra säkerheten i olika system eller spåra hot effektivt.

För att hantera detta introducerade vi MITRE ATLAS™ Adviser, en funktion utformad för att standardisera AI-red teaming-rapportering och strömlinjeforma systematiska red teaming-praxis. Detta möjliggör för företag att bättre hantera dagens risker samtidigt som de förbereder sig för framtida hot när AI-kapaciteter utvecklas. Med en omfattande bibliotek av avancerade attacker utvecklade av vårt FoU-team, stöder Mindgard multimodalt AI-red teaming, som täcker både traditionella och GenAI-modeller. Vår plattform hanterar nyckelrisker för sekretess, integritet, missbruk och tillgänglighet, vilket säkerställer att företag är utrustade för att effektivt skydda sina AI-system.

Hur ser du att din produkt passar in i MLOps-pipelinen för företag som distribuerar AI i stor skala?

Mindgard är utformad för att integreras smidigt i befintliga CI/CD-automatisering och alla SDLC-faser, och kräver endast en inferens- eller API-slutpunkt för modellintegration. Vår lösning idag utför dynamisk applikationssäkerhetstestning av AI-modeller (DAST-AI). Den ger våra kunder möjlighet att utföra kontinuerlig säkerhetstestning på all sin AI under hela bygg- och inköpslivscykeln. För företag används den av flera roller. Säkerhetsteam använder den för att få insyn och svara snabbt på risker från utvecklare som bygger och använder AI, för att testa och utvärdera AI-vaktverktyg och WAF-lösningar, och för att bedöma risker mellan anpassade AI-modeller och baslinje-modeller. Pentesters och säkerhetsanalytiker använder Mindgard för att skala upp sina AI-red teaming-insatser, medan utvecklare drar nytta av integrerad kontinuerlig testning av sina AI-distributioner.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Mindgard.