Dr. Peter Garraghan, CEO, CTO & Co-Founder at Mindgard – Interview Serie

Dr. Peter Garraghan er CEO, CTO & co-founder i Mindgard, lederen inden for kunstig intelligens sikkerhedstest. Grundlagt på Lancaster University og bakket op af fremme research, gør Mindgard det muligt for organisationer at sikre deres AI-systemer mod nye trusler, som traditionelle applikationssikkerhedsværktøjer ikke kan tackle. Som professor i datalogi på Lancaster University er Peter en internationalt anerkendt ekspert i AI-sikkerhed. Han har viet sin karriere til at udvikle avancerede teknologier til at bekæmpe de voksende trusler, der rammer AI. Med over 11,6 millioner euro i forskningsfinansiering og mere end 60 publicerede videnskabelige artikler, omfatter hans bidrag både videnskabelig innovation og praktiske løsninger.

Kan du dele historien bag Mindgards grundlæggelse? Hvad inspirerede dig til at gå fra akademiet til at lancere en cybersecurity-startup?

Mindgard blev født ud af en ønske om at omdanne akademiske indsighter til virkelighedsbaseret impact. Som professor med speciale i computersystemer, AI-sikkerhed og maskinel læring, har jeg været drevet af en ønske om at udvikle videnskab, der genererer stor skala impact på menneskers liv. Siden 2014 har jeg forsket i AI og maskinel læring, og erkendt deres potentiale til at transformere samfundet – og de enorme risici, de udgør, fra nationale angreb til valgindgriben. Eksisterende værktøjer var ikke bygget til at tackle disse udfordringer, så jeg ledte et hold af videnskabsmænd og ingeniører til at udvikle innovative tilgange til AI-sikkerhed. Mindgard opstod som en forskningsdrevet virksomhed, der fokuserer på at bygge konkrete løsninger til at beskytte mod AI-trusler, ved at kombinere fremme research med en forpligtelse til industriel anvendelse.

Hvad var de største udfordringer, du stødte på, da du startede en virksomhed fra et universitet, og hvordan overvandt du dem?

Vi grundlagde officielt Mindgard i maj 2022, og selv om Lancaster University gav os stor støtte, kræver det mere end blot forskningsfærdigheder at skabe en universitets-spin-out. Det betød at rejse kapital, finpudse værdipropositionen og gøre teknologien klar til demos – samtidig med at jeg balancerede min rolle som professor. Akademikere er trænet til at være forskere og til at udvikle nyt videnskab. Spin-outs lykkes ikke kun på grund af banebrydende teknologi, men på, hvor godt teknologien løser virkelige forretningsbehov og leverer værdi, der tiltrækker og fastholder brugere og kunder.

Mindgards kerneprodukt er resultatet af års forskning og udvikling. Kan du tale om, hvordan de tidlige stadier af forskning udviklede sig til en kommerciel løsning?

Rejsen fra forskning til en kommerciel løsning var en bevidst og iterativ proces. Den startede for over en årti siden, da mit hold på Lancaster University undersøgte grundlæggende udfordringer i AI- og maskinel læringssikkerhed. Vi identificerede sårbarheder i instantierede AI-systemer, som traditionelle sikkerhedsværktøjer, både kode-scanning og firewalls, ikke var udstyret til at tackle.

Over tid skiftede vores fokus fra forskningsudforskning til at bygge prototyper og teste dem i produktions-scenarier. I samarbejde med industripartnerne finpudsedes vores tilgang, så den løste praktiske behov. Med mange AI-produkter, der lanceres uden tilstrækkelig sikkerhedstest eller garantier, og efterlader organisationer sårbare – et problem, der understreges af en Gartner-finding, der viser, at 29% af virksomheder, der implementerer AI-systemer, har oplevet sikkerhedsbrud, og kun 10% af interne revisorer har indsigt i AI-risiko – følte jeg, at det var det rette tidspunkt at commercialisere løsningen.

Hvad er nogle af de vigtigste milepæle i Mindgards rejse siden grundlæggelsen i 2022?

I september 2023 sikrede vi 3 millioner pund i finansiering, ledet af IQ Capital og Lakestar, for at accelerere udviklingen af Mindgard-løsningen. Vi har kunnet etablere et stærkt hold af ledere, der tidligere har arbejdet i Snyk, Veracode og Twilio, for at føre vores virksomhed til næste niveau. Vi er stolte over vores anerkendelse som Storbritanniens mest innovative cybersikkerheds-SME på Infosecurity Europe i år. I dag har vi 15 fuldtidsansatte, 10 PhD-forskere (og mange flere, der er under rekruttering), og vi rekrutterer aktivt sikkerhedsanalytikere og ingeniører til at tilslutte sig vores hold. Fremover planlægger vi at udvide vores tilstedeværelse i USA, med en ny finansieringsrunde fra Boston-baserede investorer, der giver en solid grund for denne vækst.

Hvad ser du som de mest presserende cybersikkerheds-trusler, som virksomheder står over for i dag, når de adopterer AI?

Mange organisationer undervurderer de cybersikkerhedsrisici, der er forbundet med AI. Det er ekstremt svært for ikke-specialister at forstå, hvordan AI virkelig fungerer, endsige hvad sikkerhedsimplikationerne er for deres forretning. Jeg bruger en betydelig del af min tid på at afmystificere AI-sikkerhed, selv for erfarne teknologer, der er eksperter i infrastruktursikkerhed og dataværnsikkerhed. Til sidst er AI stadig i bund og grund software og data, der køres på hardware. Men det introducerer unikke sårbarheder, der adskiller sig fra traditionelle systemer, og truslerne fra AI-adfærd er langt højere og sværere at teste sammenlignet med andre software.

Du har afsløret sårbarheder i systemer som Microsofts AI-indholdsfiltre. Hvordan påvirker disse fund udviklingen af din platform?

Sårbarhederne, vi afslørede i Microsofts Azure AI Content Safety Service, var mindre om at forme udviklingen af vores platforms udvikling, og mere om at demonstrere dens kapaciteter.

Azure AI Content Safety er en tjeneste, der er designet til at sikre AI-applikationer ved at moderere skadeligt indhold i tekst, billeder og videoer. Sårbarhederne, vores hold opdagede, påvirkede tjenestens AI-tekstmoderation (der blokerer skadeligt indhold som hadefuldt sprog, seksuelt materiale osv.) og Prompt Shield (der forhindrer jailbreaks og prompt-injektion). Hvis de ikke blev afhjulpet, kan denne sårbarhed udnyttes til at lancere bredere angreb, undergrave tilliden til GenAI-baserede systemer og kompromittere applikationsintegriteten, der afhænger af AI til beslutningstagning og informationsbehandling.

Pr. oktober 2024 implementerede Microsoft stærkere mitigationsforanstaltninger for at tackle disse problemer. Men vi fortsætter med at opfordre til forhøjet vagtsomhed, når AI-sikkerhedsforanstaltninger deployes. Supplementære foranstaltninger, såsom yderligere modereringstools eller brug af LLM’er, der er mindre tilbøjelige til skadeligt indhold og jailbreaks, er essentielle for at sikre robust AI-sikkerhed.

Kan du forklare betydningen af “jailbreaks” og “prompt-manipulation” i AI-systemer, og hvorfor de udgør så unikke udfordringer?

En jailbreak er en type prompt-injektionssårbarhed, hvor en maliciøs aktør kan misbruge en LLM til at følge instruktioner, der strider mod dens intendrede brug. Inputs, der bearbejdes af LLM’er, indeholder både permanente instruktioner fra applikationsdesigneren og upålidelige brugerinput, hvilket muliggør angreb, hvor upålidelig brugerinput overtager de permanente instruktioner. Dette har ligheder med, hvordan en SQL-injektionssårbarhed muliggør upålidelig brugerinput til at ændre en databaseforespørgsel. Problemet er dog, at disse risici kun kan detekteres på køretidspunktet, da koden i en LLM effektivt er en kæmpe matrix af tal i ikke-menneskelæsbart format.

For eksempel undersøgte Mindgards forskningshold for nylig en sofistikeret form for jailbreak-angreb. Det indeholdt indlejring af hemmelige lydmeddelelser i lydinput, der var utilgængelige for menneskelige lyttere, men genkendt og udført af LLM’er. Hver indlejret meddelelse indeholdt en tilpasset jailbreak-kommando samt et spørgsmål designet til en specifik scenario. Så i et medicinsk chatbot-scenario kunne den skjulte meddelelse prompte chatbotten til at give farlige instruktioner, såsom hvordan man syntetiserer metamfetamin, hvilket kunne resultere i alvorlig reputationsbeskadigelse, hvis chatbottens svar blev taget alvorligt.

Mindgards platform identificerer sådanne jailbreaks og mange andre sikkerheds-sårbarheder i AI-modeller og den måde, virksomheder har implementeret dem i deres applikation, så sikkerhedsledere kan sikre, at deres AI-drevne applikation er sikker fra design til drift.

Hvordan løser Mindgards platform sårbarheder på tværs af forskellige typer AI-modeller, fra LLM’er til multi-modale systemer?

Vores platform løser en bred vifte af sårbarheder inden for AI, der omfatter prompt-injektion, jailbreaks, extraction (tyveri af modeller), inversion (omvendt ingeniørkunst), data-lækage og undgåelse (afvigelse fra detektion), og mange flere. Alle AI-modeltyper (enten LLM eller multi-modal) viser sig at være sårbare over for disse risici – kunsten er at afsløre, hvilke specifikke teknikker, der udløser disse sårbarheder, og skaber et sikkerhedsproblem. Hos Mindgard har vi et stort R&D-hold, der specialiserer sig i at opdage og implementere nye angrebstyper i vores platform, så brugerne kan holde trit med de nyeste risici.

Hvad er rollen af red teaming i sikring af AI-systemer, og hvordan innovere din platform i dette område?

Red teaming er en kritisk komponent i AI-sikkerhed. Ved kontinuerligt at simulere adversarial angreb, identificerer red teaming sårbarheder i AI-systemer, hvilket hjælper organisationer med at minimere risici og accelerere AI-adopteringsprocessen. Trods dets betydning mangler red teaming i AI standardisering, hvilket fører til inkonsistens i trusselvurdering og reduktionsstrategier. Dette gør det svært at objektivt sammenligne sikkerheden af forskellige systemer eller spore trusler effektivt.

For at tackle dette introducerede vi MITRE ATLAS™ Adviser, en funktion designet til at standardisere AI-red teaming-rapportering og strømline systematisk red teaming-praksis. Dette muliggør, at virksomheder bedre kan styre dagens risici, mens de forbereder sig på fremtidige trusler, da AI-kapaciteterne udvikler sig. Med en omfattende bibliotek af avancerede angreb, udviklet af vores R&D-hold, understøtter Mindgard multi-modal AI-red teaming, der dækker både traditionelle og GenAI-modeller. Vores platform løser nøgle-risici for privatliv, integritet, misbrug og tilgængelighed, hvilket sikrer, at virksomheder er udstyret til at sikre deres AI-systemer effektivt.

Hvordan ser du din produkt indgående i MLOps-pipeline for virksomheder, der implementerer AI i stor skala?

Mindgard er designet til at integrere smidigt i eksisterende CI/CD-automatisering og alle SDLC-faser, og kræver kun en inferens- eller API-endpoint til modelintegration. Vores løsning i dag udfører Dynamisk Application Security Test af AI-modeller (DAST-AI). Den giver vores kunder mulighed for at udføre kontinuerlig sikkerhedstest af alle deres AI på tværs af hele byg- og købslivscyklus. For virksomheder bruges det af multiple personas. Sikkerhedsteams bruger det til at få indsigt og reagere hurtigt på risici fra udviklere, der bygger og bruger AI, til at teste og evaluere AI-sikkerheds- og WAF-løsninger, og til at vurderere risici mellem tilpassede AI-modeller og baseline-modeller. Pentestere og sikkerhedsanalytikere udnytter Mindgard til at skala deres AI-red teaming-bestræbelser, mens udviklere nyder godt af integreret kontinuerlig test af deres AI-implementationer.

Tak for det gode interview. Læsere, der ønsker at lære mere, skal besøge Mindgard.