Dr. Peter Garraghan, CEO, CTO & Co-Founder hos Mindgard – Interviewserie

Dr. Peter Garraghan er CEO, CTO & medstifter af Mindgard, lederen inden for kunstig intelligens-sikkerhedstest. Grundlagt ved Lancaster University og støttet af banebrydende forskning, gør Mindgard det muligt for organisationer at sikre deres kunstige intelligens-systemer mod nye trusler, som traditionelle applikationssikkerhedsværktøjer ikke kan tackle. Som professor i datalogi ved Lancaster University er Peter en internationalt anerkendt ekspert i kunstig intelligens-sikkerhed. Han har viet sin karriere til udvikling af avancerede teknologier til at bekæmpe de voksende trusler, der rammer kunstig intelligens. Med over 11,6 millioner euro i forskningsfinansiering og mere end 60 publicerede videnskabelige artikler, omfatter hans bidrag både videnskabelig innovation og praktiske løsninger.

Kan du dele historien bag Mindgards grundlæggelse? Hvad inspirerede dig til at gå fra akademiet til at lancere en cybersikkerhedsstartup?

Mindgard blev født ud af en ønske om at omdanne akademiske indsighter til virkelighedsbaseret impact. Som professor med speciale i computering, kunstig intelligens-sikkerhed og maskinel læring, har jeg været drevet af at forfølge videnskab, der genererer stor skala impact på menneskers liv. Siden 2014 har jeg forsket i kunstig intelligens og maskinel læring, og erkendt deres potentiale til at forandre samfundet – og de enorme risici, de udgør, fra nationale angreb til valgindgriben. Eksisterende værktøjer var ikke bygget til at tackle disse udfordringer, så jeg ledte en hold af videnskabsmænd og ingeniører til at udvikle innovative tilgange til kunstig intelligens-sikkerhed. Mindgard opstod som en forskningsdrevet virksomhed, der fokuserer på at bygge konkrete løsninger til at beskytte mod kunstig intelligens-trusler, ved at kombinere banebrydende forskning med en forpligtelse til industriel anvendelse.

Hvilede udfordringerne, du stødte på, da du spunede en virksomhed ud fra et universitet, og hvordan overvandt du dem?

Vi grundlagde officielt Mindgard i maj 2022, og selv om Lancaster University gav os stor støtte, kræver det at spinde en virksomhed ud fra et universitet mere end bare forskningsfærdigheder. Det krævede at rejse kapital, finpudse værdipropositionen og gøre teknologien klar til demoer – alt imens jeg balancerede min rolle som professor. Akademikere er trænet til at være forskere og til at forfølge nyt videnskab. Spin-outs lykkes ikke kun på grund af banebrydende teknologi, men på, hvor godt den teknologi adresserer nuværende eller fremtidige forretningsbehov og leverer værdi, der tiltrækker og fastholder brugere og kunder.

Mindgards kerneprodukt er resultatet af års forskning og udvikling. Kan du tale om, hvordan de tidlige forskningsfaser udviklede sig til en kommerciel løsning?

Rejsen fra forskning til en kommerciel løsning var en bevidst og iterativ proces. Den startede for over en årrække siden, da mit hold ved Lancaster University undersøgte grundlæggende udfordringer i kunstig intelligens- og maskinel læringssikkerhed. Vi identificerede sårbarheder i instantierede kunstig intelligens-systemer, som traditionelle sikkerhedsværktøjer, både kode-scanning og brandvægge, ikke var udstyret til at tackle.

Over tid skiftede vores fokus fra forskningsundersøgelse til at bygge prototyper og teste dem i produktions-scenarier. I samarbejde med industripartnerne finpudsedes vores tilgang, så den adresserede praktiske behov. Med mange kunstig intelligens-produkter, der lanceres uden tilstrækkelig sikkerhedstest eller garantier, efterlader organisationer sig selv sårbare – et problem, der understreges af en Gartner-finding, der viser, at 29% af virksomheder, der implementerer kunstig intelligens-systemer, har rapporteret sikkerhedsbrud, og kun 10% af interne revisorer har indsigt i kunstig intelligens-risiko – følte jeg, at det var det rette tidspunkt at commercialisere løsningen.

Hvad er nogle af de vigtigste milepæle i Mindgards rejse siden grundlæggelsen i 2022?

I september 2023 sikrede vi 3 millioner pund i finansiering, ledet af IQ Capital og Lakestar, for at accelerere udviklingen af Mindgard-løsningen. Vi har kunnet etablere et stærkt hold af ledere, der tidligere har arbejdet hos Snyk, Veracode og Twilio, for at føre vores virksomhed til næste niveau. Vi er stolte over at være blevet anerkendt som Storbritanniens mest innovative cybersikkerheds-SME på Infosecurity Europe i år. I dag har vi 15 fuldtidsansatte, 10 PhD-forskere (og flere, der er under aktiv rekruttering), og vi rekrutterer aktivt sikkerhedsanalytikere og ingeniører til at tilslutte sig holdet. Fremover planlægger vi at udvide vores tilstedeværelse i USA, med en ny finansieringsrunde fra Boston-baserede investorer, der giver en stærk grundlag for denne vækst.

Da virksomheder i stigende grad adopterer kunstig intelligens, hvad ser du som de mest presserende cybersikkerheds-trusler, de står over for i dag?

Mange organisationer undervurderer de cybersikkerhedsrisici, der er forbundet med kunstig intelligens. Det er ekstremt svært for ikke-eksperter at forstå, hvordan kunstig intelligens virkelig fungerer, endsige hvad sikkerhedsimplikationerne er for deres forretning. Jeg bruger en betydelig del af min tid på at afmystificere kunstig intelligens-sikkerhed, selv for erfarne teknologer, der er eksperter i infrastruktursikkerhed og dataværnsikring. Til sidst er kunstig intelligens stadig primært software og data, der køres på hardware. Men det introducerer unikke sårbarheder, der adskiller sig fra traditionelle systemer, og truslerne fra kunstig intelligens-adfærd er langt højere og sværere at teste i forhold til andre software.

Du har afsløret sårbarheder i systemer som Microsofts kunstig intelligens-indholdsfiltre. Hvordan påvirker disse fund udviklingen af din platform?

De sårbarheder, vi afslørede i Microsofts Azure AI Content Safety Service, handlede mindre om at forme udviklingen af vores platform, og mere om at demonstrere dens kapaciteter.

Azure AI Content Safety er en tjeneste, der er designet til at beskytte kunstig intelligens-applikationer ved at moderere skadeligt indhold i tekst, billeder og videoer. Sårbarhederne, vores hold opdagede, påvirkede tjenestens AI-tekstmoderation (der blokerer skadeligt indhold som hadforbrydelser, seksuelt materiale osv.) og Prompt Shield (der forhindrer fængslinger og prompt-injektion). Hvis de ikke blev afhjulpet, kan denne sårbarhed udnyttes til at lancerer bredere angreb, undergrave tilliden til GenAI-baserede systemer og kompromittere applikationsintegriteten, der afhænger af kunstig intelligens til beslutningstagning og informationsbehandling.

Pr. oktober 2024 implementerede Microsoft (MSFT ) stærkere afværgeforanstaltninger for at tackle disse problemer. Dog fortsætter vi med at fremme en højere vagtsomhed, når det kommer til at implementere kunstig intelligens-sikkerhedsforanstaltninger. Supplerende foranstaltninger, såsom yderligere modereringstjenester eller brug af LLM’er, der er mindre tilbøjelige til at have skadeligt indhold og fængslinger, er afgørende for at sikre en robust kunstig intelligens-sikkerhed.

Kan du forklare betydningen af “jailbreaks” og “prompt-manipulation” i kunstig intelligens-systemer, og hvorfor de udgør en så unik udfordring?

En jailbreak er en type prompt-injektionssårbarhed, hvor en ondsindet aktør kan misbruge en LLM til at følge instruktioner, der strider mod dens intendrede brug. Input, der behandles af LLM’er, indeholder både faste instruktioner fra applikationsdesigneren og upålidelig brugerinput, hvilket muliggør angreb, hvor upålidelig brugerinput kan overtage faste instruktioner. Dette har ligheder med, hvordan en SQL-injektionssårbarhed muliggør upålidelig brugerinput til at ændre en databaseforespørgsel. Problemet er dog, at disse risici kun kan detekteres på køretid, da koden i en LLM effektivt er en kæmpe matrix af tal i ikke-menneske-læselig format.

For eksempel undersøgte Mindgards forskninghold for nylig en sofistikeret form for jailbreak-angreb. Det indeholder indlejring af hemmelige lydmeldinger i lydindgang, der er utilgængelige for menneskelige lyttere, men erkendes og udføres af LLM’er. Hver indlejret melding indeholdt en tilpasset jailbreak-kommando samt et spørgsmål designet til en bestemt situation. Således kunne den gemte melding i en medicinsk chatbot-situation prompte chatbotten til at give farlige instruktioner, såsom hvordan man syntetiserer metamphetamine, hvilket kunne resultere i alvorlig ødelæggelse af rygte, hvis chatbottens svar blev taget alvorligt.

Mindgards platform identificerer sådanne jailbreaks og mange andre sikkerhedssårbarheder i kunstig intelligens-modeller og den måde, virksomheder har implementeret dem i deres applikation, så sikkerhedsledere kan sikre, at deres kunstig intelligens-drevne applikation er sikker fra design og forbliver sikker.

Hvordan adresserer Mindgards platform sårbarheder på tværs af forskellige typer kunstig intelligens-modeller, fra LLM’er til multi-modale systemer?

Vores platform adresserer et bredt spektrum af sårbarheder inden for kunstig intelligens, der omfatter prompt-injektion, jailbreaks, extraction (tyveri af modeller), inversion (omvendt ingeniørkunst af data), data-lækage og undgåelse (afvigelse af detection), og mere. Alle typer kunstig intelligens-modeller (uanset om LLM eller multi-modal) viser sig at være sårbare over for disse risici – trickene er at afsløre, hvilke specifikke teknikker der udløser disse sårbarheder og producerer et sikkerhedsproblem. Hos Mindgard har vi et stort R&D-hold, der specialiserer sig i at opdage og implementere nye angrebstyper i vores platform, så brugerne kan holde trit med de nyeste risici.

Hvad rolle spiller red teaming i sikring af kunstig intelligens-systemer, og hvordan innovere din platform i dette område?

Red teaming er en kritisk komponent i kunstig intelligens-sikkerhed. Ved kontinuerligt at simulere fjendtlige angreb identificerer red teaming sårbarheder i kunstig intelligens-systemer, hvilket hjælper organisationer med at mindske risici og accelerere kunstig intelligens-adopteringsprocessen. Trods dets betydning mangler red teaming i kunstig intelligens standardisering, hvilket fører til inkonsistens i trusselsvurdering og afhjælpningsstrategier. Dette gør det svært at objektivt sammenligne sikkerheden af forskellige systemer eller spore trusler effektivt.

For at tackle dette introducerede vi MITRE ATLAS™ Adviser, en funktion designet til at standardisere kunstig intelligens-red teaming-rapportering og strømlinje systematisk red teaming-praksis. Dette muliggør, at virksomheder bedre kan håndtere dagens risici, mens de forbereder sig på fremtidige trusler, da kunstig intelligens-kapaciteter udvikler sig. Med en omfattende bibliotek af avancerede angreb, udviklet af vores R&D-hold, understøtter Mindgard multi-modal kunstig intelligens-red teaming, der dækker både traditionelle og GenAI-modeller. Vores platform adresserer nøgle-risici for privatliv, integritet, misbrug og tilgængelighed, hvilket sikrer, at virksomheder er udstyret til at sikre deres kunstig intelligens-systemer effektivt.

Hvordan ser du din produkt indgå i MLOps-pipeline for virksomheder, der implementerer kunstig intelligens i stor skala?

Mindgard er designet til at integrere smidigt i eksisterende CI/CD-automatisering og alle SDLC-faser, og kræver kun en inferens- eller API-endpoint for modelintegration. Vores løsning i dag udfører dynamisk applikationssikkerhedstest af kunstig intelligens-modeller (DAST-AI). Den giver vores kunder mulighed for at udføre kontinuerlig sikkerhedstest på alle deres kunstig intelligens-modeller på tværs af hele bygge- og købslivscyklus. For virksomheder bruges det af multiple personer. Sikkerhedsteams bruger det til at få indsigt og reagere hurtigt på risici fra udviklere, der bygger og bruger kunstig intelligens, til at teste og evaluere kunstig intelligens-sikkerheds- og brandvægs-løsninger, og til at vurderer risici mellem tilpassede kunstig intelligens-modeller og baseline-modeller. Red teamere og sikkerhedsanalytikere udnytter Mindgard til at skala deres kunstig intelligens-red teaming-bestræbelser, mens udviklere drager fordel af integreret kontinuerlig test af deres kunstig intelligens-implmentationer.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Mindgard.