Dr. Peter Garraghan, CEO, CTO & Co-Founder bij Mindgard – Interview Series

Dr. Peter Garraghan is CEO, CTO & co-founder van Mindgard, de leider in Artificial Intelligence Security Testing. Opgericht aan de Lancaster University en ondersteund door baanbrekend onderzoek, stelt Mindgard organisaties in staat om hun AI-systemen te beveiligen tegen nieuwe bedreigingen die traditionele applicatieveiligheidstools niet kunnen aanpakken. Als professor in de informatica aan de Lancaster University is Peter een internationaal erkende expert op het gebied van AI-beveiliging. Hij heeft zijn carrière gewijd aan het ontwikkelen van geavanceerde technologieën om de groeiende bedreigingen voor AI te bestrijden. Met meer dan €11,6 miljoen aan onderzoeksfinanciering en meer dan 60 gepubliceerde wetenschappelijke artikelen, omvatten zijn bijdragen zowel wetenschappelijke innovatie als praktische oplossingen.

Kunt u het verhaal achter de oprichting van Mindgard delen? Wat inspireerde u om over te stappen van de academische wereld naar het lanceren van een cybersecurity-startup?

Mindgard is ontstaan uit de wens om academische inzichten om te zetten in praktische resultaten. Als professor gespecialiseerd in computersystemen, AI-beveiliging en machine learning, ben ik gedreven om wetenschap te bedrijven die een grote impact heeft op het leven van mensen. Sinds 2014 heb ik onderzoek gedaan naar AI en machine learning, waarbij ik de potentie van deze technologieën om de samenleving te transformeren heb erkend – en de immense risico’s die ze met zich meebrengen, van aanvallen door staten tot verkiezingsinterferentie. Bestaande tools waren niet ontworpen om deze uitdagingen aan te pakken, dus leidde ik een team van wetenschappers en ingenieurs om innovatieve benaderingen te ontwikkelen op het gebied van AI-beveiliging. Mindgard is ontstaan als een onderzoeksgerichte onderneming die zich richt op het bouwen van tastbare oplossingen om AI-bedreigingen te beschermen, waarbij cutting-edge onderzoek wordt gecombineerd met een toewijding aan industriële toepassing.

Welke uitdagingen bent u tegengekomen bij het oprichten van een bedrijf vanuit een universiteit, en hoe hebt u deze overwonnen?

We hebben Mindgard officieel opgericht in mei 2022, en hoewel de Lancaster University grote steun heeft geboden, vereist het oprichten van een universitaire spin-out meer dan alleen onderzoeksvaardigheden. Dat betekende het werven van kapitaal, het verfijnen van de waardepropositie en het voorbereiden van de technologie voor demonstraties – allemaal terwijl ik mijn rol als professor in evenwicht hield. Academics zijn getraind om onderzoekers te zijn en nieuwe wetenschap na te streven. Spin-outs slagen niet alleen door baanbrekende technologie, maar door hoe goed die technologie onmiddellijke of toekomstige bedrijfsbehoeften aanpakt en waarde levert die gebruikers en klanten aantrekt en behoudt.

Het kernproduct van Mindgard is het resultaat van jarenlang onderzoek en ontwikkeling. Kunt u vertellen over hoe de vroege onderzoeksfasen zijn geëvolueerd naar een commerciële oplossing?

De reis van onderzoek naar een commerciële oplossing was een bewuste en iteratieve proces. Het begon meer dan een decennium geleden, met mijn team aan de Lancaster University dat fundamentele uitdagingen in AI- en machine learningbeveiliging onderzocht. We identificeerden kwetsbaarheden in geïnstantieerde AI-systemen die traditionele beveiligingstools, zowel code-scanning als firewalls, niet konden aanpakken.

Na verloop van tijd verschoof onze focus van onderzoeksverkenning naar het bouwen van prototypes en het testen ervan in productiescenario’s. Door samen te werken met industriele partners, verfijnden we onze aanpak, waarbij we ervoor zorgden dat deze praktische behoeften aanpakte. Met veel AI-producten die zonder adequate beveiligingstesten of garanties worden gelanceerd, waardoor organisaties kwetsbaar worden – een probleem dat wordt onderstreept door een Gartner-vinding dat 29% van de ondernemingen die AI-systemen implementeren, beveiligingsinbreuken hebben gemeld, en slechts 10% van de interne auditors zicht hebben op AI-risico’s – voelde ik dat de tijd rijp was om de oplossing te commercialiseren.

Kunt u enkele van de belangrijkste mijlpalen in de reis van Mindgard sinds de oprichting in 2022 noemen?

In september 2023 hebben we £3 miljoen aan financiering veiliggesteld, geleid door IQ Capital en Lakestar, om de ontwikkeling van de Mindgard-oplossing te versnellen. We hebben een geweldig team van leiders kunnen formeren die voormalige medewerkers zijn van Snyk, Veracode en Twilio, om ons bedrijf naar het volgende niveau te brengen. We zijn trots op onze erkenning als het meest innovatieve cybersecurity-SME van het VK op Infosecurity Europe dit jaar. Vandaag hebben we 15 fulltime medewerkers, 10 PhD-onderzoekers (en meer die actief worden geworven), en we zijn actief op zoek naar beveiligingsanalisten en ingenieurs om zich bij ons team aan te sluiten. We plannen om onze aanwezigheid in de VS uit te breiden, met een nieuwe financieringsronde vanuit Bostonse investeerders die een solide basis biedt voor deze groei.

Naarmate ondernemingen AI steeds meer adopteren, wat zijn de meest dringende cybersecurity-bedreigingen die ze vandaag het meest te maken krijgen?

Veel organisaties onderschatten de cybersecurity-risico’s die samenhangen met AI. Het is extreem moeilijk voor niet-specialisten om te begrijpen hoe AI werkt, laat staan wat de beveiligingsimplicaties zijn voor hun bedrijf. Ik besteed een aanzienlijk deel van mijn tijd aan het demystificeren van AI-beveiliging, zelfs voor ervaren technici die experts zijn in infrastructuurbeveiliging en gegevensbescherming. Uiteindelijk is AI nog steeds in wezen software en gegevens die op hardware draaien. Maar het introduceert unieke kwetsbaarheden die afwijken van traditionele systemen en de bedreigingen van AI-gedrag zijn veel hoger en moeilijker te testen in vergelijking met andere software.

U hebt kwetsbaarheden ontdekt in systemen zoals Microsoft’s (MSFT ) AI-inhoudsfilters. Hoe beïnvloeden deze bevindingen de ontwikkeling van uw platform?

De kwetsbaarheden die we ontdekt hebben in Microsoft’s Azure AI Content Safety Service waren minder gericht op het vormgeven van de ontwikkeling van ons platform, en meer op het demonstreren van de mogelijkheden ervan.

Azure AI Content Safety is een dienst die is ontworpen om AI-toepassingen te beschermen door schadelijke inhoud in tekst, afbeeldingen en video’s te modereren. De kwetsbaarheden die door ons team zijn ontdekt, hebben invloed op de AI-tekstmoderatie (die schadelijke inhoud zoals haatzaaiende taal, seksueel materiaal, etc. blokkeert) en Prompt Shield (die jailbreaks en prompt-injectie voorkomt). Als deze kwetsbaarheid ongecontroleerd blijft, kan deze worden uitgebuit om bredere aanvallen te lanceren, het vertrouwen in GenAI-gebaseerde systemen te ondermijnen en de toepassingsintegriteit te compromitteren die afhankelijk is van AI voor besluitvorming en informatieverwerking.

Vanaf oktober 2024 heeft Microsoft krachtdadige maatregelen genomen om deze problemen aan te pakken. We blijven echter pleiten voor een grotere waakzaamheid bij het implementeren van AI-beveiligingsmaatregelen. Aanvullende maatregelen, zoals extra moderatietools of het gebruik van LLM’s die minder vatbaar zijn voor schadelijke inhoud en jailbreaks, zijn essentieel om een robuuste AI-beveiliging te garanderen.

Kunt u de betekenis van “jailbreaks” en “prompt-manipulatie” in AI-systemen uitleggen, en waarom ze zo’n unieke uitdaging vormen?

Een jailbreak is een type prompt-injectiekwetsbaarheid waarbij een kwaadwillige actor een LLM kan misbruiken om instructies te volgen die in strijd zijn met de bedoelde gebruik. De invoer die door LLM’s wordt verwerkt, bevat zowel instructies van de applicatie-ontwikkelaar als onbetrouwbare gebruikersinvoer, waardoor aanvallen mogelijk zijn waarbij de onbetrouwbare gebruikersinvoer de instructies van de applicatie-ontwikkelaar overschrijft. Dit heeft overeenkomsten met hoe een SQL-injectiekwetsbaarheid onbetrouwbare gebruikersinvoer in staat stelt om een databasequery te wijzigen. Het probleem is echter dat deze risico’s alleen tijdens runtime kunnen worden gedetecteerd, aangezien de code van een LLM effectief een reusachtige matrix van nummers in een niet-leesbaar formaat is.

Onlangs heeft het onderzoeksteam van Mindgard een geavanceerde vorm van jailbreak-aanval onderzocht. Deze bevat het insluiten van geheime audioboodschappen in audiobestanden die onzichtbaar zijn voor menselijke luisteraars, maar door LLM’s worden herkend en uitgevoerd. Elk ingesloten bericht bevatte een jailbreak-opdracht, evenals een vraag die is ontworpen voor een specifiek scenario. Dus, in een medisch chatbot-scenario, kan de verborgen boodschap de chatbot aanzetten om gevaarlijke instructies te geven, zoals hoe methamfetamine te synthetiseren, wat tot ernstige reputatieschade kan leiden als de reactie van de chatbot serieus wordt genomen.

Het platform van Mindgard identificeert dergelijke jailbreaks en vele andere beveiligingskwetsbaarheden in AI-modellen en de manier waarop bedrijven deze in hun toepassingen hebben geïmplementeerd, zodat beveiligingsleiders ervoor kunnen zorgen dat hun AI-aangedreven toepassing beveiligd is vanaf het begin en blijft.

Hoe adresseert het platform van Mindgard kwetsbaarheden in verschillende soorten AI-modellen, van LLM’s tot multimodale systemen?

Ons platform adresseert een breed scala aan kwetsbaarheden binnen AI, waaronder prompt-injectie, jailbreaks, extractie (het stelen van modellen), inversie (het omgekeerd ingenieurswerk van gegevens), gegevenslekkage en ontwijkingsmanoeuvres (het omzeilen van detectie), en meer. Alle soorten AI-modellen (zowel LLM als multimodaal) vertonen gevoeligheid voor deze risico’s – de truc is om te ontdekken welke specifieke technieken deze kwetsbaarheden triggeren om een beveiligingsprobleem te produceren. Bij Mindgard hebben we een groot R&D-team dat gespecialiseerd is in het ontdekken en implementeren van nieuwe aanvalstypen in ons platform, zodat gebruikers up-to-date kunnen blijven tegen state-of-the-art-risico’s.

Wat is de rol van red teaming bij het beveiligen van AI-systemen, en hoe innoveert uw platform op dit gebied?

Red teaming is een cruciaal onderdeel van AI-beveiliging. Door voortdurend aanvallen te simuleren, identificeert red teaming kwetsbaarheden in AI-systemen, waardoor organisaties risico’s kunnen mitigeren en AI-adoptie kunnen versnellen. Ondanks zijn belang, ontbreekt het aan standaardisatie in AI-red teaming, wat leidt tot inconsistenties in bedreigingsbeoordeling en mitigatiestrategieën. Dit maakt het moeilijk om objectief de veiligheid van verschillende systemen te vergelijken of bedreigingen effectief te volgen.

Om dit aan te pakken, hebben we MITRE ATLAS™ Adviser geïntroduceerd, een functie die is ontworpen om AI-red teaming-rapportage te standaardiseren en systematische red teaming-praktijken te stroomlijnen. Dit stelt ondernemingen in staat om beter om te gaan met de huidige risico’s en zich voor te bereiden op toekomstige bedreigingen naarmate de AI-mogelijkheden evolueren. Met een uitgebreide bibliotheek van geavanceerde aanvallen die zijn ontwikkeld door ons R&D-team, ondersteunt Mindgard multimodale AI-red teaming, waaronder traditionele en GenAI-modellen. Ons platform adresseert sleutelrisico’s voor privacy, integriteit, misbruik en beschikbaarheid, waardoor ondernemingen zijn uitgerust om hun AI-systemen effectief te beveiligen.

Hoe ziet u uw product in de MLOps-pijplijn voor ondernemingen die AI op grote schaal implementeren?

Mindgard is ontworpen om naadloos te integreren in bestaande CI/CD-automatisering en alle SDLC-fasen, waarvoor alleen een inferentie- of API-eindpunt voor modelintegratie nodig is. Onze oplossing voert vandaag Dynamic Application Security Testing van AI-modellen (DAST-AI) uit. Het stelt onze klanten in staat om continue beveiligingstesten uit te voeren op al hun AI-modellen in de hele build- en buy-levenscyclus. Voor ondernemingen wordt het gebruikt door meerdere personen. Beveiligingsteams gebruiken het om zichtbaarheid te krijgen en snel te reageren op risico’s van ontwikkelaars die AI bouwen en gebruiken, om AI-beveiligings- en WAF-oplossingen te testen en te evalueren, en om risico’s te beoordelen tussen aangepaste AI-modellen en baseline-modellen. Pentesters en beveiligingsanalisten gebruiken Mindgard om hun AI-red teaming-inspanningen te schalen, terwijl ontwikkelaars profiteren van geïntegreerde continue testing van hun AI-implementaties.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Mindgard bezoeken.