Tohtori Peter Garraghan, Mindgardin CEO, CTO ja Co-Founder – Haastattelusarja

Tohtori Peter Garraghan on Mindgardin CEO, CTO ja perustaja, Mindgard, joka on johtava tekoälyturvallisuuden testausyritys. Perustettu Lancasterin yliopistossa ja tuettu viimeisimmällä tutkimuksella, Mindgard mahdollistaa organisaatioiden turvata tekoälyjärjestelmänsä uusilta uhilta, joita perinteiset sovellusturvallisuustyökalut eivät voi käsitellä. Lancasterin yliopiston tietojenkäsittelytieteen professorina Peter on kansainvälisesti tunnustettu asiantuntija tekoälyturvallisuuden alalla. Hän on omistautunut uransa kehittämään edistyneitä teknologioita torjumaan kasvavia uhkia, joita tekoälylle aiheutuu. Yli 11,6 miljoonan euron tutkimusrahoituksella ja yli 60 tieteellisellä julkaisulla, hänen panoksensa kattavat sekä tieteellisen innovaation että käytännön ratkaisut.

Voitko kertoa Mindgardin perustamisen tarinan? Mikä innoitti sinua siirtymään akateemisesta urasta perustamaan kyberTurvallisuusstart-upin?

Mindgard syntyi akateemisten näkemysten muuttamiseksi todelliseksi vaikutukseksi. Olen ollut tietojenkäsittelyjärjestelmien, tekoälyturvallisuuden ja koneoppimisen professorina, ja olen pyrkinyt tieteeseen, joka luo laajamittaista vaikutusta ihmisten elämään. Vuodesta 2014 lähtien olen tutkinut tekoälyä ja koneoppimista, tunnistaen niiden potentiaalin muuttaa yhteiskuntaa – ja valtavat riskit, joita ne aiheuttavat, aina valtioiden hyökkäyksistä vaaleihin vaikuttamiseen. Olemassa olevat työkalut eivät olleet suunniteltu kohtaamaan näitä haasteita, joten johtaminen tutkijoista ja insinööreistä kehittämään innovatiivisia lähestymistapoja tekoälyturvallisuudessa. Mindgard syntyi tutkimukseen perustuvana yrityksenä, joka keskittyi kehittämään konkreettisia ratkaisuja suojelemalla tekoälyuhkia, yhdistämällä viimeisintä tutkimusta teolliseen soveltamiseen.

Mitä haasteita sinä kohtasit perustettaessa yliopistosta spin-out-yritystä, ja miten sinä voitit nämä haasteet?

Virallisesti perustimme Mindgardin toukokuussa 2022, ja vaikka Lancasterin yliopisto tarjosi hyvää tukea, yliopiston spin-out vaatii enemmän kuin vain tutkimustaitoja. Se tarkoitti pääomaa, arvon tarjoamisen hienosäätöä ja teknologian valmistamista demoja varten – kaikki tämä yhtä aikaa tasapainotellen roolini professorina. Akateemikot ovat koulutettu tutkijoiksi ja uuden tieteen metsästäjiksi. Spin-outit menestyvät ei vain uraauurtavalla teknologialla, vaan myös siinä, miten hyvin tuo teknologia vastaa liiketoiminnan tarpeita ja tarjoaa arvoa, joka houkuttelee ja pitää käyttäjiä ja asiakkaita.

Mindgardin ydin tuote on vuosien tutkimuksen ja kehityksen tulos. Voitko kertoa, miten varhaiset tutkimusvaiheet kehittyivät kaupalliseksi ratkaisuksi?

Matka tutkimuksesta kaupalliseksi ratkaisuksi oli tarkoituksenmukainen ja iteratiivinen prosessi. Se alkoi yli kymmenen vuotta sitten, jolloin tiimini Lancasterin yliopistossa tutki perusongelmia tekoäly- ja koneoppimisturvallisuudessa. Tunnistimme haavoittuvuuksia tekoälyjärjestelmissä, joita perinteiset turvallisuustyökalut eivät pystyneet käsittelemään.

Ajan myötä fokus siirtyi tutkimuksen tutkimisesta rakentamaan prototyyppejä ja testaamaan niitä tuotantotilanteissa. Yhteistyössä teollisuuskumppaneiden kanssa, hienosäätelimme lähestymistapamme, varmistaen, että se vastasi käytännön tarpeita. Monet tekoälytuotteet julkaistaan ilman riittävää turvallisuustestaus tai takeita, jättäen organisaatiot haavoittuviksi – ongelmaa, jota korostaa Gartner löytäminen, jonka mukaan 29 %:ssa yrityksistä, jotka käyttävät tekoälyjärjestelmiä, on raportoitu turvallisuusloukkauksia, ja vain 10 %:ssa sisäisen tarkastuksen tekijöillä on näkyvyyttä tekoälyriskeihin – tunnin oli oikea aika kaupallistaa ratkaisu.

Mitä ovat joitain tärkeimmistä merkkipaaluista Mindgardin matkalla sen perustamisesta lähtien vuonna 2022?

Syyskuussa 2023 saimme 3 miljoonan punnan rahoituksen, jota johtivat IQ Capital ja Lakestar, nopeuttaaksemme Mindgard-ratkaisun kehittämistä. Olemme pystyneet perustamaan loistavan johtajatiimin, johon kuuluvat entisiä Snyk-, Veracode- ja Twilio-työntekijöitä, jotka pyrkivät viemään yritystämme seuraavaan vaiheeseen. Olemme ylpeitä siitä, että olemme tunnustettu Iso-Britannian innovatiivisimmaksi kyberturvallisuus-SME:ksi Infosecurity Europe -tapahtumassa tänä vuonna. Tällä hetkellä meillä on 15 täysipäiväistä työntekijää, 10 tutkijaa (ja useita muita, jotka ovat aktiivisesti rekrytoitavina) ja olemme aktiivisesti rekrytoimassa turvallisuusanalyytikkoja ja insinöörejä liittymään tiimiimme. Tulevaisuudessa suunnittelemme laajentavamme läsnäoloamme Yhdysvalloissa, ja Bostonissa sijaitsevien sijoittajien uusi rahoitusantio tarjoaa vankan perustan tälle kasvulle.

Mitä näet tärkeimpinä kyberturvallisuusuhkina, joita yritykset kohtaavat tekoälyn käytön yleistyttyä?

Monet organisaatiot aliarvioivat tekoälyyn liittyvät kyberturvallisuusriskit. On erittäin vaikeaa ei-asiantuntijoille ymmärtää, miten tekoäly tosiasiassa toimii, saati mitkä ovat turvallisuusvaikutukset liiketoimintaan. Olen viettänyt paljon aikaa demystifioimassa tekoälyturvallisuutta, jopa kokeneiden teknologian asiantuntijoiden kanssa, jotka ovat asiantuntijoita infrastruktuuriturvallisuudessa ja tietosuojassa. Lopulta tekoäly on vain ohjelmisto ja data, jotka pyörivät laitteistossa. Mutta se tuo mukanaan ainutlaatuisia haavoittuvuuksia, jotka poikkeavat perinteisistä järjestelmistä, ja uhkat tekoälyn käyttäytymisestä ovat paljon suurempia ja vaikeampia testata kuin muissa ohjelmistoissa.

Sinä olet paljastanut haavoittuvuuksia järjestelmissä, kuten Microsoftin tekoälysisällön suodattimissa. Miten nämä löydökset vaikuttavat platformisi kehitykseen?

Haavoittuvuudet, joita löysimme Microsoftin Azure AI Content Safety -palvelusta, eivät olleet niinkään platformimme kehityksen muuttamista, vaan enemmän sen kykyjen esittelyä.

Azure AI Content Safety on palvelu, joka on suunniteltu suojelemaan tekoälysovelluksia valvomalla haitallista sisältöä teksti-, kuva- ja videomuodossa. Haavoittuvuudet, joita tiimimme löysi, vaikuttivat palvelun AI-tekstien moderointiin (joka estää haitallista sisältöä, kuten vihaa, seksuaalista materiaalia jne.) ja Prompt Shieldiin (joka estää vankilamurtoja ja kehotusinjektiota). Jos nämä haavoittuvuudet jätetään tarkkailtamatta, ne voidaan hyödyntää laajempien hyökkäysten käynnistämiseen, vahingoittamaan GenAI-pohjaisia järjestelmien luotettavuutta ja vaarantamaan sovellusten eheys, jotka riippuvat tekoälystä päätöksenteon ja tietojen käsittelyssä.

Lokakuussa 2024 Microsoft (MSFT ) toteutti voimakkaampia lieventämistoimia näiden asioiden korjaamiseksi. Kuitenkin jatkamme vaatimalla korkeampaa valppautta tekoälyturvallisuuden toteuttamisessa. Lisätoimenpiteet, kuten lisämoderointityökalujen käyttö tai LLM:ien käyttö, jotka ovat vähemmän alttiita haitalliselle sisällölle ja vankilamurroille, ovat olennaisia tekoälyturvallisuuden varmistamiseksi.

Voitko selittää “vankilamurron” ja “kehotusmanipulaation” merkitystä tekoälyjärjestelmissä ja miksi ne aiheuttavat niin ainutlaatuisen haasteen?

Vankilamurto on tyyppi kehotusinjektiivuus, jossa hyökkääjä voi käyttää LLM:ää vastoin sen tarkoitusta. LLM:ien käsittelyssä olevat syötteet sisältävät sekä sovelluskehittäjän antamat ohjeet että epäluotettavan käyttäjän syötteen, mikä mahdollistaa hyökkäykset, joissa epäluotettava käyttäjän syöte ohittaa sovelluskehittäjän antamat ohjeet. Tämä muistuttaa sitä, miten SQL-injektiivuus mahdollistaa epäluotettavan käyttäjän syötteen muuttamisen tietokantakyselyksi. Ongelma on kuitenkin, että nämä riskit voidaan havaita vain suoritusaikana, koska LLM:n koodi on käytännössä valtava matriisi ei-lukuvaa numeroita.

Esimerkiksi Mindgardin tutkimusryhmä tutki äskettäin hienostunutta vankilamurtohyökkäystä, joka sisälsi salattujen ääniviestien upottamisen äänisyötteisiin, jotka ovat havaitsemattomia ihmiskuulijoille, mutta tunnistettavissa LLM:ille. Jokainen upotettu viesti sisälsi vankilamurron käskyn sekä kysymyksen, joka oli suunniteltu tiettyyn skenaarioon. Esimerkiksi lääketieteellisessä chatbot-skenaariossa piilotettu viesti voi kehottaa chatbottia antamaan vaarallisia ohjeita, kuten miten valmistaa metamfetamiinia, mikä voi johtaa vakavaan mainevahinkoon, jos chatbottia otetaan tosissaan.

Mindgardin alusta tunnistaa nämä vankilamurrot ja monia muita turvallisuusvaikutuksia tekoälymallissa ja siinä, miten yritykset ovat niitä soveltaneet sovelluksiinsa, jotta turvallisuuspäälliköt voivat varmistaa, että heidän tekoälyvoimansa sovellus on suunniteltu turvalliseksi ja pysyy turvallisen.

Miten Mindgardin alusta käsittelee haavoittuvuuksia eri tyypeissä tekoälymalleissa, LLM:istä monimodaalisiin järjestelmiin?

Meidän alustamme käsittelee laajan valikoiman haavoittuvuuksia tekoälyssä, kattaa kehotusinjektiota, vankilamurtoja, extraktiota (mallien varastamista), invertiota (datan kääntämistä), tietovuotoa, välttämistä (havaitsemisen välttämistä) ja enemmän. Kaikki tekoälymallit (riippumatta siitä, onko ne LLM- tai monimodaalisia) ovat alttiita näille riskeille – temppu on löytää, mitkä tarkat tekniikat laukaisevat nämä haavoittuvuudet ja tuottavat turvallisuusongelman. Mindgardilla on suuri tutkimus- ja kehitystiimi, joka on erikoistunut uusien hyökkäystyypien löytämiseen ja niiden toteuttamiseen alustallemme, jotta käyttäjät voivat pysyä ajan tasalla viimeisimpien riskien suhteen.

Mikä on punainen tiimi tekoälyjärjestelmien turvallisuuden kannalta, ja miten teidän alustanne innovoi tässä tilassa?

Punainen tiimi on kriittinen osa tekoälyturvallisuutta. Jatkuvasti simuloimalla vihamielisiä hyökkäyksiä punainen tiimi tunnistaa haavoittuvuuksia tekoälyjärjestelmissä, auttaen organisaatioita vähentämään riskejä ja nopeuttamaan tekoälyn omaksumista. Vaikka se on tärkeää, tekoälyssä punainen tiimi puuttuu standardisoinnista, mikä johtaa epäjohdonmukaisuuksiin uhka-arvioissa ja korjaamisstrategioissa. Tämä tekee vaikeaksi objektiivisen vertailun eri järjestelmien turvallisuutta tai uhkien seuraamista.

Ratkaistaksemme tämän ongelman, esittelimme MITRE ATLAS™ -neuvonantajan, joka on suunniteltu standardoimaan tekoälyturvallisuuden punaisen tiimin raportointia ja suorittamaan systemaattista punaista tiimien harjoittelua. Tämä mahdollistaa yrityksille paremman riskien hallinnan nykyisissä uhkissa ja valmistautumisen tuleviin uhkiin, kun tekoälyn kyvyt kehittyvät. Laajalla kirjastollamme edistyneistä hyökkäyksistä, jotka on kehittänyt tutkimus- ja kehitystiimimme, Mindgard tukee monimodaalista tekoälyturvallisuuden punaista tiimien harjoittelua, kattaa perinteiset ja GenAI-mallit. Alustamme käsittelee tärkeitä riskejä yksityisyydelle, eheudelle, väärinkäytölle ja saatavuudelle, varmistaen, että yritykset ovat varustettu turvallisten tekoälyjärjestelmien suojaamiseksi.

Miten sinä näet tuotteesi sopivan MLOps-pipelineen yrityksille, jotka käyttävät tekoälyä laajassa mittakaavassa?

Mindgard on suunniteltu integroitumaan helposti olemassa oleviin CI/CD-automatiikkaan ja kaikkiin SDLC-vaiheisiin, vaaditen vain yhden inference- tai API-päätepisteen mallin integroimiseksi. Ratkaisumme suorittaa dynaamista sovellusturvallisuuden testausta tekoälymallissa (DAST-AI). Se mahdollistaa asiakkaidemme suorittaa jatkuvaa turvallisuuden testausta kaikissa tekoälysovelluksissaan koko rakennus- ja ostajan elinkaaren ajan. Yrityksille se on käytössä useilla eri rooleilla. Turvallisuustiimit käyttävät sitä saadakseen näkyvyyden ja vastatakseen nopeasti kehittäjien tekoälyyn liittyviin riskeihin, testatakseen ja arvioidakseen tekoälysuojauksia ja WAF-ratkaisuja sekä arvioidakseen riskejä räätälätyissä tekoälymalleissa ja perusmalleissa. Punaiset tiimit ja turvallisuusanalyytikot hyödyntävät Mindgardia laajentaakseen tekoälyturvallisuuden punaista tiimien harjoittelua, kun taas kehittäjät hyötyvät integroidusta jatkuvasta testauksesta tekoälykäyttöönsä.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Mindgard-sivustolla.