Dr. Peter Garraghan, CEO, CTO și Co-Fondator la Mindgard – Seria de Interviuri

Dr. Peter Garraghan este CEO, CTO și co-fondator la Mindgard, liderul în testarea securității inteligenței artificiale. Fondat la Universitatea Lancaster și sprijinit de cercetări de ultimă oră, Mindgard permite organizațiilor să-și asigure sistemele de inteligență artificială împotriva noilor amenințări pe care uneltele tradiționale de securitate a aplicațiilor nu le pot aborda. Ca profesor de științe computaționale la Universitatea Lancaster, Peter este un expert recunoscut la nivel internațional în domeniul securității inteligenței artificiale. El și-a dedicat cariera dezvoltării de tehnologii avansate pentru a combate amenințările în creștere cu care se confruntă inteligența artificială. Cu peste 11,6 milioane de euro în fonduri de cercetare și peste 60 de lucrări științifice publicate, contribuțiile sale acoperă atât inovația științifică, cât și soluțiile practice.

Puteți împărtăși povestea din spatele fondării Mindgard? Ce v-a inspirat să faceți trecerea de la academia la lansarea unei companii de securitate cibernetică?

Mindgard s-a născut din dorința de a transforma insight-urile academice în impact real în lumea reală. Ca profesor specializat în sisteme de calcul, securitatea inteligenței artificiale și învățarea automată, am fost condus de dorința de a urmări o știință care generează un impact semnificativ asupra vieții oamenilor. De la 2014, am cercetat inteligența artificială și învățarea automată, recunoscând potențialul lor de a transforma societatea – și riscurile imense pe care le prezintă, de la atacurile statelor la interferențele electorale. Uneltele existente nu au fost create pentru a aborda aceste provocări, așa că am condus o echipă de oameni de știință și ingineri pentru a dezvolta abordări inovatoare în domeniul securității inteligenței artificiale. Mindgard a apărut ca o întreprindere bazată pe cercetare, concentrată pe construirea de soluții concrete pentru a proteja împotriva amenințărilor legate de inteligența artificială, combinând cercetarea de ultimă oră cu angajamentul de a aplica aceste cunoștințe în industrie.

Care au fost provocările pe care le-ați întâmpinat în timp ce ați creat o companie dintr-o universitate și cum le-ați depășit?

Am fondat oficial Mindgard în mai 2022, iar deși Universitatea Lancaster a oferit un sprijin excelent, crearea unei spin-off universitare necesită mai mult decât doar abilități de cercetare. Acest lucru a însemnat atragerea de capital, rafinarea propunerii de valoare și pregătirea tehnologiei pentru demonstrații – toate acestea în timp ce îmi mențineam rolul de profesor. Oamenii de știință sunt instruiți să fie cercetători și să urmărească o știință nouă. Spin-off-urile reușesc nu doar datorită tehnologiei inovatoare, ci și datorită modului în care acea tehnologie abordează nevoile de business imediate sau viitoare și oferă valoare care atrage și reține utilizatori și clienți.

Produsul principal al Mindgard este rezultatul a ani de cercetare și dezvoltare. Puteți vorbi despre modul în care stadiile inițiale de cercetare s-au transformat într-o soluție comercială?

Călătoria de la cercetare la o soluție comercială a fost un proces deliberat și iterativ. A început cu peste un deceniu în urmă, când echipa mea de la Universitatea Lancaster a explorat provocările fundamentale ale securității inteligenței artificiale și a învățării automate. Am identificat vulnerabilități în sistemele de inteligență artificială instantiate care uneltele tradiționale de securitate, atât cele de scanare a codului, cât și cele de tip firewall, nu erau echipate să le abordeze.

Pe parcursul timpului, focusul nostru s-a mutat de la explorarea cercetării la construirea de prototipuri și testarea lor în scenarii de producție. Prin colaborarea cu parteneri din industrie, am rafinat abordarea noastră, asigurându-ne că aceasta abordează nevoi practice. Având în vedere că multe produse de inteligență artificială sunt lansate fără testări de securitate adecvate sau asigurări, lăsând organizațiile vulnerabile – un aspect subliniat de o constatare a Gartner potrivit căreia 29% dintre întreprinderile care implementează sisteme de inteligență artificială au raportat încălcări ale securității, iar doar 10% dintre auditorii interni au vizibilitate asupra riscurilor legate de inteligența artificială – am considerat că este momentul potrivit pentru a comercializa soluția.

Care sunt unele dintre principalele repere din călătoria Mindgard de la înființare?

În septembrie 2023, am obținut 3 milioane de lire sterline în fonduri, conduse de IQ Capital și Lakestar, pentru a accelera dezvoltarea soluției Mindgard. Am reușit să stabilim o echipă excelentă de lideri, care provin de la Snyk, Veracode și Twilio, pentru a duce compania noastră la următorul nivel al călătoriei sale. Suntem mândri de recunoașterea noastră ca cea mai inovatoare companie SME de securitate cibernetică din Regatul Unit la Infosecurity Europe în acest an. Astăzi, avem 15 angajați cu normă întreagă, 10 cercetători doctoranzi (și mulți alții care sunt recrutați activ) și suntem în proces de recrutare a analiștilor de securitate și inginerilor pentru a se alătura echipei noastre. În perspectivă, ne propunem să extindem prezența noastră în Statele Unite, cu un nou tur de finanțare de la investitori din Boston, care oferă o bază solidă pentru o astfel de creștere.

Pe măsură ce întreprinderile adoptă din ce în ce mai mult inteligența artificială, care sunt cele mai presante amenințări la adresa securității cibernetice cu care se confruntă acestea astăzi?

Multe organizații subestimează riscurile de securitate legate de inteligența artificială. Este extrem de dificil pentru non-specialiști să înțeleagă cum funcționează inteligența artificială, și mai puțin să înțeleagă implicațiile de securitate pentru afacerile lor. Petrec o cantitate considerabilă de timp pentru a demistifica securitatea inteligenței artificiale, chiar și cu tehnicieni experimentați care sunt experți în securitatea infrastructurii și protecția datelor. La sfârșitul zilei, inteligența artificială este, în esență, software și date care rulează pe hardware. Dar introduce vulnerabilități unice care diferă de sistemele tradiționale, iar amenințările provenite din comportamentul inteligenței artificiale sunt mult mai mari și mai greu de testat în comparație cu alte software.

Ați descoperit vulnerabilități în sisteme precum filtrele de conținut AI ale Microsoft (MSFT ). Cum influențează aceste descoperiri dezvoltarea platformei dvs?

Vulnerabilitățile pe care le-am descoperit în serviciul Azure AI Content Safety al Microsoft au fost mai degrabă despre demonstrarea capacităților platformei noastre decât despre modelarea dezvoltării sale.

Azure AI Content Safety este un serviciu proiectat pentru a proteja aplicațiile de inteligență artificială prin moderarea conținutului dăunător în text, imagini și videoclipuri. Vulnerabilitățile descoperite de echipa noastră au afectat serviciul de moderare a textului AI (care blochează conținut dăunător, cum ar fi discursul urât, materialul sexual etc.) și Prompt Shield (care previne jailbreak-urile și injecțiile de prompt). Dacă nu sunt abordate, această vulnerabilitate poate fi exploatată pentru a lansa atacuri mai ample, submina încrederea în sistemele bazate pe inteligență artificială generală și compromite integritatea aplicațiilor care se bazează pe inteligența artificială pentru luarea deciziilor și procesarea informațiilor.

Începând cu octombrie 2024, Microsoft a implementat măsuri de atenuare mai puternice pentru a aborda aceste probleme. Cu toate acestea, continuăm să pledăm pentru o vigilență sporită atunci când se implementează gardurile de inteligență artificială. Măsurile suplimentare, cum ar fi unelte de moderare suplimentare sau utilizarea modelelor de inteligență artificială mai puțin predispuse la conținut dăunător și jailbreak, sunt esențiale pentru asigurarea unei securități robuste a inteligenței artificiale.

Puteți explica importanța “jailbreak-urilor” și “manipulării prompt-urilor” în sistemele de inteligență artificială și de ce acestea reprezintă o provocare atât de unică?

Un jailbreak este un tip de vulnerabilitate de injecție de prompt în care un actor malicios poate abuza de un model de inteligență artificială pentru a urma instrucțiuni contrare utilizării sale intenționate. Intrările procesate de modelele de inteligență artificială conțin atât instrucțiuni stabilite de designerul aplicației, cât și intrări de utilizator neîncredere, permițând atacuri în care intrarea neîncredere a utilizatorului poate suprascrie instrucțiunile stabilite. Acest lucru are similitudini cu modul în care o vulnerabilitate de injecție SQL permite intrării neîncredere a utilizatorului să modifice o interogare a bazei de date. Problema este că aceste riscuri pot fi detectate doar la runtime, având în vedere că codul unui model de inteligență artificială este, în esență, o matrice uriașă de numere într-un format necitit de om.

De exemplu, echipa noastră de cercetare de la Mindgard a explorat recent o formă sofisticată de atac de jailbreak. Acesta conține încorporarea de mesaje audio secrete în intrările audio care sunt nedetectabile de către ascultătorii umani, dar recunoscute și executate de modelele de inteligență artificială. Fiecare mesaj încorporat conținea o comandă de jailbreak personalizată, împreună cu o întrebare proiectată pentru un anumit scenariu. Astfel, într-un scenariu de chatbot medical, mesajul ascuns ar putea prompta chatbot-ul să furnizeze instrucțiuni periculoase, cum ar fi modul de a sintetiza metamfetamină, ceea ce ar putea duce la daune grave de reputație dacă răspunsul chatbot-ului ar fi luat în serios.

Platforma Mindgard identifică astfel de jailbreak-uri și multe alte vulnerabilități de securitate în modelele de inteligență artificială și modul în care acestea au fost implementate de către afaceri, astfel încât liderii de securitate să poată asigura că aplicațiile lor bazate pe inteligență artificială sunt proiectate pentru a fi sigure și rămân sigure.

Cum abordează platforma Mindgard vulnerabilitățile de-a lungul diferitelor tipuri de modele de inteligență artificială, de la modelele de limbaj la sistemele multimodale?

Platforma noastră abordează o gamă largă de vulnerabilități în domeniul inteligenței artificiale, cuprinzând injecția de prompt, jailbreak-urile, extragerea (furtul de modele), inversarea (ingineria inversă a datelor), scurgerea de date, evaziunea (ocolirea detectării) și multe altele. Toate tipurile de modele de inteligență artificială (indiferent dacă este vorba de modele de limbaj sau multimodale) prezintă susceptibilitate la aceste riscuri – trucul constă în descoperirea tehnicilor specifice care declanșează aceste vulnerabilități pentru a produce o problemă de securitate. La Mindgard, avem o echipă de cercetare și dezvoltare mare care se specializează în descoperirea și implementarea de noi tipuri de atacuri în platforma noastră, astfel încât utilizatorii să poată rămâne la curent cu riscurile de ultimă oră.

Care este rolul testării de penetrare (red teaming) în asigurarea securității sistemelor de inteligență artificială și cum inovează platforma dvs. în acest spațiu?

Testarea de penetrare este o componentă critică a securității inteligenței artificiale. Prin simularea continuă a atacurilor adverse, testarea de penetrare identifică vulnerabilitățile în sistemele de inteligență artificială, ajutând organizațiile să își reducă riscurile și să accelereze adoptarea inteligenței artificiale. În ciuda importanței sale, testarea de penetrare în domeniul inteligenței artificiale lipsește de standardizare, ceea ce duce la inconstanțe în evaluarea amenințărilor și strategiile de remediere. Acest lucru face dificilă evaluarea obiectivă a siguranței diferitelor sisteme sau urmărirea eficientă a amenințărilor.

Pentru a aborda această problemă, am introdus MITRE ATLAS Adviser, o funcționalitate proiectată pentru a standardiza raportarea testării de penetrare în domeniul inteligenței artificiale și pentru a simplifica practicile sistematice de testare de penetrare. Acest lucru permite întreprinderilor să gestioneze mai bine riscurile actuale, în timp ce se pregătesc pentru amenințările viitoare pe măsură ce capacitățile inteligenței artificiale evoluează. Cu o bibliotecă cuprinzătoare de atacuri avansate dezvoltate de echipa noastră de cercetare și dezvoltare, Mindgard sprijină testarea de penetrare multimodală a inteligenței artificiale, acoperind atât modelele tradiționale, cât și cele de inteligență artificială generală. Platforma noastră abordează riscurile cheie pentru confidențialitate, integritate, abuz și disponibilitate, asigurându-se că întreprinderile sunt echipate pentru a-și asigura în mod eficient sistemele de inteligență artificială.

Cum vedeți produsul dvs. integrându-se în pipeline-ul MLOps pentru întreprinderile care implementează inteligență artificială la scară largă?

Mindgard este proiectat pentru a se integra fără probleme în automatizarea CI/CD existentă și în toate etapele SDLC, necesitând doar un punct de intrare pentru integrarea modelului sau un punct de API. Soluția noastră efectuează testarea dinamică a securității aplicațiilor de inteligență artificială (DAST-AI). Aceasta împuternicește clienții noștri să efectueze testări de securitate continue pentru toate sistemele lor de inteligență artificială de-a lungul întregului ciclu de viață de construire și cumpărare. Pentru întreprinderi, aceasta este utilizată de multiple persoane. Echipele de securitate o folosesc pentru a obține vizibilitate și pentru a răspunde rapid la riscurile provenite de la dezvoltatorii care construiesc și utilizează inteligența artificială, pentru a testa și evalua soluțiile de gardă și WAF, și pentru a evalua riscurile între modelele de inteligență artificială personalizate și modelele de bază. Testatorii de penetrare și analiștii de securitate utilizează Mindgard pentru a-și extinde eforturile de testare de penetrare a inteligenței artificiale, în timp ce dezvoltatorii beneficiază de testarea continuă integrată a implementărilor lor de inteligență artificială.

Mulțumim pentru acest interviu excelent. Citiitorii care doresc să afle mai multe despre Mindgard ar trebui să viziteze Mindgard.