Dott. Peter Garraghan, CEO, CTO e Co-Fondatore di Mindgard – Serie di Interviste

Dott. Peter Garraghan è CEO, CTO e co-fondatore di Mindgard, il leader nella sicurezza degli test di intelligenza artificiale. Fondato all’Università di Lancaster e supportato da ricerche all’avanguardia, Mindgard consente alle organizzazioni di proteggere i loro sistemi di intelligenza artificiale da nuove minacce che gli strumenti di sicurezza tradizionali non possono affrontare. In qualità di professore di informatica all’Università di Lancaster, Peter è un esperto internazionalmente riconosciuto nella sicurezza dell’intelligenza artificiale. Ha dedicato la sua carriera allo sviluppo di tecnologie avanzate per combattere le crescenti minacce che affronta l’intelligenza artificiale. Con oltre 11,6 milioni di euro in finanziamenti per la ricerca e più di 60 articoli scientifici pubblicati, i suoi contributi spaziano sia nell’innovazione scientifica che nelle soluzioni pratiche.

Può condividere la storia dietro la fondazione di Mindgard? Cosa l’ha ispirato a passare dall’accademia alla creazione di una startup di sicurezza informatica?

Mindgard è nata dal desiderio di trasformare le intuizioni accademiche in un impatto reale sul mondo. In quanto professore specializzato in sistemi informatici, sicurezza dell’intelligenza artificiale e apprendimento automatico, sono stato spinto a perseguire una scienza che generi un grande impatto sulla vita delle persone. Dal 2014, ho condotto ricerche sull’intelligenza artificiale e l’apprendimento automatico, riconoscendo il loro potenziale per trasformare la società – e i rischi immensi che pongono, dalle attacchi di stati nazionali all’interferenza elettorale. Gli strumenti esistenti non erano stati progettati per affrontare queste sfide, quindi ho guidato un team di scienziati e ingegneri per sviluppare approcci innovativi nella sicurezza dell’intelligenza artificiale. Mindgard è emersa come un’impresa basata sulla ricerca, focalizzata sulla costruzione di soluzioni tangibili per proteggere contro le minacce dell’intelligenza artificiale, combinando la ricerca all’avanguardia con l’impegno per l’applicazione industriale.

Quali sfide ha affrontato mentre creava una società spin-off dall’università e come le ha superate?

Abbiamo fondato ufficialmente Mindgard nel maggio 2022, e sebbene l’Università di Lancaster abbia offerto un grande sostegno, la creazione di una spin-off universitaria richiede più che semplici competenze di ricerca. Ciò significava raccogliere capitali, raffinare la proposta di valore e preparare la tecnologia per le dimostrazioni – tutto mentre bilanciavo il mio ruolo di professore. Gli accademici sono addestrati a essere ricercatori e a perseguire una scienza innovativa. Le spin-off hanno successo non solo grazie alla tecnologia innovativa, ma anche a come quella tecnologia affronta i bisogni commerciali immediati o futuri e fornisce un valore che attira e mantiene utenti e clienti.

Il prodotto principale di Mindgard è il risultato di anni di ricerca e sviluppo. Può parlare di come le prime fasi di ricerca si sono evolute in una soluzione commerciale?

Il viaggio dalla ricerca a una soluzione commerciale è stato un processo deliberato e iterativo. È iniziato oltre un decennio fa, con il mio team all’Università di Lancaster che esplorava le sfide fondamentali nella sicurezza dell’intelligenza artificiale e dell’apprendimento automatico. Abbiamo identificato vulnerabilità nei sistemi di intelligenza artificiale istanziati che gli strumenti di sicurezza tradizionali, sia il codice di scansione che i firewall, non erano in grado di affrontare.

Nel tempo, la nostra attenzione si è spostata dalla ricerca alla costruzione di prototipi e al loro test nelle scenari di produzione. Collaborando con partner industriali, abbiamo raffinato il nostro approccio, assicurandoci che affrontasse i bisogni pratici. Con molti prodotti di intelligenza artificiale lanciati senza adeguate prove di sicurezza o garanzie, lasciando le organizzazioni vulnerabili – un problema sottolineato da un ritrovamento di Gartner che il 29% delle imprese che distribuiscono sistemi di intelligenza artificiale hanno segnalato violazioni della sicurezza, e solo il 10% degli auditor interni ha visibilità sui rischi dell’intelligenza artificiale – ho sentito che il momento era giusto per commercializzare la soluzione.

Quali sono alcuni dei principali traguardi nel viaggio di Mindgard dal suo inizio nel 2022?

Nel settembre 2023, abbiamo ottenuto 3 milioni di sterline in finanziamenti, guidati da IQ Capital e Lakestar, per accelerare lo sviluppo della soluzione Mindgard. Siamo stati in grado di stabilire un grande team di leader che provengono da Snyk, Veracode e Twilio per spingere la nostra azienda al prossimo stadio del suo viaggio. Siamo orgogliosi del nostro riconoscimento come la Maggiormente Innovativa PMI di Sicurezza Informatica del Regno Unito all’Infosecurity Europe di quest’anno. Oggi, abbiamo 15 dipendenti full-time, 10 ricercatori di dottorato (e molti altri che stanno essere attivamente reclutati), e stiamo attivamente reclutando analisti e ingegneri di sicurezza per unirsi al team. Guardando avanti, pianifichiamo di espandere la nostra presenza negli Stati Uniti, con un nuovo round di finanziamenti da investitori di Boston che fornisce una solida base per tale crescita.

Man mano che le imprese adottano sempre più l’intelligenza artificiale, quali sono le minacce di sicurezza informatica più urgenti che affrontano oggi?

Molte organizzazioni sottovalutano i rischi di sicurezza legati all’intelligenza artificiale. È estremamente difficile per i non esperti capire come funziona effettivamente l’intelligenza artificiale, per non parlare delle implicazioni di sicurezza per il loro business. Trascorro una quantità considerevole di tempo a demistificare la sicurezza dell’intelligenza artificiale, anche con tecnologi esperti che sono esperti in sicurezza delle infrastrutture e protezione dei dati. Alla fine, l’intelligenza artificiale è essenzialmente software e dati in esecuzione su hardware. Ma introduce vulnerabilità uniche che differiscono dai sistemi tradizionali e le minacce derivanti dal comportamento dell’intelligenza artificiale sono molto più elevate e più difficili da testare rispetto ad altri software.

Ha scoperto vulnerabilità in sistemi come i filtri di contenuto dell’intelligenza artificiale di Microsoft (MSFT ). Come questi ritrovamenti influenzano lo sviluppo della sua piattaforma?

Le vulnerabilità che abbiamo scoperto nei filtri di contenuto dell’intelligenza artificiale di Microsoft erano meno relative alla formazione della nostra piattaforma e più relative a dimostrare le sue capacità.

I filtri di contenuto dell’intelligenza artificiale di Azure sono un servizio progettato per salvaguardare le applicazioni dell’intelligenza artificiale moderando il contenuto dannoso nel testo, nelle immagini e nei video. Le vulnerabilità che il nostro team ha scoperto hanno colpito il servizio di moderazione del testo dell’intelligenza artificiale (che blocca il contenuto dannoso come discorsi d’odio, materiale sessuale, ecc.) e lo scudo dei prompt (che impedisce le evasioni e le iniezioni di prompt). Se non controllate, questa vulnerabilità può essere sfruttata per lanciare attacchi più ampi, minare la fiducia nei sistemi basati sull’intelligenza artificiale generale e compromettere l’integrità dell’applicazione che si basa sull’intelligenza artificiale per la presa di decisioni e l’elaborazione delle informazioni.

Può spiegare l’importanza dei “jailbreak” e della “manipolazione dei prompt” nei sistemi di intelligenza artificiale e perché rappresentano una sfida unica?

Un jailbreak è un tipo di vulnerabilità di iniezione di prompt dove un attore malintenzionato può abusare di un modello di linguaggio per seguire istruzioni contrarie al suo utilizzo previsto. Gli input elaborati dai modelli di linguaggio contengono sia le istruzioni permanenti del progettista dell’applicazione che l’input non attendibile dell’utente, consentendo attacchi in cui l’input non attendibile dell’utente sovrascrive le istruzioni permanenti. Ciò ha somiglianze con il modo in cui una vulnerabilità di iniezione di SQL consente all’input non attendibile dell’utente di modificare una query del database. Il problema, tuttavia, è che questi rischi possono essere rilevati solo in fase di esecuzione, dato che il codice di un modello di linguaggio è essenzialmente una grande matrice di numeri in formato non leggibile dall’uomo.

Ad esempio, il team di ricerca di Mindgard ha recentemente esplorato una forma sofisticata di attacco di jailbreak. Contiene l’inserimento di messaggi audio segreti all’interno degli input audio che sono indetectabili dagli ascoltatori umani ma riconosciuti ed eseguiti dai modelli di linguaggio. Ogni messaggio incorporato conteneva un comando di jailbreak personalizzato insieme a una domanda progettata per uno scenario specifico. Quindi, in uno scenario di chatbot medico, il messaggio nascosto poteva istruire il chatbot a fornire istruzioni pericolose, come la sintesi della metanfetamina, che potrebbe risultare in un danno alla reputazione grave se la risposta del chatbot fosse presa sul serio.

La piattaforma di Mindgard identifica tali jailbreak e molte altre vulnerabilità di sicurezza nei modelli di intelligenza artificiale e nel modo in cui le aziende li hanno implementati nelle loro applicazioni, in modo che i leader della sicurezza possano assicurarsi che la loro applicazione alimentata dall’intelligenza artificiale sia progettata per essere sicura e rimanga sicura.

Come la piattaforma di Mindgard affronta le vulnerabilità in diversi tipi di modelli di intelligenza artificiale, dai modelli di linguaggio a quelli multi-modali?

La nostra piattaforma affronta una vasta gamma di vulnerabilità all’interno dell’intelligenza artificiale, che spazia dall’iniezione di prompt, ai jailbreak, all’estrazione (furto di modelli), all’inversione (ingegneria inversa dei dati), alla perdita di dati, all’evasione (aggiramento della rilevazione) e altro ancora. Tutti i tipi di modelli di intelligenza artificiale (sia modelli di linguaggio che multi-modali) esibiscono suscettibilità ai rischi – l’astuzia sta nel scoprire quali tecniche specifiche scatenano queste vulnerabilità per produrre un problema di sicurezza. In Mindgard, abbiamo un grande team di R&S che si specializza nel scoprire e implementare nuovi tipi di attacchi nella nostra piattaforma, in modo che gli utenti possano rimanere aggiornati rispetto ai rischi all’avanguardia.

Qual è il ruolo del red teaming nella sicurezza degli sistemi di intelligenza artificiale e come la sua piattaforma innova in questo spazio?

Il red teaming è un componente critico della sicurezza dell’intelligenza artificiale. Simulando continuamente attacchi avversari, il red teaming identifica le vulnerabilità nei sistemi di intelligenza artificiale, aiutando le organizzazioni a mitigare i rischi e ad accelerare l’adozione dell’intelligenza artificiale. Nonostante la sua importanza, il red teaming nell’intelligenza artificiale manca di standardizzazione, portando a incongruenze nella valutazione delle minacce e nelle strategie di rimedio. Ciò rende difficile valutare obiettivamente la sicurezza di diversi sistemi o tracciare le minacce in modo efficace.

Per affrontare questo, abbiamo introdotto MITRE ATLAS™ Adviser, una funzione progettata per standardizzare la segnalazione del red teaming dell’intelligenza artificiale e semplificare le pratiche di red teaming sistematiche. Ciò consente alle imprese di gestire meglio i rischi odierni e prepararsi per le minacce future man mano che le capacità dell’intelligenza artificiale evolvono. Con una libreria completa di attacchi avanzati sviluppati dal nostro team di R&S, Mindgard supporta il red teaming multi-modale dell’intelligenza artificiale, coprendo sia i modelli tradizionali che quelli di intelligenza artificiale generale. La nostra piattaforma affronta i rischi chiave per la privacy, l’integrità, l’abuso e la disponibilità, assicurando che le imprese siano attrezzate per proteggere efficacemente i loro sistemi di intelligenza artificiale.

Come vede il suo prodotto integrarsi nella pipeline MLOps per le imprese che distribuiscono l’intelligenza artificiale su larga scala?

Mindgard è progettata per integrarsi senza problemi nella CI/CD Automation e in tutte le fasi del ciclo di vita dello sviluppo del software, richiedendo solo un endpoint di inferenza o API per l’integrazione del modello. La nostra soluzione oggi esegue test di sicurezza dell’applicazione dinamici per i modelli di intelligenza artificiale (DAST-AI). Ciò consente ai nostri clienti di eseguire test di sicurezza continui su tutta la loro intelligenza artificiale in tutto il ciclo di vita di costruzione e acquisto. Per le imprese, viene utilizzato da più personaggi. I team di sicurezza lo utilizzano per ottenere visibilità e rispondere rapidamente ai rischi provenienti dagli sviluppatori che costruiscono e utilizzano l’intelligenza artificiale, per testare e valutare le soluzioni di guardrail e WAF, e per valutare i rischi tra modelli di intelligenza artificiale personalizzati e modelli di base. I tester di penetrazione e gli analisti di sicurezza utilizzano Mindgard per ampliare i loro sforzi di red teaming dell’intelligenza artificiale, mentre gli sviluppatori traggono beneficio dai test continui delle loro distribuzioni di intelligenza artificiale.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Mindgard.