Rony Ohayon, CEO e fondatore di DeepKeep – Serie di interviste

Rony Ohayon, CEO e fondatore di DeepKeep, è un imprenditore e tecnologo esperto con una carriera che abbraccia l’intelligenza artificiale, la sicurezza informatica, i sistemi autonomi e le tecnologie video su larga scala. Ha fondato e guidato diverse aziende in questi settori, tra cui ruoli importanti nella connettività dei veicoli autonomi, nella trasmissione di video in diretta e nell’ingegneria avanzata, oltre a precedenti lavori accademici in ingegneria informatica.

DeepKeep è una piattaforma di sicurezza per l’intelligenza artificiale progettata per aiutare le aziende a proteggere l’intelligenza artificiale, l’intelligenza artificiale generativa, i modelli linguistici, la visione artificiale e i sistemi multimodali in tutta la loro durata di vita. L’azienda si concentra sull’identificazione delle vulnerabilità, sul blocco delle minacce avversarie, sulla prevenzione di problemi come la perdita di dati e la manipolazione dei prompt, sul sostegno alla conformità normativa e sulla fornitura di monitoraggio continuo per garantire l’adozione di soluzioni di intelligenza artificiale affidabili, resilienti e protette.

Hai guidato importanti innovazioni nella trasmissione di video, nella connettività dei veicoli autonomi e nei sistemi di intelligenza artificiale. Cosa nella tua carriera ti ha convinto che la prossima grande sfida da affrontare era la sicurezza dell’intelligenza artificiale aziendale?

Sono sempre stato motivato a risolvere sfide ad alto impatto che ridisegnano interi settori. Nel corso degli anni, ho notato un modello ricorrente in cui la nuova tecnologia, in particolare l’intelligenza artificiale, spesso supera le misure di sicurezza, lasciando indietro vulnerabilità critiche.

L’adozione aziendale dell’intelligenza artificiale, in particolare con l’aumento dei modelli linguistici e dell’intelligenza artificiale agente, ha aperto un nuovo fronte di rischi, e le aziende spesso si sentono sopraffatte e impreparate a sfruttare questi sistemi in modo sicuro e fiducioso. La mia esperienza nei sistemi di intelligenza artificiale ha evidenziato quanto sia essenziale integrare la sicurezza nel cuore di queste tecnologie per garantire che non siano solo innovative, ma anche sicure e affidabili, producendo risultati attendibili per supportare le aziende in modo proattivo. Questa consapevolezza ha portato alla fondazione di DeepKeep, con un focus sulla sicurezza dei sistemi di intelligenza artificiale in modo che le aziende possano adottare l’intelligenza artificiale per aumentare la produttività e la crescita aziendale senza compromettere la sicurezza o la privacy.

Quando tu e il tuo co-fondatore avete lanciato DeepKeep nel 2021, quale specifica lacuna di sicurezza dell’intelligenza artificiale vi ha convinto che c’era un bisogno urgente per una piattaforma dedicata, e come quell’intuizione ha plasmato la direzione iniziale dell’azienda?

Dopo anni di lavoro con l’intelligenza artificiale nella visione artificiale, che richiedeva sforzi significativi per garantire che fosse affidabile e robusta, abbiamo realizzato che era giunto il momento di progettare una soluzione dedicata per garantire la fiducia e la sicurezza nella visione artificiale.

Nel 2021, prima dell’esplosione dei modelli linguistici, abbiamo lanciato DeepKeep per affrontare questi rischi nei modelli di visione artificiale.

Puoi farci tornare al primo prototipo—cosa faceva effettivamente, quanto era piccolo il team e come avete validato che eravate sulla strada giusta?

Quando abbiamo fondato DeepKeep, il focus era ancora sull’intelligenza artificiale tradizionale – visione artificiale, modelli tabulari e primi modelli di linguaggio naturale – ben prima dell’ascesa dei modelli linguistici. Il nostro primo prototipo era un sistema per testare la robustezza dei classificatori di visione artificiale contro attacchi avversari. Accanto a questo, abbiamo costruito una versione iniziale di un firewall di intelligenza artificiale che poteva rilevare e segnalare questi attacchi in tempo reale.

I primi casi d’uso provenivano dall’industria automobilistica, dalle assicurazioni e dai servizi finanziari, dove il malfunzionamento dei modelli comporta rischi operativi reali. Eravamo un team di circa otto persone al momento, il che ci ha permesso di iterare rapidamente e produrre un prototipo funzionale presto.

Abbiamo validato che eravamo sulla strada giusta parlando direttamente con potenziali clienti, che hanno costantemente evidenziato la robustezza avversaria come una preoccupazione emergente. Intorno allo stesso periodo, framework come ATLAS di MITRE – rilasciato per la prima volta nel 2021 – hanno iniziato ad apparire, il che era un importante segnale esterno che il campo della sicurezza dell’intelligenza artificiale e della modellazione delle minacce avversarie stava per crescere. L’allineamento tra il feedback dei clienti e la direzione del settore ci ha dato la fiducia che stavamo andando nella direzione giusta.

DeepKeep è stata progettata fin dall’inizio per proteggere i sistemi di intelligenza artificiale piuttosto che il software tradizionale. Come avete prioritizzato quali tipi di modelli e superfici di attacco da concentrarvi per primi?

Fin dall’inizio, sapevamo che proteggere l’intelligenza artificiale aziendale richiedeva un cambiamento di paradigma. Mentre molte organizzazioni sono abbastanza astute da sapere che devono eseguire test di penetrazione e valutazione per i modelli che utilizzano, abbiamo capito che quelle azioni sono solo l’inizio. I rischi reali emergono all’interno dell’intero ecosistema dell’applicazione, non solo all’interno dei modelli stessi.

Quindi, mentre proteggere i chatbot di intelligenza artificiale con test di penetrazione tradizionali era il punto di partenza dell’industria, ci siamo rapidamente spostati verso lo sviluppo di soluzioni che proteggano le applicazioni di intelligenza artificiale personalizzate e gli agenti di intelligenza artificiale, e si evolveranno per proteggere il passo successivo in cui gli agenti interagiscono tra loro e c’è una significativa intelligenza tra domini.

Abilitiamo la scansione dei modelli attraverso tutti i tipi di modelli, ma proteggiamo anche contro le minacce più urgenti come attacchi avversari, perdita di dati, abuso di sistema e erosione della fiducia eseguendo test di penetrazione sui modelli e applicando barriere di sicurezza che proteggono i prompt e le risposte di intelligenza artificiale.

In modo cruciale, proteggiamo anche il “livello semantico” dell’intelligenza artificiale comprendendo il contesto in cui i modelli operano. Ciò garantisce che i modelli non possano essere facilmente manipolati.

Quali sono stati i più grandi cambiamenti tecnici o strategici che avete fatto tra la fase di fondazione e la direzione attuale del prodotto di DeepKeep?

Una delle decisioni più importanti che abbiamo preso è stata quella di espandere la nostra attenzione oltre la sicurezza dei modelli tradizionali verso il regno della sicurezza delle applicazioni di intelligenza artificiale. Inizialmente, ci siamo concentrati sulla sicurezza dei singoli modelli, ma poiché il panorama dell’intelligenza artificiale è evoluto, abbiamo realizzato che proteggere interi ecosistemi di intelligenza artificiale, dove multiple modelli, agenti e casi d’uso si intersecano, era molto più critico. Ciò ci ha portato ad allargare il nostro approccio incorporando test di penetrazione, un firewall di intelligenza artificiale completo per proteggere ogni interazione che gli agenti, i dipendenti e le applicazioni hanno con l’intelligenza artificiale, e monitoraggio in tempo di esecuzione.

Un’altra decisione chiave è stata quella di offrire flessibilità completa di distribuzione, inclusi soluzioni cloud-agnostic, on-prem e air-gapped, consentendo alle aziende di distribuire DeepKeep in modo sicuro in qualsiasi ambiente. Abbiamo anche recentemente integrato una barriera di protezione delle informazioni personali di livello industriale avanzato nella nostra piattaforma, che ha fornito ai nostri clienti un livello ancora più profondo di protezione dei dati e garantisce che le aziende possano soddisfare i requisiti di conformità globale man mano che aumentano l’utilizzo dell’intelligenza artificiale.

DeepKeep pone un’enfasi pari sulla sicurezza e sull’affidabilità. A quale stadio questo duplice focus è diventato centrale per l’identità dell’azienda?

L’enfasi su entrambi la sicurezza e l’affidabilità è diventata chiara fin dall’inizio, specialmente mentre iniziavamo a formare una comprensione più profonda dei nostri clienti e delle loro esigenze.

Quando si tratta di modelli di intelligenza artificiale, la sicurezza e la fiducia vanno di pari passo e svolgono ruoli uguali perché, alla fine della giornata, entrambi possono portare a risultati dannosi e distruttivi. Un’applicazione non può essere robusta e allo stesso tempo poco affidabile, e viceversa.

Strumenti di sicurezza tradizionali non sono stati progettati per iniezioni di prompt, allucinazioni, perdita di dati o manipolazione dei modelli. Quale di queste minacce emergenti avete visto le aziende lottare di più, e come questi problemi reali hanno influenzato l’architettura di DeepKeep?

Tra le minacce emergenti, l’iniezione di prompt e la perdita di dati sono le preoccupazioni più pressanti che vediamo le aziende lottare. Man mano che le applicazioni e gli agenti di intelligenza artificiale si integrano maggiormente nei processi aziendali, i rischi di manipolazione dei prompt e di esposizione accidentale di dati sensibili sono più pronunciati. Questi problemi ci hanno portato a progettare DeepKeep con un focus sulla sicurezza contestuale, proteggendo non solo i modelli, ma l’intero flusso di dati e interazioni all’interno degli ecosistemi di intelligenza artificiale. La nostra infrastruttura è stata costruita per testare questi livelli nella fase di sviluppo e proteggere durante l’esecuzione, garantendo la sicurezza di ogni interazione di intelligenza artificiale.

La vostra piattaforma combina barriere di sicurezza, test di penetrazione e strati di protezione dei dati. Dal punto di vista tecnico, quale di questi si è rivelato più difficile da ingegnerizzare a livello aziendale, e cosa avete imparato costruendo un sistema che deve adattarsi ai modelli di intelligenza artificiale in rapida evoluzione?

Ogni livello – barriere di sicurezza, test di penetrazione e protezione dei dati – presenta le sue sfide di ingegneria, ma abbiamo trovato che le sfide che tutti questi livelli hanno in comune sono state effettivamente le più difficili.

La prima è il ritmo del cambiamento: nuovi rischi, violazioni e tecniche di attacco emergono costantemente, quindi qualsiasi cosa statica diventa obsoleta rapidamente. La seconda è l’adozione del contesto: nell’ambito aziendale, un approccio “una taglia per tutti” semplicemente non funziona perché ogni applicazione ha politiche, sensibilità dei dati e comportamenti degli utenti diversi.

Per affrontare la prima sfida, abbiamo costruito un’architettura completamente modulare con componenti simili a plugin, che ci permette di aggiungere nuovi attacchi al motore di test di penetrazione o nuove barriere di sicurezza al firewall in modo rapido e senza interrompere il sistema.

E per risolvere la seconda sfida, abbiamo progettato un sistema agente e consapevole del contesto. Analizza l’ambiente dell’applicazione e adatta automaticamente le misure di sicurezza pertinenti – il che è essenziale quando i modelli di intelligenza artificiale e i casi d’uso sottostanti evolvono così rapidamente.

Queste due capacità, la modularità e la consapevolezza del contesto, sono state chiave per operare a livello aziendale, mantenendosi al passo con i sistemi di intelligenza artificiale in rapida evoluzione.

La sicurezza dell’intelligenza artificiale è una disciplina in evoluzione. Quali lacune vedete all’interno delle aziende oggi—sia in termini di politiche, strumenti o comprensione dei rischi—che hanno plasmato più direttamente come avete progettato lo stack di sicurezza e l’onboarding dei clienti di DeepKeep?

Le lacune variano notevolmente a seconda dell’industria, delle dimensioni dell’azienda e della maturità dell’adozione dell’intelligenza artificiale.

Una delle lacune più grandi che vediamo nelle grandi aziende oggi è la mancanza di una soluzione unica che copra tutte le esigenze di sicurezza dell’intelligenza artificiale. Molte di queste aziende sono consapevoli del loro bisogno di soluzioni di sicurezza dell’intelligenza artificiale, ma man mano che l’adozione aumenta, aumenta anche la necessità di copertura di sicurezza aggiuntiva. Abbiamo imparato presto che c’è valore in una soluzione robusta e completa che include diverse capacità che operano in tandem e con integrazione senza soluzione di continuità. I clienti traggono beneficio da una soluzione in cui il tutto è più grande della somma delle sue parti.

Man mano che il mercato ha maturato, abbiamo identificato un’altra lacuna, ovvero che le organizzazioni stanno cercando strumenti di sicurezza più personalizzati e meno generici per proteggere i loro agenti e applicazioni. Una delle ragioni dietro il nostro approccio consapevole del contesto è stata quella di affrontare questa lacuna, con la comprensione che ogni applicazione e agente è diverso e necessita di essere protetto di conseguenza.

Se guardiamo avanti di cinque anni, come pensate che i rischi dell’intelligenza artificiale aziendale evolveranno—e dove credete che DeepKeep debba essere posizionata per stare al passo con quel futuro?

Mi aspetto che i più grandi rischi dell’intelligenza artificiale nei prossimi cinque anni evolveranno insieme agli avanzamenti nell’autonomia dell’intelligenza artificiale. Man mano che gli agenti diventano più autonomi, integrati in ogni operazione aziendale e in grado di eseguire compiti complessi, il potenziale per violazioni della sicurezza e abuso crescerà. Prevediamo lo sviluppo di un Internet degli Agenti (IoA), in cui gli agenti interagiscono tra loro, formando una rete ancora più complessa di interazioni di intelligenza artificiale da proteggere.

Per stare al passo, DeepKeep continuerà a evolvere la sua piattaforma per proteggere questi sistemi di intelligenza artificiale sempre più complessi, garantendo che forniamo protezione in tempo di esecuzione attraverso multipli modelli di intelligenza artificiale e supportiamo la crescente tendenza alla presa di decisioni basata sull’intelligenza artificiale. Il nostro obiettivo è essere il partner affidabile che le aziende possono contare su per proteggere l’intero ecosistema di intelligenza artificiale, indipendentemente da quanto sofisticato diventi.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare DeepKeep.