Interviste
Rony Ohayon, CEO e fondatore di DeepKeep – Serie di interviste
Rony Ohayon, CEO e fondatore di DeepKeep, è un imprenditore e tecnologo esperto con una carriera che copre l’intelligenza artificiale, la sicurezza informatica, i sistemi autonomi e le tecnologie video su larga scala. Ha fondato e guidato diverse aziende in questi settori, tra cui ruoli importanti nella connettività dei veicoli autonomi, nella trasmissione video in diretta e nell’ingegneria avanzata, oltre a precedenti lavori accademici in ingegneria informatica.
DeepKeep è una piattaforma di sicurezza basata sull’intelligenza artificiale progettata per aiutare le aziende a proteggere l’intelligenza artificiale, l’intelligenza artificiale generativa, i modelli linguistici, la visione artificiale e i sistemi multimodali in tutta la loro durata di vita. L’azienda si concentra sull’identificazione delle vulnerabilità, sulla bloccatura delle minacce avversarie, sulla prevenzione di problemi come la perdita di dati e la manipolazione delle promozioni, sul sostegno alla conformità normativa e sulla fornitura di un monitoraggio continuo per garantire la sicurezza, la resilienza e la protezione dei sistemi di intelligenza artificiale.
Ha guidato importanti innovazioni nella trasmissione video, nella connettività dei veicoli autonomi e nei sistemi di intelligenza artificiale. Cosa nella sua carriera l’ha convinto che la prossima grande sfida da risolvere fosse la sicurezza dell’intelligenza artificiale aziendale?
Sono sempre stato motivato a risolvere sfide ad alto impatto che ridisegnano intere industrie. Nel corso degli anni, ho notato un modello ricorrente in cui le nuove tecnologie, in particolare l’intelligenza artificiale, spesso superano le misure di sicurezza, lasciando indietro vulnerabilità critiche.
L’adozione aziendale dell’intelligenza artificiale, in particolare con l’aumento dei modelli linguistici e dell’intelligenza artificiale agente, ha aperto un nuovo fronte di rischi, e le aziende spesso si sentono sopraffatte e impreparate a utilizzare questi sistemi in modo sicuro e con fiducia. La mia esperienza nei sistemi di intelligenza artificiale ha evidenziato quanto sia essenziale integrare la sicurezza nel cuore di queste tecnologie per garantire che non siano solo innovative, ma anche sicure e affidabili, producendo risultati attendibili per supportare le aziende in modo proattivo. Questa consapevolezza ha portato alla fondazione di DeepKeep, con un focus sulla sicurezza dei sistemi di intelligenza artificiale in modo che le aziende possano adottare con fiducia l’intelligenza artificiale per aumentare la produttività e la crescita aziendale senza compromettere la sicurezza o la privacy.
Quando lei e il suo co-fondatore hanno lanciato DeepKeep nel 2021, quale specifica cecità nella sicurezza dell’intelligenza artificiale li ha convinti che ci fosse un bisogno urgente di una piattaforma dedicata, e come quell’intuizione ha plasmato la direzione iniziale dell’azienda?
Dopo anni di lavoro con l’intelligenza artificiale nella visione artificiale, che richiedeva sforzi significativi per garantire che fosse affidabile e robusta, abbiamo capito che era giunto il momento di progettare una soluzione dedicata per garantire la fiducia e la sicurezza nella visione artificiale.
Nel 2021, prima dell’esplosione dei modelli linguistici, abbiamo lanciato DeepKeep per affrontare questi rischi nei modelli di visione artificiale.
Ci può portare indietro al primo prototipo—cosa faceva esattamente, quanto era piccolo il team e come ha validato che eravate sulla strada giusta?
Quando abbiamo fondato DeepKeep, il focus era ancora sull’intelligenza artificiale tradizionale – visione artificiale, modelli tabulari e primi modelli di linguaggio naturale – ben prima dell’ascesa dei modelli linguistici. Il nostro primo prototipo era un sistema per testare la robustezza dei classificatori di visione artificiale contro attacchi avversari. Accanto a questo, abbiamo costruito una versione iniziale di un firewall di intelligenza artificiale che poteva rilevare e segnalare questi attacchi in tempo reale.
I primi casi d’uso provenivano dall’industria automobilistica, assicurativa e finanziaria, dove il malfunzionamento del modello comporta rischi operativi reali. Eravamo un team di circa otto persone all’epoca, il che ci ha permesso di iterare rapidamente e produrre un prototipo funzionale presto.
Abbiamo validato che eravamo sulla strada giusta parlando direttamente con potenziali clienti, che hanno sottolineato costantemente la robustezza avversaria come una preoccupazione emergente. Intorno allo stesso periodo, framework come MITRE’s ATLAS – pubblicato per la prima volta nel 2021 – hanno iniziato a emergere, il che era un importante segnale esterno che il campo della sicurezza dell’intelligenza artificiale e della modellazione delle minacce avversarie stava per crescere. L’allineamento tra il feedback dei clienti e la direzione del settore ci ha dato la fiducia che stavamo andando nella direzione giusta.
DeepKeep è stata progettata fin dall’inizio per proteggere i sistemi di intelligenza artificiale piuttosto che il software tradizionale. Come ha priorizzato quali tipi di modelli e superfici di attacco su cui concentrarsi per primi?
Fin dall’inizio, sapevamo che proteggere l’intelligenza artificiale aziendale richiedeva un cambiamento di paradigma. Mentre molte organizzazioni sono abbastanza astute da sapere che devono eseguire test di penetrazione e valutazione per i modelli che utilizzano, abbiamo capito che quelle azioni sono solo l’inizio. I veri rischi emergono all’interno dell’intero ecosistema dell’applicazione, non solo all’interno dei modelli stessi.
Quindi, mentre proteggere i chatbot di intelligenza artificiale con test di penetrazione tradizionali era il punto di partenza dell’industria, ci siamo rapidamente spostati verso lo sviluppo di soluzioni che proteggono le applicazioni di intelligenza artificiale personalizzate e gli agenti di intelligenza artificiale, e che evolveranno per proteggere il prossimo passo in cui gli agenti interagiscono tra loro e c’è una significativa intelligenza cross-domain.
Abilitiamo la scansione dei modelli su tutti i tipi di modelli, ma proteggiamo anche contro le minacce più urgenti come attacchi avversari, perdita di dati, abuso del sistema e erosione della fiducia eseguendo test di penetrazione sui modelli e applicando guardrail che proteggono i prompt e le risposte di intelligenza artificiale.
In modo cruciale, proteggiamo anche il “livello semantico” dell’intelligenza artificiale comprendendo il contesto in cui i modelli operano. Ciò garantisce che i modelli non possano essere facilmente manipolati.
Quali sono stati i più grandi cambiamenti tecnici o strategici che ha apportato tra la fase di fondazione e l’attuale direzione del prodotto di DeepKeep?
Una delle decisioni più importanti che abbiamo preso è stata di espandere la nostra attenzione oltre la sicurezza dei modelli tradizionali e verso il regno della sicurezza delle applicazioni di intelligenza artificiale. Inizialmente, ci siamo concentrati sulla protezione di singoli modelli, ma man mano che il paesaggio dell’intelligenza artificiale è evoluto, abbiamo capito che proteggere interi ecosistemi di intelligenza artificiale, dove molteplici modelli, agenti e casi d’uso si intersecano, era molto più critico. Ciò ci ha portato ad allargare il nostro approccio incorporando test di penetrazione, un firewall di intelligenza artificiale completo per proteggere ogni interazione che gli agenti, i dipendenti e le applicazioni hanno con l’intelligenza artificiale, e un monitoraggio in tempo di esecuzione.
Un’altra decisione chiave è stata quella di offrire una piena flessibilità di distribuzione, comprese soluzioni cloud-agnostic, on-prem e air-gapped, consentendo alle aziende di distribuire DeepKeep in modo sicuro in qualsiasi ambiente. Abbiamo anche recentemente integrato un guardrail di protezione dei dati personali di livello industriale nel nostro piattaforma, che ha fornito ai nostri clienti un livello ancora più profondo di protezione dei dati e garantisce che le aziende possano soddisfare i requisiti di conformità globale man mano che aumentano l’utilizzo dell’intelligenza artificiale.
DeepKeep pone un’enfasi pari sulla sicurezza e sull’affidabilità. A quale stadio questo doppio focus è diventato centrale nell’identità dell’azienda?
L’enfasi sulla sicurezza e sull’affidabilità è diventata chiara fin dall’inizio, specialmente mentre iniziavamo a formare una comprensione più profonda dei nostri clienti e delle loro esigenze.
Quando si tratta di modelli di intelligenza artificiale, la sicurezza e l’affidabilità vanno di pari passo e giocano ruoli uguali perché, alla fine della giornata, entrambi possono portare a risultati dannosi e distruttivi. Un’applicazione non può essere robusta e insieme non affidabile, e viceversa.
Le tradizionali attrezzature di sicurezza informatica non sono state progettate per iniezioni di prompt, allucinazioni, perdita di dati o manipolazione dei modelli. Quale di queste nuove minacce ha visto le aziende lottare di più, e come queste questioni reali hanno influenzato l’architettura di DeepKeep?
Tra le minacce emergenti, le iniezioni di prompt e la perdita di dati sono le preoccupazioni più pressanti che vediamo le aziende lottare. Man mano che le applicazioni e gli agenti di intelligenza artificiale diventano più integrati nei processi aziendali, i rischi di manipolazione dei prompt e dell’esposizione accidentale di dati sensibili sono più pronunciati. Queste questioni ci hanno portato a progettare DeepKeep con un focus sulla sicurezza contestuale, proteggendo non solo i modelli ma l’intero flusso di dati e interazioni all’interno degli ecosistemi di intelligenza artificiale. La nostra infrastruttura è stata costruita per testare questi livelli nella fase di sviluppo e proteggere durante l’esecuzione, proteggendo ogni interazione di intelligenza artificiale.
La sua piattaforma combina guardrail, test di penetrazione e strati di protezione dei dati. Dal punto di vista tecnico, quale di questi si è rivelato più difficile da progettare a livello aziendale, e cosa ha imparato mentre costruiva un sistema che deve adattarsi ai modelli di intelligenza artificiale in rapida evoluzione?
Ogni livello – guardrail, test di penetrazione e protezione dei dati – presenta le sue sfide tecniche, ma abbiamo trovato che le sfide che tutti questi livelli hanno in comune sono state effettivamente le più difficili.
La prima è il ritmo del cambiamento: nuovi rischi, violazioni e tecniche di attacco emergono costantemente, quindi qualsiasi cosa statica diventa rapidamente obsoleta. La seconda è l’adozione del contesto: nell’impresa, un approccio “una taglia per tutti” semplicemente non funziona perché ogni applicazione ha politiche, sensibilità dei dati e comportamenti degli utenti diversi.
Per affrontare la prima sfida, abbiamo costruito un’architettura completamente modulare con componenti a stile plug-in, che ci consente di aggiungere nuovi attacchi al motore di test di penetrazione o nuovi guardrail al firewall in modo rapido e senza interrompere il sistema.
E per risolvere la seconda sfida, abbiamo progettato un sistema agente e consapevole del contesto. Analizza l’ambiente dell’applicazione e adatta automaticamente le misure di sicurezza pertinenti – il che è essenziale quando i modelli di intelligenza artificiale e i casi d’uso evolvono così rapidamente.
Queste due capacità, la modularità e la consapevolezza del contesto, sono state chiave per operare a livello aziendale, mantenendosi al passo con i sistemi di intelligenza artificiale in rapida evoluzione.
La sicurezza dell’intelligenza artificiale è una disciplina in evoluzione. Quali lacune vede all’interno delle aziende oggi – sia in termini di politiche, strumenti o comprensione dei rischi – che hanno plasmato più direttamente come ha progettato lo stack di sicurezza di DeepKeep e l’onboarding dei clienti?
Le lacune variano notevolmente a seconda dell’industria, della dimensione dell’azienda e della maturità dell’adozione dell’intelligenza artificiale.
Una delle lacune più grandi che vediamo nelle grandi aziende oggi è la mancanza di una soluzione unica che copra tutte le esigenze di sicurezza dell’intelligenza artificiale. Molte di queste aziende sono consapevoli del loro bisogno di soluzioni di sicurezza dell’intelligenza artificiale, ma man mano che l’adozione aumenta, aumenta anche il requisito per una copertura di sicurezza aggiuntiva. Abbiamo imparato presto che c’è valore in una soluzione robusta e end-to-end che include diverse capacità operative in tandem e con una integrazione senza soluzione di continuità. I clienti traggono beneficio da una soluzione in cui il tutto è più grande della somma delle sue parti.
Man mano che il mercato ha maturato, abbiamo identificato un’altra lacuna, che è che le organizzazioni stanno cercando strumenti di sicurezza più personalizzati e meno generici per proteggere i loro agenti e applicazioni. Una delle ragioni dietro il nostro approccio consapevole del contesto è stata quella di affrontare questa lacuna, con la comprensione che ogni applicazione e agente è diverso e necessita di essere protetto di conseguenza.
Se guardiamo avanti di cinque anni, come si aspetta che i rischi dell’intelligenza artificiale aziendale evolveranno – e dove crede che DeepKeep debba essere posizionata per rimanere avanti rispetto a quel futuro?
Mi aspetto che i più grandi rischi dell’intelligenza artificiale nei prossimi cinque anni evolveranno insieme agli avanzamenti nell’autonomia dell’intelligenza artificiale. Man mano che gli agenti diventano più autonomi, integrati in ogni operazione aziendale e in grado di eseguire compiti complessi, il potenziale per violazioni della sicurezza e abuso crescerà. Prevediamo lo sviluppo di un Internet degli Agenti (IoA), in cui gli agenti interagiscono tra loro, formando una rete ancora più complessa di interazioni di intelligenza artificiale da proteggere.
Per rimanere avanti, DeepKeep continuerà a evolvere la sua piattaforma per proteggere questi sistemi di intelligenza artificiale sempre più complessi, garantendo che forniamo una protezione in tempo di esecuzione su多pli modelli di intelligenza artificiale e supportiamo la crescente tendenza della presa di decisioni basata sull’intelligenza artificiale. Il nostro obiettivo è essere il partner di fiducia che le aziende possono contare su per proteggere l’intero ecosistema di intelligenza artificiale, indipendentemente da quanto sofisticato diventi.
Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare DeepKeep.
