Rony Ohayon, PDG et fondateur de DeepKeep – Série d’entretiens

Rony Ohayon, PDG et fondateur de DeepKeep, est un entrepreneur chevronné et technologue avec une carrière couvrant l’IA, la cybersécurité, les systèmes autonomes et les technologies vidéo à grande échelle. Il a fondé et dirigé plusieurs entreprises dans ces domaines, notamment des rôles clés dans la connectivité des véhicules autonomes, la transmission de vidéos en direct et l’ingénierie avancée, ainsi que des travaux universitaires antérieurs en ingénierie informatique.

DeepKeep est une plateforme de sécurité IA conçue pour aider les entreprises à protéger l’IA, l’IA générative, les LLM, la vision par ordinateur et les systèmes multimodaux tout au long de leur cycle de vie. L’entreprise se concentre sur l’identification des vulnérabilités, le blocage des menaces adverses, la prévention de problèmes tels que les fuites de données et la manipulation des invites, le soutien à la conformité réglementaire et la fourniture d’une surveillance continue pour garantir des déploiements d’IA fiables, résilients et protégés.

Vous avez mené des innovations majeures dans la transmission de vidéos, la connectivité des véhicules autonomes et les systèmes d’IA. Qu’est-ce qui, dans votre carrière, vous a convaincu que le prochain défi majeur à relever était la sécurisation de l’IA d’entreprise ?

J’ai toujours été motivé pour relever des défis à forte incidence qui redessinent les industries. Au fil des ans, j’ai remarqué un schéma récurrent selon lequel les nouvelles technologies, en particulier l’IA, dépassent souvent les mesures de sécurité, laissant derrière elles des vulnérabilités critiques.

L’adoption de l’IA par les entreprises, en particulier avec l’émergence des grands modèles de langage (LLM) et de l’IA agente, a ouvert un nouveau champ de risques, et les entreprises se sentent souvent submergées et non préparées à exploiter ces systèmes de manière sûre et confiante. Mon expérience dans les systèmes d’IA a mis en évidence l’importance de l’intégration de la sécurité au cœur de ces technologies pour garantir qu’elles ne soient pas seulement innovantes, mais également sécurisées et fiables, produisant des résultats fiables pour soutenir les entreprises de manière proactive. Cette prise de conscience a conduit à la création de DeepKeep, avec un focus sur la sécurisation des systèmes d’IA afin que les entreprises puissent adopter l’IA avec confiance pour améliorer la productivité et la croissance commerciale, sans compromettre la sécurité ou la confidentialité.

Quand vous et votre co-fondateur avez lancé DeepKeep en 2021, quel point aveugle spécifique de sécurité IA vous a convaincu qu’il y avait un besoin urgent d’une plateforme dédiée, et comment cette idée a façonné la direction initiale de l’entreprise ?

Après des années de travail avec l’IA dans la vision par ordinateur, qui nécessitait des efforts importants pour garantir sa fiabilité et sa robustesse, nous avons réalisé qu’il était temps de concevoir une solution dédiée pour assurer la confiance et la sécurité dans la vision par ordinateur.

En 2021, avant l’explosion des LLM, nous avons lancé DeepKeep pour attaquer ces risques dans les modèles de vision par ordinateur.

Pouvez-vous nous ramener au premier prototype—ce qu’il faisait réellement, à quelle taille était l’équipe, et comment vous avez validé que vous étiez sur la bonne voie ?

Lorsque nous avons fondé DeepKeep, l’accent était encore mis sur l’IA traditionnelle – la vision par ordinateur, les modèles tabulaires et le NLP précoce – bien avant l’émergence des grands modèles de langage. Notre premier prototype était un système de red-teaming pour les classificateurs de vision par ordinateur pour tester leur robustesse contre les attaques adverses. En parallèle, nous avons construit une version précoce d’un pare-feu IA qui pouvait détecter et signaler ces attaques en temps réel.

Les premiers cas d’utilisation provenaient de l’industrie automobile, des services d’assurance et des services financiers, où le mauvais comportement des modèles présente des risques opérationnels réels. Nous étions une petite équipe d’environ huit personnes à l’époque, ce qui nous a permis d’itérer rapidement et de produire un prototype fonctionnel tôt.

Nous avons validé que nous étions sur la bonne voie en parlant directement avec les clients potentiels, qui ont systématiquement mis en évidence la robustesse adversaire comme une préoccupation émergente. Vers la même époque, des cadres comme ATLAS de MITRE – publié pour la première fois en 2021 – ont commencé à apparaître, ce qui était un signal externe important que le domaine de la sécurité IA et de la modélisation des menaces adverses allait croître. L’alignement entre les commentaires des clients et la direction de l’industrie nous a donné confiance que nous allions dans la bonne direction.

DeepKeep a été conçu dès le départ pour sécuriser les systèmes d’IA plutôt que les logiciels traditionnels. Comment avez-vous priorisé quels types de modèles et quelles surfaces d’attaque vous concentreriez en premier ?

Dès le départ, nous savions que la sécurisation de l’IA d’entreprise nécessitait un changement de paradigme. Alors que de nombreuses organisations sont suffisamment avisées pour savoir qu’elles doivent effectuer des tests de pénétration et d’évaluation pour les modèles qu’elles utilisent, nous avons compris que ces actions ne sont que le début. Les vrais risques émergent dans l’écosystème d’application complet, et non seulement dans les modèles eux-mêmes.

Alors que la sécurisation des chatbots IA autonomes avec le red-teaming traditionnel était le point de départ de l’industrie, nous sommes rapidement passés à la mise au point de solutions qui sécurisent les applications d’IA personnalisées et les agents d’IA, et qui évolueront pour sécuriser l’étape suivante dans laquelle les agents interagissent les uns avec les autres et où il y a une intelligence interdomaine significative.

Nous permettons la analyse de modèle sur tous les types de modèles, mais nous protégeons également contre les menaces les plus urgentes telles que les attaques adverses, les fuites de données, les abus de système et l’érosion de la confiance en effectuant un red-teaming des modèles et en appliquant des garde-fous qui sécurisent les invites et les réponses d’IA.

De manière cruciale, nous sécurisons également la « couche sémantique » de l’IA en comprenant le contexte dans lequel les modèles opèrent. Cela garantit que les modèles ne peuvent pas être manipulés facilement.

Quels ont été les plus grands changements techniques ou stratégiques que vous avez effectués entre la phase de fondation et la direction actuelle du produit de DeepKeep ?

L’une des décisions les plus importantes que nous avons prises a été d’élargir notre approche au-delà de la sécurité des modèles traditionnels pour entrer dans le domaine de la sécurité des applications d’IA. Initialement, nous nous sommes concentrés sur la sécurisation des modèles individuels, mais à mesure que le paysage de l’IA évoluait, nous avons réalisé que la sécurisation des écosystèmes d’IA complets, où de multiples modèles, agents et cas d’utilisation se croisent, était bien plus critique. Cela nous a conduit à élargir notre approche en intégrant le red-teaming, un pare-feu d’IA complet pour protéger chaque interaction que les agents, les employés et les applications ont avec l’IA, et une surveillance en temps de fonctionnement.

Une autre décision clé a été d’offrir une flexibilité de déploiement complète, y compris des solutions cloud-agnostiques, sur site et des solutions aérées, permettant aux entreprises de déployer DeepKeep de manière sécurisée dans n’importe quel environnement. Nous avons également récemment intégré une protection renforcée des informations personnelles dans notre plateforme, ce qui a fourni à nos clients un niveau encore plus élevé de protection des données et garantit que les entreprises peuvent répondre aux exigences de conformité mondiales à mesure qu’elles élargissent leur utilisation de l’IA.

DeepKeep met l’accent sur la sécurité et la fiabilité. À quel stade cette double focalisation est-elle devenue essentielle à l’identité de l’entreprise ?

La focalisation sur la sécurité et la fiabilité est devenue claire dès le début, en particulier à mesure que nous commencions à mieux comprendre nos clients et leurs besoins.

Lorsque l’on traite de modèles d’IA, la sécurité et la confiance vont de pair et jouent des rôles égaux, car à la fin de la journée, les deux peuvent conduire à des résultats préjudiciables et destructeurs. Une application ne peut pas être robuste et en même temps peu fiable, et vice versa.

Les outils de cybersécurité traditionnels n’ont pas été conçus pour les injections de invites, les hallucinations, les fuites de données ou la manipulation de modèles. Quel est le vecteur de menace émergent que vous voyez les entreprises lutter le plus, et comment ces problèmes du monde réel ont-ils influencé l’architecture de DeepKeep ?

Parmi les menaces émergentes, les injections d’invites et les fuites de données sont les préoccupations les plus pressantes que nous voyons les entreprises lutter. À mesure que les applications et les agents d’IA sont de plus en plus intégrés dans les processus commerciaux, les risques de manipulation d’invites et d’exposition accidentelle de données sensibles sont plus prononcés. Ces problèmes nous ont conduit à concevoir DeepKeep avec un focus sur la sécurité contextuelle, protégeant non seulement les modèles mais l’ensemble du flux de données et des interactions au sein des écosystèmes d’IA. Notre infrastructure a été conçue pour tester ces couches lors de la phase de développement et les protéger pendant la phase de fonctionnement en sécurisant chaque interaction d’IA.

Votre plateforme combine des garde-fous, du red-teaming et des couches de protection des données. Du point de vue technique, lequel de ces éléments s’est avéré le plus difficile à mettre en œuvre à l’échelle de l’entreprise, et qu’avez-vous appris en construisant un système qui doit s’adapter aux modèles d’IA en constante évolution ?

Chaque couche – garde-fous, red-teaming et protection des données – présente ses propres défis techniques, mais nous avons constaté que les défis que toutes ces couches partagent étaient en réalité les plus difficiles.

Le premier est le rythme du changement : de nouveaux risques, des jailbreaks et des techniques d’attaque émergent constamment, de sorte que tout ce qui est statique devient rapidement obsolète. Le deuxième est l’adoption du contexte : dans l’entreprise, une approche unique ne fonctionne simplement pas, car chaque application a des politiques, des sensibilités de données et des comportements d’utilisateur différents.

Pour relever le premier défi, nous avons construit une architecture entièrement modulaire avec des composants de type plugin, nous permettant d’ajouter de nouvelles attaques au moteur de red-teaming ou de nouveaux garde-fous au pare-feu rapidement et sans perturber le système.

Et pour résoudre le deuxième défi, nous avons conçu un système agissant et sensible au contexte. Il analyse l’environnement de l’application et adapte automatiquement les mesures de sécurité pertinentes – ce qui est essentiel lorsque les modèles d’IA sous-jacents et les cas d’utilisation évoluent si rapidement.

Ces deux capacités, la modularité et la conscience du contexte, ont été clés pour fonctionner à l’échelle de l’entreprise tout en suivant les systèmes d’IA en constante évolution.

La sécurité de l’IA est une discipline en évolution. Quels sont les écarts que vous voyez à l’intérieur des entreprises aujourd’hui – qu’il s’agisse de politique, d’outillage ou de compréhension des risques – qui ont le plus directement façonné la manière dont vous avez conçu la pile de sécurité de DeepKeep et l’intégration client ?

Les écarts varient considérablement en fonction de l’industrie, de la taille de l’entreprise et de la maturité de l’adoption de l’IA.

L’un des plus grands écarts que nous voyons dans les grandes entreprises aujourd’hui est le manque d’une solution unique couvrant tous les besoins de sécurité de l’IA. De nombreuses entreprises sont conscientes de leur besoin de solutions de sécurité de l’IA, mais à mesure que l’adoption augmente, la nécessité d’une couverture de sécurité supplémentaire augmente également. Nous avons appris tôt que il y a de la valeur dans une solution robuste et complète qui inclut différentes capacités fonctionnant de manière concertée et avec une intégration transparente. Les clients bénéficient d’une solution où l’ensemble est plus grand que la somme de ses parties.

À mesure que le marché a mûri, nous avons identifié un autre écart, qui est que les organisations recherchent des outils de sécurité plus personnalisés et moins génériques pour protéger leurs agents et applications. L’une des raisons derrière notre approche sensible au contexte était de combler cet écart, avec la compréhension que chaque application et chaque agent est différent et nécessite une protection adaptée.

Si l’on regarde cinq ans à l’avance, comment pensez-vous que les risques de l’IA d’entreprise évolueront – et où pensez-vous que DeepKeep doit être positionné pour rester en tête de cet avenir ?

Je pense que les plus grands risques pour l’IA dans les cinq prochaines années évolueront aux côtés des progrès de l’autonomie de l’IA. À mesure que les agents deviennent plus autonomes, intégrés dans toutes les opérations commerciales et capables d’effectuer des tâches complexes, le potentiel de failles de sécurité et d’abus augmentera. Nous prévoyons le développement d’un Internet des agents (IoA), dans lequel les agents interagissent les uns avec les autres, formant un réseau encore plus complexe d’interactions d’IA à sécuriser.

Pour rester en tête, DeepKeep continuera d’évoluer sa plateforme pour sécuriser ces systèmes d’IA de plus en plus complexes, en garantissant que nous fournissons une protection en temps de fonctionnement sur plusieurs modèles d’IA et en soutenant la tendance croissante de la prise de décision alimentée par l’IA. Notre objectif est d’être le partenaire de confiance sur lequel les entreprises s’appuient pour sécuriser leur écosystème d’IA complet, quelle que soit sa sophistication.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter DeepKeep.