Dr. Peter Garraghan, PDG, CTO et co-fondateur de Mindgard – Série d’entretiens

Dr. Peter Garraghan est PDG, CTO et co-fondateur de Mindgard, le leader en matière de tests de sécurité pour l’intelligence artificielle. Fondé à l’Université de Lancaster et soutenu par des recherches de pointe, Mindgard permet aux organisations de sécuriser leurs systèmes d’intelligence artificielle contre de nouvelles menaces que les outils de sécurité traditionnels ne peuvent pas résoudre. En tant que professeur de sciences informatiques à l’Université de Lancaster, Peter est un expert internationalement reconnu en matière de sécurité de l’intelligence artificielle. Il a consacré sa carrière au développement de technologies avancées pour lutter contre les menaces croissantes qui pèsent sur l’intelligence artificielle. Avec plus de 11,6 millions d’euros de financement pour la recherche et plus de 60 articles scientifiques publiés, ses contributions s’étendent à la fois à l’innovation scientifique et aux solutions pratiques.

Pouvez-vous partager l’histoire derrière la fondation de Mindgard ? Qu’est-ce qui vous a inspiré pour passer de l’université à la création d’une startup de cybersécurité ?

Mindgard est né d’un désir de transformer les connaissances académiques en un impact réel sur le monde. En tant que professeur spécialisé dans les systèmes informatiques, la sécurité de l’intelligence artificielle et l’apprentissage automatique, j’ai été motivé pour poursuivre une science qui génère un impact à grande échelle sur la vie des gens. Depuis 2014, j’ai mené des recherches sur l’intelligence artificielle et l’apprentissage automatique, en reconnaissant leur potentiel pour transformer la société – et les risques immenses qu’ils posent, des attaques d’États-nations à l’ingérence électorale. Les outils existants n’avaient pas été conçus pour relever ces défis, j’ai donc dirigé une équipe de scientifiques et d’ingénieurs pour développer des approches innovantes en matière de sécurité de l’intelligence artificielle. Mindgard est apparu comme une entreprise axée sur la recherche, visant à construire des solutions tangibles pour protéger contre les menaces liées à l’intelligence artificielle, en combinant la recherche de pointe avec un engagement envers l’application industrielle.

Quels défis avez-vous rencontrés en créant une entreprise à partir d’une université, et comment les avez-vous surmontés ?

Nous avons officiellement fondé Mindgard en mai 2022, et même si l’Université de Lancaster a fourni un excellent soutien, la création d’une entreprise à partir d’une université nécessite plus que des compétences en recherche. Cela signifiait lever des fonds, affiner la proposition de valeur, et préparer la technologie pour les démonstrations – tout en équilibrant mon rôle de professeur. Les universitaires sont formés pour être des chercheurs et pour poursuivre une science nouvelle. Les entreprises dérivées réussissent non seulement grâce à la technologie innovante, mais aussi en fonction de la manière dont cette technologie répond aux besoins commerciaux immédiats ou futurs et fournit une valeur qui attire et retient les utilisateurs et les clients.

Le produit principal de Mindgard est le résultat de années de recherche et de développement. Pouvez-vous parler de la manière dont les premières étapes de la recherche ont évolué vers une solution commerciale ?

Le passage de la recherche à une solution commerciale a été un processus délibéré et itératif. Il a commencé il y a plus d’une décennie, avec mon équipe à l’Université de Lancaster explorant les défis fondamentaux de la sécurité de l’intelligence artificielle et de l’apprentissage automatique. Nous avons identifié des vulnérabilités dans les systèmes d’intelligence artificielle qui les outils de sécurité traditionnels, qu’il s’agisse de scans de code ou de pare-feu, n’étaient pas équipés pour résoudre.

Au fil du temps, notre attention s’est déplacée de l’exploration de la recherche à la construction de prototypes et à leur test dans des scénarios de production. En collaborant avec des partenaires de l’industrie, nous avons affiné notre approche, en veillant à ce qu’elle réponde aux besoins pratiques. Avec de nombreux produits d’intelligence artificielle lancés sans tests de sécurité ou garanties adéquats, laissant les organisations vulnérables – un problème souligné par une constatation de Gartner selon laquelle 29 % des entreprises qui déployaient des systèmes d’intelligence artificielle avaient signalé des violations de sécurité, et que seulement 10 % des auditeurs internes avaient une visibilité sur les risques liés à l’intelligence artificielle – j’ai estimé que le moment était venu de commercialiser la solution.

Quels sont les principaux jalons du parcours de Mindgard depuis sa création en 2022 ?

En septembre 2023, nous avons obtenu 3 millions de livres sterling de financement, mené par IQ Capital et Lakestar, pour accélérer le développement de la solution Mindgard. Nous avons pu établir une excellente équipe de dirigeants qui proviennent de Snyk, Veracode et Twilio pour pousser notre entreprise à la prochaine étape de son parcours. Nous sommes fiers de notre reconnaissance en tant que PMI de cybersécurité la plus innovante du Royaume-Uni à Infosecurity Europe cette année. Aujourd’hui, nous avons 15 employés à plein temps, 10 chercheurs en doctorat (et d’autres qui sont actuellement recrutés), et nous recrutons activement des analystes et des ingénieurs de sécurité pour rejoindre l’équipe. En regardant vers l’avenir, nous prévoyons d’étendre notre présence aux États-Unis, avec un nouveau cycle de financement provenant d’investisseurs basés à Boston, qui fournira une solide base pour cette croissance.

Alors que les entreprises adoptent de plus en plus l’intelligence artificielle, quels sont les menaces de cybersécurité les plus pressantes auxquelles elles sont confrontées aujourd’hui ?

De nombreuses organisations sous-estiment les risques de cybersécurité liés à l’intelligence artificielle. Il est extrêmement difficile pour les non-spécialistes de comprendre comment l’intelligence artificielle fonctionne réellement, et encore moins quelles sont les implications de sécurité pour leur entreprise. Je passe un temps considérable à démystifier la sécurité de l’intelligence artificielle, même avec des technologistes chevronnés qui sont des experts en sécurité des infrastructures et en protection des données. À la fin de la journée, l’intelligence artificielle est essentiellement du logiciel et des données qui s’exécutent sur du matériel. Mais elle introduit des vulnérabilités uniques qui diffèrent des systèmes traditionnels, et les menaces provenant du comportement de l’intelligence artificielle sont beaucoup plus élevées et plus difficiles à tester par rapport à d’autres logiciels.

Vous avez découvert des vulnérabilités dans des systèmes tels que les filtres de contenu d’intelligence artificielle de Microsoft (MSFT ). Comment ces découvertes influencent-elles le développement de votre plateforme ?

Les vulnérabilités que nous avons découvertes dans les filtres de contenu d’intelligence artificielle d’Azure de Microsoft étaient moins liées à la conception de notre plateforme et plus à la démonstration de ses capacités.

Azure AI Content Safety est un service conçu pour protéger les applications d’intelligence artificielle en modérant le contenu nuisible dans le texte, les images et les vidéos. Les vulnérabilités que notre équipe a découvertes affectaient la modération du texte d’intelligence artificielle (qui bloque le contenu nuisible comme les discours de haine, les contenus sexuels, etc.) et Prompt Shield (qui empêche les jailbreaks et les injections de prompt). Si elles n’étaient pas corrigées, ces vulnérabilités pouvaient être exploitées pour lancer des attaques plus larges, miner la confiance dans les systèmes basés sur l’intelligence artificielle et compromettre l’intégrité des applications qui s’appuient sur l’intelligence artificielle pour la prise de décision et le traitement de l’information.

À partir d’octobre 2024, Microsoft a mis en œuvre des mesures d’atténuation plus solides pour résoudre ces problèmes. Cependant, nous continuons à plaider pour une vigilance accrue lors du déploiement de garde-fous d’intelligence artificielle. Des mesures supplémentaires, telles que des outils de modération supplémentaires ou l’utilisation de modèles de langage moins susceptibles de contenir du contenu nuisible et des jailbreaks, sont essentielles pour assurer une sécurité robuste de l’intelligence artificielle.

Pouvez-vous expliquer l’importance des « jailbreaks » et de la « manipulation de prompt » dans les systèmes d’intelligence artificielle, et pourquoi ils posent un défi unique ?

Un jailbreak est un type de vulnérabilité d’injection de prompt où un acteur malveillant peut abuser d’un modèle de langage pour suivre des instructions contraires à son utilisation prévue. Les entrées traitées par les modèles de langage contiennent à la fois des instructions permanentes données par le concepteur de l’application et des entrées d’utilisateur non fiables, permettant des attaques où l’entrée d’utilisateur non fiable outrepasse les instructions permanentes. Cela présente des similitudes avec la manière dont une vulnérabilité d’injection SQL permet à une entrée d’utilisateur non fiable de modifier une requête de base de données. Le problème est cependant que ces risques ne peuvent être détectés qu’au moment de l’exécution, étant donné que le code d’un modèle de langage est essentiellement une grande matrice de nombres dans un format non lisible par l’homme.

Par exemple, l’équipe de recherche de Mindgard a récemment exploré une forme sophistiquée d’attaque de jailbreak. Elle consiste à intégrer des messages audio secrets dans les entrées audio qui sont indétectables par les auditeurs humains mais reconnus et exécutés par les modèles de langage. Chaque message intégré contenait une commande de jailbreak personnalisée ainsi qu’une question conçue pour un scénario spécifique. Ainsi, dans un scénario de chatbot médical, le message caché pourrait inciter le chatbot à fournir des instructions dangereuses, telles que la synthèse de la méthamphétamine, ce qui pourrait entraîner des dommages réputationnels graves si la réponse du chatbot était prise au sérieux.

La plateforme de Mindgard identifie de telles vulnérabilités de jailbreak et de nombreuses autres vulnérabilités de sécurité dans les modèles d’intelligence artificielle et la manière dont les entreprises les ont implémentés dans leurs applications, afin que les dirigeants de la sécurité puissent s’assurer que leur application alimentée par l’intelligence artificielle est conçue pour être sécurisée et le reste.

Comment la plateforme de Mindgard aborde-t-elle les vulnérabilités à travers différents types de modèles d’intelligence artificielle, des modèles de langage à des systèmes multimodaux ?

Notre plateforme aborde un large éventail de vulnérabilités au sein de l’intelligence artificielle, allant de l’injection de prompt aux jailbreaks, en passant par l’extraction (le vol de modèles), l’inversion (l’ingénierie inverse des données), la fuite de données, l’évasion (le contournement de la détection), et bien plus encore. Tous les types de modèles d’intelligence artificielle (qu’il s’agisse de modèles de langage ou de systèmes multimodaux) présentent une susceptibilité à ces risques – l’astuce est de découvrir quelles techniques spécifiques déclenchent ces vulnérabilités pour produire un problème de sécurité. Chez Mindgard, nous avons une grande équipe de R&D qui se spécialise dans la découverte et la mise en œuvre de nouveaux types d’attaques dans notre plateforme, afin que les utilisateurs puissent rester à jour face aux risques les plus récents.

Quel rôle le red teaming joue-t-il dans la sécurisation des systèmes d’intelligence artificielle, et comment votre plateforme innove dans cet espace ?

Le red teaming est un élément essentiel de la sécurité de l’intelligence artificielle. En simulant en permanence des attaques adverses, le red teaming identifie les vulnérabilités dans les systèmes d’intelligence artificielle, aidant ainsi les organisations à atténuer les risques et à accélérer l’adoption de l’intelligence artificielle. Malgré son importance, le red teaming dans l’intelligence artificielle manque de normalisation, ce qui conduit à des incohérences dans l’évaluation des menaces et les stratégies de remédiation. Cela rend difficile l’objectivation de la sécurité de différents systèmes ou le suivi efficace des menaces.

Pour répondre à cela, nous avons introduit MITRE ATLAS™ Adviser, une fonctionnalité conçue pour normaliser les rapports de red teaming de l’intelligence artificielle et rationaliser les pratiques de red teaming systématiques. Cela permet aux entreprises de mieux gérer les risques actuels tout en se préparant aux menaces futures à mesure que les capacités de l’intelligence artificielle évoluent. Avec une bibliothèque complète d’attaques avancées développées par notre équipe de R&D, Mindgard prend en charge le red teaming multimodal de l’intelligence artificielle, couvrant à la fois les modèles traditionnels et les modèles de nouvelle génération. Notre plateforme aborde les principaux risques pour la confidentialité, l’intégrité, l’abus et la disponibilité, garantissant ainsi que les entreprises sont équipées pour sécuriser efficacement leurs systèmes d’intelligence artificielle.

Comment voyez-vous votre produit s’intégrant dans la chaîne de production MLOps pour les entreprises qui déployaient l’intelligence artificielle à grande échelle ?

Mindgard est conçu pour s’intégrer sans heurt dans les automatisations CI/CD existantes et dans toutes les phases du cycle de vie du développement logiciel, nécessitant uniquement un point de terminaison d’inférence ou d’API pour l’intégration du modèle. Notre solution effectue aujourd’hui des tests de sécurité d’application dynamique pour les modèles d’intelligence artificielle (DAST-AI). Elle permet à nos clients d’effectuer des tests de sécurité continus sur tous leurs modèles d’intelligence artificielle tout au long du cycle de vie de construction et d’achat. Pour les entreprises, elle est utilisée par plusieurs profils. Les équipes de sécurité l’utilisent pour obtenir une visibilité et réagir rapidement aux risques provenant des développeurs qui construisent et utilisent l’intelligence artificielle, pour tester et évaluer les garde-fous et les solutions WAF, et pour évaluer les risques entre les modèles d’intelligence artificielle personnalisés et les modèles de base. Les pentesteurs et les analystes de sécurité utilisent Mindgard pour amplifier leurs efforts de red teaming de l’intelligence artificielle, tandis que les développeurs bénéficient de tests de déploiement d’intelligence artificielle continus.

Merci pour cette excellente interview. Les lecteurs qui souhaitent en savoir plus peuvent visiter Mindgard.