David Maher, CTO d’Intertrust – Série d’entretiens

David Maher sert en tant que vice-président exécutif et directeur de la technologie d’Intertrust. Avec plus de 30 ans d’expérience dans les systèmes distribués fiables, les systèmes sécurisés et la gestion des risques, Dave a dirigé les efforts de R&D et occupé des postes de leadership clés au sein des filiales de l’entreprise. Il a été président de Seacert Corporation, une autorité de certification pour les médias numériques et l’IoT, et président de whiteCryption Corporation, un développeur de systèmes d’autodéfense logicielle. Il a également siégé en tant que co-président de l’organisation de gestion de la confiance Marlin (Trust Management Organization, MTMO), qui supervise l’écosystème de gestion des droits numériques indépendant du monde.

Intertrust a développé des innovations permettant aux systèmes d’exploitation distribués de sécuriser et de gérer les données et les calculs sur les réseaux ouverts, aboutissant à un brevet fondamental sur l’informatique distribuée fiable.

À l’origine enracinée dans la recherche, Intertrust est devenu une entreprise axée sur les produits, offrant des services d’informatique fiable qui unifient les opérations des appareils et des données, en particulier pour l’IoT et l’IA. Ses marchés comprennent la distribution de médias, l’authentification et l’identification des appareils, la gestion de l’énergie numérique, l’analyse et la sécurité du stockage dans le cloud.

Comment pouvons-nous combler le fossé de confiance de l’IA et répondre aux préoccupations croissantes du public concernant la sécurité et la fiabilité de l’IA ?

La transparence est la qualité la plus importante que je crois aidera à répondre aux préoccupations croissantes concernant l’IA. La transparence comprend des fonctionnalités qui aident les consommateurs et les technologistes à comprendre quels mécanismes d’IA font partie des systèmes avec lesquels nous interagissons, quelle est leur pédigree : comment un modèle d’IA est formé, quels garde-fous existent, quelles politiques ont été appliquées lors du développement du modèle, et quels autres assurances existent pour la sécurité et la sûreté d’un mécanisme donné. Avec une plus grande transparence, nous serons en mesure de répondre à des risques et des problèmes réels et de ne pas être distraits par des peurs et des conjectures irrationnelles.

Quel rôle l’authentification des métadonnées joue-t-elle pour assurer la fiabilité des sorties d’IA ?

L’authentification des métadonnées aide à accroître notre confiance dans le fait que les assurances concernant un modèle d’IA ou un autre mécanisme sont fiables. Une carte de modèle d’IA est un exemple de collection de métadonnées qui peut aider à évaluer l’utilisation d’un mécanisme d’IA (modèle, agent, etc.) pour un objectif spécifique. Nous devons établir des normes pour la clarté et l’exhaustivité des cartes de modèle avec des normes pour des mesures quantitatives et des assertions authentifiées sur les performances, les préjugés, les propriétés des données de formation, etc.

Comment les organisations peuvent-elles atténuer le risque de biais et d’hallucinations dans les grands modèles de langage (LLM) ?

Le test de pénétration est une approche générale pour répondre à ces risques et à d’autres risques pendant le développement et la pré-sortie des modèles. À l’origine utilisée pour évaluer les systèmes sécurisés, l’approche est maintenant devenue standard pour les systèmes basés sur l’IA. Il s’agit d’une approche de gestion des risques basée sur les systèmes qui peut et doit inclure l’ensemble du cycle de vie d’un système, de son développement initial à son déploiement sur le terrain, en couvrant l’ensemble de la chaîne d’approvisionnement du développement. Plus particulièrement, la classification et l’authentification des données de formation utilisées pour un modèle sont critiques.

Quelles étapes les entreprises peuvent-elles prendre pour créer de la transparence dans les systèmes d’IA et réduire les risques associés au problème de la « boîte noire » ?

Comprenez comment l’entreprise va utiliser le modèle et quels types de responsabilités elle peut avoir lors de son déploiement, que ce soit pour une utilisation interne ou pour les clients, directement ou indirectement. Ensuite, comprenez ce que j’appelle les pédigrees des mécanismes d’IA à déployer, y compris les assertions sur une carte de modèle, les résultats des essais de l’équipe rouge, l’analyse différentielle sur l’utilisation spécifique de l’entreprise, ce qui a été évalué formellement, et ce que les autres ont expérimenté. Les tests internes à l’aide d’un plan de test complet dans un environnement réaliste sont absolument nécessaires. Les meilleures pratiques évoluent dans ce domaine naissant, il est donc important de rester à jour.

Comment les systèmes d’IA peuvent-ils être conçus en tenant compte des lignes directrices éthiques, et quels sont les défis pour parvenir à cela dans différents secteurs ?

Il s’agit d’un domaine de recherche, et beaucoup affirment que la notion d’éthique et les versions actuelles de l’IA sont incongruentes, car l’éthique est basée sur des concepts, et les mécanismes d’IA sont principalement basés sur les données. Par exemple, de simples règles que les humains comprennent, comme « ne pas tricher », sont difficiles à garantir. Cependant, une analyse minutieuse des interactions et des conflits d’objectifs dans l’apprentissage basé sur les objectifs, l’exclusion de données douteuses et de désinformation, et la construction de règles qui nécessitent l’utilisation de filtres de sortie qui imposent des garde-fous et testent les violations des principes éthiques, comme la promotion ou la sympathie avec l’utilisation de la violence dans le contenu de sortie, devraient être considérées. De même, des tests rigoureux pour les préjugés peuvent aider à aligner un modèle plus étroitement sur les principes éthiques. Encore une fois, beaucoup de cela peut être conceptuel, il est donc important de tester les effets d’une approche donnée, car le mécanisme d’IA ne « comprendra » pas les instructions de la même manière que les humains.

Quels sont les principaux risques et défis que l’IA connaîtra à l’avenir, en particulier lorsqu’elle s’intègre davantage aux systèmes IoT ?

Nous voulons utiliser l’IA pour automatiser les systèmes qui optimisent les processus d’infrastructure critique. Par exemple, nous savons que nous pouvons optimiser la distribution et l’utilisation de l’énergie en utilisant des centrales électriques virtuelles, qui coordonnent des milliers d’éléments de production, de stockage et d’utilisation d’énergie. Cela n’est pratique que avec une automatisation massive et l’utilisation de l’IA pour aider à la prise de décision minute. Les systèmes incluront des agents avec des objectifs d’optimisation contradictoires (par exemple, pour le bénéfice du consommateur vs le fournisseur). La sécurité et la sûreté de l’IA seront critiques dans le déploiement à grande échelle de tels systèmes.

Quel type d’infrastructure est nécessaire pour identifier et authentifier de manière sécurisée les entités dans les systèmes d’IA ?

Nous aurons besoin d’une infrastructure robuste et efficace par laquelle les entités impliquées dans l’évaluation de tous les aspects des systèmes d’IA et de leur déploiement peuvent publier des affirmations autorisées et authentiques sur les systèmes d’IA, leur pédigree, les données de formation disponibles, la provenance des données de capteur, les incidents et les événements de sécurité, etc. Cette infrastructure devra également permettre de vérifier efficacement les affirmations et les assertions des utilisateurs des systèmes qui incluent des mécanismes d’IA et des éléments des systèmes automatisés qui prennent des décisions basées sur les sorties des modèles et des optimiseurs d’IA.

Pouvez-vous partager avec nous quelques-unes de vos réflexions sur ce que vous travaillez actuellement chez Intertrust et comment cela s’inscrit dans ce que nous avons discuté ?

Nous effectuons des recherches et concevons des technologies qui peuvent fournir le type d’infrastructure de gestion de la confiance nécessaire à la question précédente. Nous nous concentrons spécifiquement sur les problèmes d’échelle, de latence, de sécurité et d’interopérabilité qui surgissent dans les systèmes IoT qui incluent des composants d’IA.

Comment le service d’infrastructure à clé publique (PKI) d’Intertrust sécurise-t-il les appareils IoT, et qu’est-ce qui le rend évolutif pour les déploiements à grande échelle ?

Notre PKI a été conçu spécifiquement pour la gestion de la confiance des systèmes qui incluent la gouvernance des appareils et du contenu numérique. Nous avons déployé des milliards de clés cryptographiques et de certificats qui assurent la conformité. Nos recherches actuelles abordent l’échelle et les assurances que nécessitent l’automatisation industrielle massive et les infrastructures critiques mondiales, y compris les meilleures pratiques pour les déploiements « zero-trust » et l’authentification des appareils et des données qui peuvent accueillir des trillions de capteurs et de générateurs d’événements.

Qu’est-ce qui vous a motivé à rejoindre les initiatives d’IA de NIST, et comment votre implication contribue-t-elle à l’élaboration de normes d’IA fiables et sûres ?

NIST a une grande expérience et une réussite dans l’élaboration de normes et de meilleures pratiques dans les systèmes sécurisés. En tant que chercheur principal pour le US AISIC d’Intertrust, je peux plaider en faveur d’importantes normes et de meilleures pratiques dans le développement de systèmes de gestion de la confiance qui incluent des mécanismes d’IA. À partir de l’expérience passée, j’apprécie particulièrement l’approche que NIST adopte pour promouvoir la créativité, le progrès et la coopération industrielle tout en aidant à formuler et à promulguer des normes techniques importantes qui favorisent l’interopérabilité. Ces normes peuvent stimuler l’adoption de technologies bénéfiques tout en abordant les types de risques auxquels la société est confrontée.

Je vous remercie pour cette grande entrevue, les lecteurs qui souhaitent en savoir plus peuvent visiter Intertrust.