IA fédérale et militaire des États‑Unis : nouvelle plateforme offre validation et accréditation d’algorithmes

Une startup dotée d’un conseil consultatif composé d’anciens sommités militaires du gouvernement a lancé une nouvelle plateforme conçue pour évaluer la sécurité et la déployabilité des applications d’IA. Les premiers utilisateurs du système seraient l’Armée de l’air des États‑Unis et le Département de la Sécurité intérieure.

La plateforme s’appelle VESPR, de CalypsoAI, fondée en 2018, avec des sièges dans la Silicon Valley, à Dublin, et un emplacement officiellement « non divulgué » en Virginie – le territoire de la CIA à Langley.

VESPR est un système de gestion des risques de modèle (MRM) conçu pour faciliter un dispositif d’accréditation conforme aux exigences fédérales pour les algorithmes déployés. Il propose à la fois une interface graphique conviviale de type tableau de bord et une interface en ligne de commande pour les usages plus avancés.

Cliquez pour agrandir.

VESPR repose sur les normes de validation, de vérification et d’accréditation de l’apprentissage automatique de CalypsoAI, et comprend des bibliothèques d’apprentissage automatique adversarial conçues à la main. Il propose également des routines automatisées de tests de résistance pour les algorithmes potentiellement déployables.

Groupe de travail sur la ressource nationale de recherche en intelligence artificielle

Le moment de la sortie peut être lié au lancement d’hier par l’administration Biden d’un nouveau Groupe de travail sur la ressource nationale de recherche en intelligence artificielle, organe destiné à servir de comité consultatif fédéral conformément à la National AI Initiative Act of 2020 du Congrès.

Des pressions croissantes s’exercent aux États‑Unis, et dans le monde entier, pour obtenir des normes réglementaires significatives concernant les systèmes d’apprentissage automatique, notamment dans les domaines critiques tels que les infrastructures essentielles et l’usage militaire. Comme les systèmes d’apprentissage automatique sont encore à un stade formatif et évoluent à un rythme rapide, ils constituent une ressource relativement instable et souvent controversée, d’où il devient essentiel d’identifier des algorithmes analytiques reproductibles et fiables – si cela s’avère possible.

En avril, CalypsoAI a affiché son soutien à l’Endless Frontiers Act, un projet de loi du Congrès destiné à réformer le financement de la recherche face à l’ascension de la Chine en tant que puissance en IA, bien que le texte ait finalement été affaibli au Sénat.

Validation pour l’IA fédérale

Selon le communiqué de presse de VESPR, les domaines couverts par le cadre incluent la vision par ordinateur et le traitement du langage naturel (NLP).

CalypsoAI affirme que VESPR a été créé « avec la contribution essentielle des clients de la sécurité nationale existants et né de plusieurs années de recherche financée de manière indépendante sur l’apprentissage automatique adversarial ».

Les images du système présentées dans une vidéo promotionnelle (voir la fin de l’article) semblent inclure des routines de détection et/ou de simulation d’empoisonnement de données et d’injection de bruit, offrant des simulations des actions d’éventuels attaquants sur les systèmes déployés.

Cliquez pour agrandir.

Le système semble exploiter des données historiques d’actions nationales ainsi qu’étrangères. Les classes cibles présentées comprennent « Protests » et « Riots », en plus de la moins claire « Strategic developments ». Les incidents de terrorisme national semblent également être inclus dans les bases de référence du système, avec « Violence against civilians » comme autre classe cible disponible. D’autres classes cibles disponibles incluent « Battles » et « Explosions/Remote Violence ».

Cliquez pour agrandir.

Le système semble permettre la protection des caractéristiques dans une section « BIAS management » de la configuration, apparemment conçue pour lutter contre le surapprentissage ou éviter l’élimination indésirable de petits événements aberrants susceptibles d’intéresser une routine analytique. Dans la vidéo, VESPR traite des données historiques tabulaires concernant « Ukraine ».

Au‑delà de ce premier coup de projecteur promotionnel, il n’est pas probable (peut‑être par conception) que nous entendions davantage parler de ce produit SaaS destiné aux gouvernements, quel que soit son succès ; il partage son nom avec une chaîne de cafés, une application de rencontres sociales et un album en streaming, et est constamment relégué dans les résultats classés par le modèle chimique VSEPR.

CalypsoAI a reçu 13 millions de dollars lors d’une levée de fonds de série A de Paladin Capital Venture Group en juillet 2020. D’autres investisseurs comprenaient 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners et Pallas Ventures.

Dans un article de blog sur le site de l’entreprise, le fondateur de CalypsoAI, Neil Serebryany, qui a effectué des travaux de recherche non précisés au Département de la Défense en 2018, déclare que la société a été créée comme une solution possible à la crainte des gouvernements de déployer des systèmes algorithmiques avancés dans un climat non réglementé :

« La raison principale de cette peur des projets d’IA, qui conduit à leur abandon au sein du gouvernement, semble prosaïque, mais est en réalité assez complexe. Ils étaient abandonnés en raison d’un manque d’assurance qualité […] Les modèles d’IA ne peuvent pas être évalués de la même manière que les modèles logiciels traditionnels. Cela découle de la nature intrinsèque de la structure des modèles et des façons hautement complexes dont ils peuvent échouer. En l’absence d’un mécanisme permettant d’évaluer ces systèmes non déterministes de manière déterministe et auditable, les organisations gouvernementales ne pouvaient pas mesurer la prétendue « qualité » des modèles d’IA par rapport à un référentiel. Cela a engendré la crainte qu’ils puissent échouer, dysfonctionner ou être piratés par un adversaire au moment où ils sont le plus nécessaires, par exemple en combat, en vol ou lors d’une procédure médicale complexe. »

Conseil consultatif

Un mois avant la levée de fonds, l’entreprise a créé un Conseil consultatif de sécurité nationale incluant Tony DeMartino, ancien assistant du secrétaire à la Défense Jim Mattis et aujourd’hui associé fondateur du cabinet de conseil stratégique basé à Washington, Pallas Advisors ; l’ancienne principale adjointe du sous‑secrétaire à la Défense pour le renseignement (sous le président Trump) Kari Bingen ; l’ancien directeur adjoint associé pour l’innovation numérique de la CIA, Sean Roche, un ancien spécialiste du cyber‑renseignement au sein de cette organisation ; et Michael Molino, ancien vice‑président exécutif du développement corporatif chez ASRC Federal, qui fournit des services de conseil, de recherche et de migration technique à travers une gamme de services fédéraux critiques.

Selon le communiqué :

« VESPR offre des capacités avancées de test d’IA avec un flux de travail rationalisé afin de garantir que chaque algorithme d’apprentissage automatique mis en production a été vérifié comme sécurisé. VESPR fournit une sécurité et une assurance incomparables à une variété de systèmes d’IA, de la vision par ordinateur au traitement du langage naturel. Le processus VESPR assure les tests, l’évaluation, la vérification et la validation (TEVV) tout au long du cycle de vie sécurisé de l’apprentissage automatique (SMLC), de la phase de recherche et développement jusqu’au déploiement du modèle. Le résultat final est des systèmes d’IA qui offrent une surveillance et un reporting précis et complets sur les capacités, les vulnérabilités et les performances des modèles. »

Mis à jour à 11 h 07 EST pour refléter que Michael Molino ne travaille plus chez ASRC Federal, une errata dans l’article original.

Mis à jour le 28 janvier 2024 pour supprimer la vidéo YouTube défectueuse.