IA fédérale et militaire américaine : nouvelle plateforme offre validation et accréditation d’algorithmes

Une startup qui compte un conseil consultatif composé d’anciens luminaires militaires du gouvernement a lancé une nouvelle plateforme conçue pour évaluer la sécurité et la déployabilité des applications d’IA. Les premiers utilisateurs de ce système sont notamment l’US Air Force et le Département de la sécurité intérieure.

La plateforme s’appelle VESPR, de CalypsoAI, fondée en 2018, avec son siège social dans la Silicon Valley, à Dublin, et un emplacement officiellement « non divulgué » en Virginie – terra ferme pour la CIA à Langley.

VESPR est un système de gestion des risques de modèle (MRM) conçu pour faciliter un système d’accréditation conforme aux normes fédérales pour les algorithmes déployés. Il offre à la fois un environnement de tableau de bord convivial et une interface de ligne de commande (CLI) pour une utilisation plus avancée.

Cliquez pour agrandir. Source : https://www.youtube.com/watch?v=lMhS6j7t2pI

VESPR est fondé sur les normes de validation, de vérification et d’accréditation de l’apprentissage automatique de CalypsoAI, et comporte des bibliothèques d’apprentissage automatique adversatif conçues à la main. Il propose également des routines de test de contrainte automatisées pour les algorithmes pouvant être déployés.

Force opérationnelle de recherche sur les ressources artificielles nationales

Le lancement de cette plateforme peut être lié au lancement, hier, par l’administration Biden, d’un nouveau groupe de travail sur les ressources de recherche en intelligence artificielle, un organisme conçu pour servir de comité consultatif fédéral conformément à la loi nationale sur l’initiative en matière d’IA de 2020 du Congrès.

La pression a augmenté aux États-Unis et dans le monde pour des normes réglementaires significatives pour les systèmes d’apprentissage automatique, notamment dans des domaines critiques tels que les infrastructures clés et l’utilisation militaire. Étant donné que les systèmes d’apprentissage automatique sont encore dans une phase de formation et connaissent un taux de progrès rapide, ils représentent une ressource relativement instable et souvent controversée dont il est maintenant essentiel d’identifier des algorithmes d’analyse fiables et reproductibles – si cela s’avère possible.

En avril, CalypsoAI a publié son soutien à la loi sur les frontières infinies, un projet de loi du Congrès conçu pour réformer le financement de la science face à l’essor de la Chine en tant que puissance de l’IA, bien que le projet de loi ait finalement été révisé au stade du Sénat.

Validation pour l’IA fédérale

Selon le communiqué de presse de VESPR, les domaines couverts par le cadre incluent la vision par ordinateur et le traitement automatique du langage naturel (TALN).

CalypsoAI affirme que VESPR a été créé « avec des contributions critiques de clients de la sécurité nationale existants et issu de années de recherche indépendante sur l’apprentissage automatique adversatif ».

Les images du système vues dans une vidéo promotionnelle (voir fin de l’article) semblent inclure des routines de détection et/ou de simulation pour l’empoisonnement de données et l’injection de bruit, fournissant des simulations pour les actions d’attaquants potentiels sur des systèmes déployés.

Cliquez pour agrandir.

Le système semble utiliser des données historiques nationales et étrangères. Les classes cibles incluent « Protestations » et « Émeutes », ainsi que les moins claires « Développements stratégiques ». Les incidents de terrorisme national semblent également être inclus dans les bases de données de référence du système, avec « Violence contre les civils » comme une autre classe cible disponible. D’autres classes cibles disponibles incluent « Batailles » et « Explosions/Violence à distance ».

Cliquez pour agrandir.

Le système semble permettre la protection des fonctionnalités dans une section de configuration « Gestion des biais », apparemment conçue pour lutter contre la surajustement ou pour éviter l’élimination indésirable d’événements mineurs qui pourraient être d’intérêt dans une routine d’analyse. Dans la vidéo, VESPR traite des données historiques tabulaires sur « l’Ukraine ».

Au-delà de cette campagne promotionnelle initiale, il est peu probable (peut-être par design) que nous entendions beaucoup plus parler de ce produit SaaS orienté gouvernement ; il partage son nom avec une chaîne de bars de café, une application de rencontres sociales et un album de streaming, et est sans cesse repoussé dans les résultats classés par les modèles VSEPR de chimie.

CalypsoAI a reçu 13 millions de dollars en financement de série A de Paladin Capital Venture Group en juillet 2020. D’autres investisseurs incluaient 8VC, Lockheed Martin Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners et Pallas Ventures.

Dans un billet de blog sur le site de l’entreprise, le fondateur de CalypsoAI, Neil Serebryany, qui a effectué des travaux de recherche non spécifiés au Département de la défense en 2018, déclare que l’entreprise a été fondée comme une solution possible à la peur des gouvernements de déployer des systèmes algorithmiques avancés dans un climat non réglementé :

« La raison principale de cette peur des projets d’IA, qui les amène à être abandonnés au sein du gouvernement, semble prosaïque, mais est en réalité assez complexe. Ils étaient abandonnés en raison d’un manque d’assurance qualité […] Les modèles d’IA ne peuvent pas être évalués de la même manière que les modèles de logiciels traditionnels. Cela est dû à la nature sous-jacente de la structure du modèle et aux moyens très complexes par lesquels ils peuvent échouer. Faute de mécanisme pour évaluer ces systèmes non déterministes de manière déterministe et auditable, les organisations au sein du gouvernement étaient incapables d’évaluer la soi-disant « qualité » des modèles d’IA par rapport à une référence. Cela a conduit à la peur qu’ils puissent échouer, qu’ils puissent dysfonctionner ou qu’ils puissent être piratés par un adversaire au moment où ils sont les plus nécessaires, par exemple, au combat, en vol ou pendant une procédure médicale complexe. »

Conseil consultatif

Un mois avant le cycle d’investissement, l’entreprise a créé un conseil consultatif de sécurité nationale comprenant Tony DeMartino, un ancien aide du secrétaire à la défense Jim Mattis, et maintenant un associé fondateur de Pallas Advisors, une société de conseil stratégique basée à Washington ; l’ancien secrétaire adjoint à la défense pour le renseignement (sous la présidence de Trump) Kari Bingen ; l’ancien directeur adjoint associé pour l’innovation numérique de la CIA Sean Roche, un ancien spécialiste du renseignement cybernétique dans cette organisation ; et Michael Molino, ancien vice-président exécutif du développement corporatif d’ASRC Federal, qui fournit des capacités de conseil, de recherche et de migration technique dans une gamme de services fédéraux critiques.

Selon le communiqué :

« VESPR offre des capacités de test d’IA avancées avec un flux de travail rationalisé pour garantir que chaque algorithme d’apprentissage automatique mis en production a été vérifié pour être sécurisé. VESPR offre une sécurité et une assurance sans précédent à une variété de systèmes d’IA, de la vision par ordinateur au traitement automatique du langage naturel. Le processus VESPR garantit les tests, l’évaluation, la vérification et la validation (TEVV) tout au long du cycle de vie de l’apprentissage automatique sécurisé (SMLC), de la phase de recherche et de développement à la mise en production du modèle. Le résultat final est des systèmes d’IA qui fournissent une surveillance et une analyse précises et complètes des capacités, des vulnérabilités et des performances du modèle. »

Mis à jour le 11h07 HE pour refléter que Michael Molino ne travaille plus pour ASRC Federal, une erreur dans l’article original.

Mis à jour le 1er janvier 2024 pour supprimer la vidéo YouTube cassée.