IA fédérale et militaire américaine : une nouvelle plate-forme offre la validation et l'accréditation d'algorithmes

Une startup qui comprend un conseil consultatif d'anciens sommités militaires du gouvernement a publié une nouvelle plate-forme conçue pour évaluer la sécurité et la déployabilité des applications d'IA. On dit que les premiers utilisateurs du système incluent l'US Air Force et le Department of Homeland Security.

La plate-forme s'appelle VESPR, de CalypsoAI, fondée en 2018, avec un siège social dans la Silicon Valley, à Dublin, et un emplacement officiellement "non divulgué" en Virginie - terra firma pour la CIA à Langley.

VESPR est un système de gestion des risques de modèle (MRM) conçu pour faciliter un système d'accréditation conforme aux normes fédérales pour les algorithmes déployés. Il offre à la fois un environnement graphique de style tableau de bord convivial et une interface CLI pour une utilisation plus avancée.

Cliquez pour agrandir. Source : https://www.youtube.com/watch?v=lMhS6j7t2pI

VESPR est fondé sur les normes de validation, de vérification et d'accréditation de l'apprentissage automatique de CalypsoAI, et propose des bibliothèques d'apprentissage automatique contradictoire conçues à la main. Il propose également des routines de tests de résistance automatisées pour les algorithmes potentiellement déployables.

Groupe de travail national sur les ressources de recherche en intelligence artificielle

Le moment de la publication peut être lié à celui d'hier lancer par l'administration Biden d'un nouveau groupe de travail national sur les ressources de recherche en intelligence artificielle, un organe conçu pour servir de comité consultatif fédéral conformément à la décision du Congrès Loi de 2020 sur l'initiative nationale sur l'IA.

La pression monte aux États-Unis et dans le monde entier pour des normes réglementaires significatives pour les systèmes d'apprentissage automatique, notamment dans des domaines critiques tels que les infrastructures clés et l'utilisation militaire. Comme les systèmes ML vivent encore une phase de formation et un rythme de progression rapide, ils représentent un recours relativement instable et souvent controversé à partir duquel il est désormais essentiel d'identifier des algorithmes analytiques reproductibles et fiables - si cela s'avère possible.

En avril, CalypsoAI a affiché son soutien à la Loi sur les frontières sans fin, un projet de loi du Congrès visant à réformer le financement de la science face à l'éminence croissante de la Chine en tant que puissance de l'IA, bien que l'acte ait finalement été dilué à l'étape du Sénat.

Validation pour l'IA fédérale

Selon le communiqué de presse du VESPR, les domaines couverts par le cadre incluent la vision par ordinateur et le traitement du langage naturel (NLP).

CalypsoAI affirme que VESPR a été créé "avec la contribution essentielle des clients existants de la sécurité nationale et né d'années de recherche financée de manière indépendante sur l'apprentissage automatique contradictoire".

Les images du système vues dans une vidéo promotionnelle (voir la fin de l'article) semblent inclure des routines de détection et/ou de simulation pour l'empoisonnement des données et l'injection de bruit, fournissant des simulations pour les actions des attaquants potentiels sur les systèmes déployés.

Cliquez pour agrandir.

Le système semble utiliser des données historiques sur les actions nationales et étrangères. Les classes cibles présentées incluent les «protestations» et les «émeutes», en plus des «développements stratégiques» moins clairs. Les incidents de terrorisme national semblent également être inclus dans les bases de données de référence du système, la «violence contre les civils» étant une autre classe cible disponible. Les autres classes cibles disponibles incluent "Bataille" et "Explosion/Violence à distance".

Cliquez pour agrandir.

Le système semble permettre la protection des fonctionnalités dans une section de configuration "Gestion BIAS", apparemment conçue pour lutter contre le surajustement ou pour éviter l'élimination indésirable d'événements aberrants mineurs qui peuvent être intéressants dans une routine analytique. Dans la vidéo, VESPR traite des données historiques tabulaires sur "l'Ukraine".

Au-delà de ce blitz promotionnel initial, il est peu probable (peut-être à dessein) que nous entendions beaucoup plus parler de ce produit SaaS destiné au gouvernement, quel que soit son prix ; il partage son nom avec une franchise de café-bar, une application de rencontres sociales et un album de streaming, et est sans cesse repoussé dans les résultats classés par le modèle de chimie VSEPR.

CalypsoAI a reçu 13 millions de dollars dans le cadre d'une levée de fonds de série A auprès de Paladin Capital Venture Group en juillet 0. Autres investisseurs inclus 8VC, Lockheed Martin Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners et Pallas Ventures.

Dans un article de blog sur le site de l'entreprise, le fondateur de CalypsoAI, Neil Serebryany, qui a entrepris des travaux de recherche non spécifiés au ministère de la Défense en 2018, déclare que l'entreprise a été fondée comme une solution possible à la peur des gouvernements de déployer des systèmes algorithmiques avancés dans un climat non réglementé. :

"La principale raison de cette peur des projets d'IA, qui les conduit à être abandonnés au sein du gouvernement, semble prosaïque, mais est en fait assez complexe. Ils étaient abandonnés en raison d'un manque d'assurance qualité […] Les modèles d'IA ne peuvent pas être évalués de la même manière que les modèles logiciels traditionnels. Cela est dû à la nature sous-jacente de la structure du modèle et aux manières très complexes dont ils peuvent échouer. Faute d'un mécanisme pour évaluer ces systèmes non déterministes de manière déterministe et vérifiable, les organisations au sein du gouvernement n'ont pas été en mesure d'évaluer la soi-disant « qualité » des modèles d'IA par rapport à une référence. Cela a fait craindre qu'ils ne tombent en panne, ne fonctionnent mal ou ne soient piratés par un adversaire au moment où ils sont le plus nécessaires, par exemple au combat, en vol ou lors d'une procédure médicale complexe. '

Conseil consultatif

Un mois avant le cycle d'investissement, la société a créé un conseil consultatif sur la sécurité nationale comprenant Tony De Martino, ancien assistant du secrétaire à la Défense Jim Mattis, et désormais associé fondateur de la société de conseil stratégique Pallas Advisors, basée à Washington ; ancien sous-secrétaire adjoint principal à la Défense pour le renseignement (sous le président Trump) Kari Bingen; ancien directeur adjoint associé de CIA Digital Innovation Sean Roche, un ancien spécialiste du cyber-renseignement dans cette organisation ; et Michel Molino, ancien vice-président exécutif du développement d'entreprise chez ASRC Federal, qui fournit des capacités de conseil, de recherche et de migration technique dans une gamme de services fédéraux essentiels.

Selon le communiqué :

« VESPR fournit des capacités de test d'IA avancées avec un flux de travail rationalisé pour garantir que chaque algorithme d'apprentissage automatique mis en production a été vérifié en toute sécurité. VESPR offre une sécurité et une assurance inégalées à une variété de systèmes d'IA, de la vision par ordinateur au traitement du langage naturel. Le processus VESPR garantit les tests, l'évaluation, la vérification et la validation (TEVV) tout au long du cycle de vie de l'apprentissage automatique sécurisé (SMLC), de la phase de recherche et développement au déploiement du modèle. Le résultat final est des systèmes d'IA qui fournissent une surveillance et des rapports précis et complets sur les capacités, les vulnérabilités et les performances des modèles.

Mis à jour à 11 h 07 HNE pour indiquer que Michael Molino ne travaille plus à l'ASRC Federal, un errata dans l'article original.

Mise à jour le 1er janvier 28 pour supprimer la vidéo YouTube cassée.