Groupe consultatif technologique préconise des limites à l’utilisation de l’IA par le Pentagone

Le Pentagone a clairement exprimé son intention d’investir massivement dans l’intelligence artificielle, affirmant que l’IA rendra l’armée américaine plus puissante et plus robuste face aux menaces potentielles pour la sécurité nationale. Selon Engadget, le passé jeudi, le Conseil d’innovation de la défense a proposé un certain nombre de lignes directrices éthiques pour l’utilisation de l’IA dans l’armée. La liste des propositions comprend des stratégies pour éviter les préjugés involontaires et des systèmes d’IA gouvernables qui auraient des procédures d’arrêt d’urgence pour empêcher l’IA de causer des dommages inutiles.

Wired rapporte que le Conseil d’innovation de la défense a été créé par l’administration Obama pour guider le Pentagone dans l’acquisition d’expérience et de talent dans l’industrie technologique. Le conseil est actuellement présidé par l’ancien PDG de Google, Eric Schmidt. Le département a récemment été chargé d’établir des lignes directrices pour la mise en œuvre éthique de l’IA dans les projets militaires. Jeudi, le conseil a publié ses lignes directrices et recommandations pour examen. Le rapport note que le moment est venu de avoir des discussions sérieuses sur l’utilisation de l’IA dans un contexte militaire, avant qu’un incident grave ne rende nécessaire une telle discussion.

Selon Artificial Intelligence News, un ancien officier militaire a récemment déclaré que le Pentagone était en retard en ce qui concerne l’utilisation de l’IA. Le Pentagone vise à combler cet écart et a déclaré que le développement et l’expansion de l’IA dans l’armée étaient une priorité nationale. Les éthiciens de l’IA s’inquiètent que, dans la hâte du Pentagone pour devenir un leader dans l’IA, les systèmes d’IA puissent être utilisés de manière contraire à l’éthique. Alors que divers conseils d’éthique de l’IA indépendants ont fait leurs propres suggestions, le Conseil d’innovation de la défense a proposé au moins cinq principes que l’armée devrait suivre à tout moment lors du développement et de la mise en œuvre de systèmes d’IA.

Le premier principe proposé par le conseil est que les humains devraient toujours être responsables de l’utilisation, du déploiement et des résultats de toute plate-forme d’intelligence artificielle utilisée dans un contexte militaire. Cela rappelle une politique de 2012 qui exigeait que les humains fassent partie du processus de prise de décision chaque fois que la force létale pouvait être utilisée. Il y a un certain nombre d’autres principes sur la liste qui fournissent des conseils généraux, tels que s’assurer que les systèmes d’IA sont toujours construits par des ingénieurs qui comprennent et documentent soigneusement leurs programmes. Un autre principe conseille que les systèmes d’IA militaires devraient toujours être testés pour leur fiabilité. Ces lignes directrices semblent être du bon sens, mais le conseil veut souligner leur importance.

Les autres principes de la liste sont liés au contrôle des préjugés des algorithmes d’IA et à la capacité des IA à détecter si un préjudice involontaire peut être causé et à se désengager automatiquement. Les lignes directrices précisent que si un préjudice inutile va se produire, l’IA devrait être en mesure de se désengager et de laisser un opérateur humain prendre le contrôle. Le projet de principes recommande également que la sortie des IA soit traçable afin que les analystes puissent voir ce qui a conduit l’IA à prendre une décision donnée.

L’ensemble de recommandations proposées par le conseil souligne deux idées différentes. Les principes reflètent le fait que l’IA sera intégrale à l’avenir des opérations militaires, mais que beaucoup d’IA dépend encore de la gestion et de la prise de décision humaines.

Alors que le Pentagone n’est pas obligé d’adopter les recommandations du conseil, il semble que le Pentagone prenne les recommandations au sérieux. Selon Wired, le directeur du Centre d’intelligence artificielle conjoint, le lieutenant-général Jack Shanahan, a déclaré que les recommandations du conseil aideraient le Pentagone à « défendre les normes éthiques les plus élevées telles que décrites dans la stratégie d’IA du DoD, tout en respectant l’histoire solide de l’armée américaine en matière d’application de normes de test et de déploiement rigoureuses pour les innovations technologiques ».

L’industrie technologique dans son ensemble reste méfiante quant à l’utilisation de l’IA dans la création de matériel et de logiciels militaires. Les employés de Microsoft et de Google ont tous deux protesté contre les collaborations avec des entités militaires, et Google a récemment décidé de ne pas renouveler le contrat qui les avait associés au projet Maven. Un certain nombre de PDG, de scientifiques et d’ingénieurs ont également signé un engagement de ne pas « participer à ni soutenir le développement, la fabrication, le commerce ou l’utilisation d’armes autonomes létales ». Si le Pentagone adopte les lignes directrices suggérées par le conseil, cela pourrait rendre l’industrie technologique plus disposée à collaborer sur des projets, bien que seul le temps le dira.