Les technologies avancées d’IA présentent des défis éthiques – Leaders de pensée

Par Alfred Crews, Jr, vice-président et conseiller général du secteur Intelligence et Sécurité de BAE Systems Inc.

Au début de cette année, avant la pandémie mondiale, j’ai assisté à la conférence sur l’éthique du renseignement de The Citadel à Charleston, où nous avons discuté du thème de l’éthique dans la collecte de renseignements en rapport avec la protection de la sécurité nationale. Dans l’industrie de la défense, nous assistons à la prolifération des connaissances, de l’informatique et des technologies avancées, en particulier dans le domaine de l’intelligence artificielle (IA) et de l’apprentissage automatique (ML). Cependant, il peut y avoir des problèmes importants lors du déploiement de l’IA dans le contexte de la collecte de renseignements ou des combats en temps réel.

L’IA couplée à l’informatique quantique présente des risques

Ce que nous devons questionner, analyser et déterminer une voie à suivre est lors de l’utilisation de l’IA couplée aux capacités de l’informatique quantique dans le processus de prise de décision en temps de guerre. Par exemple, rappelez-vous le Terminator ? Alors que notre technologie fait des bonds en avant, la réalité de ce que Skynet a présenté est devant nous. Nous pourrions nous demander : « Skynet va-t-il nous détruire ? » Faisons une promenade le long de la mémoire avec moi ; les machines ont pris le contrôle parce qu’elles avaient la capacité de penser et de prendre des décisions par elles-mêmes, sans un humain pour les diriger. Lorsque les machines ont déduit que les humains étaient un bug, elles se sont lancées pour détruire l’humanité. Ne me comprenez pas mal, l’IA a un grand potentiel, mais je crois qu’elle doit avoir des paramètres de contrôle en raison du facteur de risque impliqué.

Les ambiguïtés éthiques et le dilemme philosophique de l’IA

Je crois que c’est précisément pourquoi le département américain de la Défense (DoD) a émis ses propres Principes éthiques pour l’IA, car l’utilisation de l’IA soulève de nouvelles ambiguïtés éthiques et des risques. Lorsque l’on combine l’IA avec les capacités de l’informatique quantique, la capacité de prendre des décisions change et le risque de perdre le contrôle augmente – plus que nous ne le réalisons aujourd’hui. L’informatique quantique met notre système d’exploitation cérébral humain au défi, car les supercalculateurs peuvent effectuer beaucoup plus de calculs plus rapidement et avec plus de précision que notre cerveau humain ne pourra jamais le faire.

De plus, l’utilisation de l’IA couplée à l’informatique présente un dilemme philosophique. À quel point le monde permettra-t-il aux machines d’avoir leur propre volonté ; et, si les machines sont autorisées à penser par elles-mêmes, cela signifie-t-il que la machine est devenue auto-consciente ? Le fait d’être auto-conscient constitue-t-il la vie ? En tant que société, nous n’avons pas encore déterminé comment définir cette situation. Ainsi, comme cela se présente aujourd’hui, les machines prenant des mesures par elles-mêmes sans un humain pour les contrôler pourraient avoir des conséquences. Une machine pourrait-elle outrepasser l’intervention humaine pour arrêter le feu ? Si la machine fonctionne de manière autonome, serons-nous en mesure de débrancher ?

Comme je le vois, utiliser l’IA d’un point de vue défensif est facile à faire. Cependant, combien plus facile serait-il de passer à l’offensive ? Sur le plan offensif, les machines prendraient des décisions de combat sur le champ. Une machine tirant sur un ennemi constituerait-elle une violation de la Convention de Genève et des lois de la guerre ? En avançant rapidement dans cet espace, le monde doit convenir que l’utilisation de l’IA et de l’informatique quantique dans les combats doit être conforme aux lois que nous avons actuellement en place.

Le DoD a une position lors de l’utilisation de l’IA avec des systèmes autonomes et déclare qu’il y aura toujours une personne impliquée dans le processus de prise de décision ; une personne prendra la décision finale de tirer sur une arme. C’est notre règle, mais que se passe-t-il si un adversaire décide de prendre une autre voie et de laisser une machine dotée d’IA prendre toutes les décisions finales ? Alors, la machine, qui, comme nous l’avons discuté, est déjà plus rapide, plus intelligente et plus précise, aurait l’avantage.

Examinons un drone équipé d’IA et de reconnaissance faciale : le drone tire de sa propre initiative en raison d’une cible prédéterminée étiquetée comme terroriste. Qui est réellement responsable du tir ? Y a-t-il une responsabilité si une erreur biaisée se produit ?

Biais intégré dans l’IA/ML

Les recherches montrent que la machine est moins susceptible de faire des erreurs qu’un humain. Cependant, les recherches prouvent également qu’il existe des biais dans l’apprentissage automatique basé sur l’« enseignant » humain qui enseigne à la machine. Les cinq principes éthiques de l’IA du DoD font référence aux biais existants lorsqu’il déclare : « Le département prendra des mesures délibérées pour minimiser les biais involontaires dans les capacités de l’IA ». Nous savons déjà, grâce à des études prouvées, que dans l’utilisation des applications de reconnaissance faciale, il existe des biais envers les personnes de couleur avec de faux positifs. Lorsqu’une personne crée le code qui enseigne à la machine à prendre des décisions, il y aura des biais. Cela peut être involontaire car la personne créant l’IA n’était pas consciente du biais qui existait en elle-même.

Alors, comment éliminer les biais ? La sortie de l’IA n’est pas meilleure que l’entrée. Par conséquent, il doit y avoir des contrôles. Vous devez contrôler les données qui entrent, car c’est ce qui pourrait rendre les résultats de l’IA moins valides. Les développeurs devront constamment réécrire le code pour éliminer les biais.

Le monde doit définir la meilleure utilisation de la technologie

La technologie en soi n’est ni bonne ni mauvaise. C’est la façon dont une nation l’utilise qui pourrait prendre les meilleures intentions et les faire échouer. Alors que la technologie avance de manière à avoir un impact sur la vie humaine, le monde doit travailler ensemble pour définir une action appropriée. Si nous prenons l’humain hors de l’équation dans les applications d’IA, nous prenons également cette pause avant de tirer – cette boussole morale qui nous guide ; cette pause lorsque nous nous arrêtons et nous demandons : « Est-ce juste ? » Une machine enseignée à s’engager n’aura pas cette pause. Alors, la question est, à l’avenir, le monde acceptera-t-il cela ? Jusqu’où le monde ira-t-il pour permettre aux machines de prendre des décisions de combat ?