L’Institut AI Now met en garde contre les mauvaises utilisations des logiciels de détection des émotions et d’autres problèmes éthiques

L’Institut AI Now a publié un rapport qui exhorte les législateurs et les autres organismes de régulation à fixer des limites strictes à l’utilisation de la technologie de détection des émotions, en l’interdisant dans les cas où elle pourrait être utilisée pour prendre des décisions importantes comme l’embauche de salariés ou l’admission d’étudiants. De plus, le rapport contenait un certain nombre d’autres suggestions concernant une gamme de sujets dans le domaine de l’IA.

L’Institut AI Now est un institut de recherche basé à NYU, dont la mission est d’étudier l’impact de l’IA sur la société. AI Now publie un rapport annuel présentant ses constatations sur l’état de la recherche en IA et les implications éthiques de l’utilisation actuelle de l’IA. Comme l’a rapporté la BBC, le rapport de cette année a abordé des sujets tels que la discrimination algorithmique, le manque de diversité dans la recherche en IA et les problèmes de main-d’œuvre.

La reconnaissance des affects, le terme technique pour les algorithmes de détection des émotions, est un domaine de recherche en IA en pleine croissance. Ceux qui utilisent la technologie pour prendre des décisions affirment souvent que les systèmes peuvent tirer des informations fiables sur les états émotionnels des personnes en analysant les micro-expressions, ainsi que d’autres indices tels que le ton de la voix et le langage corporel. L’institut AI Now note que la technologie est utilisée dans une large gamme d’applications, comme déterminer qui embaucher, fixer les prix des assurances et surveiller si les étudiants prêtent attention en classe.

Le professeur Kate Crawford, co-fondateur de l’Institut AI Now, a expliqué que l’on croit souvent que les émotions humaines peuvent être prédites avec précision à l’aide de modèles relativement simples. Crawford a déclaré que certaines entreprises basent le développement de leurs logiciels sur le travail de Paul Ekman, un psychologue qui a émis l’hypothèse qu’il n’y a que six types de base d’émotions qui s’enregistrent sur le visage. Cependant, Crawford note que depuis l’introduction de la théorie d’Ekman, des études ont montré qu’il y a une grande variabilité dans les expressions faciales et que les expressions peuvent changer rapidement en fonction des situations et des cultures.

“En même temps que ces technologies sont déployées, un grand nombre d’études montrent qu’il n’y a… aucune preuve substantielle que les personnes aient une relation cohérente entre l’émotion qu’elles ressentent et la façon dont leur visage apparaît”, a déclaré Crawford à la BBC.

Pour cette raison, l’institut AI Now soutient que beaucoup de reconnaissance des affects est basée sur des théories peu fiables et une science douteuse. Par conséquent, les systèmes de détection des émotions ne devraient pas être déployés jusqu’à ce que des recherches plus approfondies aient été menées et que “les gouvernements devraient spécifiquement interdire l’utilisation de la reconnaissance des affects dans les processus de prise de décision à haut risque”. L’Institut AI Now a fait valoir que nous devrions notamment cesser d’utiliser la technologie dans des “contextes sociaux et politiques sensibles”, des contextes qui incluent l’emploi, l’éducation et la police.

Au moins une entreprise de développement d’IA spécialisée dans la reconnaissance des affects, Emteq, a convenu qu’il devrait y avoir une réglementation pour prévenir les mauvaises utilisations de la technologie. Le fondateur d’Emteq, Charles Nduka, a expliqué à la BBC que même si les systèmes d’IA peuvent reconnaître avec précision les différentes expressions faciales, il n’y a pas de carte simple de l’expression à l’émotion. Nduka a exprimé sa préoccupation quant à la réglementation étant allée trop loin et étouffant la recherche, notant que si “les choses doivent être interdites, il est très important que les gens ne jettent pas le bébé avec l’eau du bain”.

Comme le rapporte NextWeb, l’Institut AI Now a également recommandé un certain nombre d’autres politiques et de normes qui devraient guider l’industrie de l’IA à l’avenir.

L’Institut AI Now a souligné la nécessité pour l’industrie de l’IA de rendre les lieux de travail plus diversifiés et a déclaré que les travailleurs devraient avoir la garantie d’un droit de faire part de leurs préoccupations concernant l’IA envahissante et exploiteuse. Les travailleurs du secteur technologique devraient également avoir le droit de savoir si leurs efforts sont utilisés pour construire des travaux nocifs ou contraires à l’éthique.

L’Institut AI Now a également suggéré que les législateurs prennent des mesures pour exiger un consentement éclairé pour l’utilisation de toutes les données dérivées de l’IA liée à la santé. Au-delà de cela, il a été conseillé de prendre plus au sérieux la confidentialité des données et que les États devraient travailler à concevoir des lois sur la confidentialité des données biométriques couvrant à la fois les entités privées et publiques.

Enfin, l’institut a conseillé que l’industrie de l’IA commence à réfléchir et à agir de manière plus globale, en essayant de résoudre les conséquences politiques, sociales et écologiques plus larges de l’IA. Il a été recommandé qu’il y ait un effort substantiel pour tenir compte de l’impact de l’IA en termes de déplacement géographique et de climat et que les gouvernements devraient rendre public l’impact climatique de l’industrie de l’IA.