L’institut AI Now met en garde contre les mauvaises utilisations des logiciels de détection des émotions et d’autres problèmes éthiques

L’institut AI Now a publié un rapport qui exhorte les législateurs et les autres organismes de régulation à établir des limites strictes pour l’utilisation de la technologie de détection des émotions, en l’interdisant dans les cas où elle pourrait être utilisée pour prendre des décisions importantes telles que l’embauche de personnel ou l’admission d’étudiants. En outre, le rapport contenait un certain nombre de suggestions concernant une gamme de sujets dans le domaine de l’IA.

L’institut AI Now est un institut de recherche basé à NYU, dont la mission est d’étudier l’impact de l’IA sur la société. AI Now publie un rapport annuel présentant ses conclusions sur l’état de la recherche en IA et les implications éthiques de l’utilisation actuelle de l’IA. Comme l’a rapporté la BBC, le rapport de cette année a abordé des sujets tels que la discrimination algorithmique, le manque de diversité dans la recherche en IA et les problèmes de main-d’œuvre.

La reconnaissance des affects, le terme technique pour les algorithmes de détection des émotions, est un domaine de recherche en IA en pleine croissance. Ceux qui utilisent la technologie pour prendre des décisions affirment souvent que les systèmes peuvent tirer des informations fiables sur les états émotionnels des personnes en analysant les micro-expressions, ainsi que d’autres indices tels que le ton de la voix et le langage corporel. L’institut AI Now note que la technologie est utilisée dans une large gamme d’applications, telles que la détermination de qui embaucher, la fixation des prix des assurances et la surveillance de l’attention des étudiants en classe.

La professeure Kate Crawford, co-fondatrice de l’institut AI Now, a expliqué que l’on pense souvent que les émotions humaines peuvent être prédites avec précision à l’aide de modèles relativement simples. Crawford a déclaré que certaines entreprises basent le développement de leurs logiciels sur le travail de Paul Ekman, un psychologue qui a hypothétisé qu’il n’y a que six types de base d’émotions qui s’enregistrent sur le visage. Cependant, Crawford note que depuis l’introduction de la théorie d’Ekman, des études ont montré qu’il y a une grande variabilité dans les expressions faciales et que les expressions peuvent changer facilement d’une situation à l’autre et d’une culture à l’autre.

“Au même moment où ces technologies sont déployées, un grand nombre d’études montrent qu’il n’y a… aucune preuve substantielle que les gens aient une relation cohérente entre l’émotion qu’ils ressentent et la façon dont leur visage apparaît”, a déclaré Crawford à la BBC.

Pour cette raison, l’institut AI Now soutient que beaucoup de la reconnaissance des affects est basée sur des théories peu fiables et une science douteuse. Par conséquent, les systèmes de détection des émotions ne devraient pas être déployés jusqu’à ce que davantage de recherches aient été effectuées et que les “gouvernements devraient spécifiquement interdire l’utilisation de la reconnaissance des affects dans les processus de prise de décision à haut risque”. L’institut AI Now a fait valoir que nous devrions surtout cesser d’utiliser la technologie dans des “contextes sociaux et politiques sensibles”, des contextes qui incluent l’emploi, l’éducation et la police.

Au moins une entreprise de développement d’IA spécialisée dans la reconnaissance des affects, Emteq, a convenu qu’il devrait y avoir une réglementation pour prévenir les mauvaises utilisations de la technologie. Le fondateur d’Emteq, Charles Nduka, a expliqué à la BBC que même si les systèmes d’IA peuvent reconnaître avec précision différentes expressions faciales, il n’y a pas de carte simple de l’expression à l’émotion. Nduka a exprimé des inquiétudes quant à la réglementation étant allée trop loin et étouffant la recherche, notant que si “les choses sont interdites, il est très important que les gens ne jettent pas le bébé avec l’eau du bain”.

Comme le rapporte NextWeb, l’institut AI Now a également recommandé un certain nombre de politiques et de normes qui devraient guider l’industrie de l’IA à l’avenir.

L’institut AI Now a souligné la nécessité pour l’industrie de l’IA de rendre les lieux de travail plus diversifiés et a déclaré que les travailleurs devraient avoir le droit de faire part de leurs préoccupations concernant l’IA envahissante et exploitante. Les travailleurs de la technologie devraient également avoir le droit de savoir si leurs efforts sont utilisés pour construire un travail nuisible ou contraire à l’éthique.

L’institut AI Now a également suggéré que les législateurs prennent des mesures pour exiger un consentement éclairé pour l’utilisation de toute donnée dérivée de l’IA liée à la santé. Au-delà de cela, il a été conseillé que la confidentialité des données soit prise plus au sérieux et que les États travaillent à élaborer des lois sur la confidentialité pour les données biométriques couvrant à la fois les entités privées et publiques.

Enfin, l’institut a conseillé que l’industrie de l’IA commence à réfléchir et à agir de manière plus globale, en essayant de résoudre les conséquences politiques, sociétales et écologiques plus larges de l’IA. Il a été recommandé qu’il y ait un effort substantiel pour tenir compte de l’impact de l’IA en matière de déplacement géographique et de climat, et que les gouvernements devraient rendre publiquement disponibles les informations sur l’impact climatique de l’industrie de l’IA.