Instituto AI Now advierte sobre el mal uso del software de detección de emociones y otros problemas éticos

El Instituto AI Now ha publicado un informe que urge a los legisladores y otros organismos reguladores a establecer límites estrictos sobre el uso de la tecnología de detección de emociones, prohibiéndola en casos donde se utilice para tomar decisiones importantes como la contratación de empleados o la aceptación de estudiantes. Además, el informe contenía una serie de otras sugerencias sobre una variedad de temas en el campo de la IA.

El Instituto AI Now es un instituto de investigación con sede en NYU, que tiene como misión estudiar el impacto de la IA en la sociedad. AI Now publica un informe anual que muestra sus hallazgos sobre el estado de la investigación de la IA y las implicaciones éticas de cómo se está utilizando la IA. Como informó la BBC, el informe de este año abordó temas como la discriminación algorítmica, la falta de diversidad en la investigación de la IA y los problemas laborales.

El reconocimiento de afecto, el término técnico para los algoritmos de detección de emociones, es un área de investigación de la IA en rápida expansión. Quienes emplean la tecnología para tomar decisiones a menudo afirman que los sistemas pueden obtener información confiable sobre los estados emocionales de las personas analizando microexpresiones, junto con otros indicios como el tono de voz y el lenguaje corporal. El Instituto AI Now señala que la tecnología se está utilizando en una amplia gama de aplicaciones, como determinar a quién contratar, establecer precios de seguros y monitorear si los estudiantes están prestando atención en clase.

La profesora Kate Crawford, cofundadora de AI Now, explicó que a menudo se cree que las emociones humanas se pueden predecir con precisión con modelos relativamente simples. Crawford dijo que algunas empresas están basando el desarrollo de su software en el trabajo de Paul Ekman, un psicólogo que hipotetizó que solo hay seis tipos básicos de emociones que se registran en la cara. Sin embargo, Crawford señala que desde que se introdujo la teoría de Ekman, los estudios han encontrado que hay mucha más variabilidad en las expresiones faciales y que las expresiones pueden cambiar fácilmente en diferentes situaciones y culturas.

“Al mismo tiempo que se están implementando estas tecnologías, un gran número de estudios están mostrando que no hay… ninguna evidencia sustancial de que las personas tengan una relación consistente entre la emoción que están sintiendo y la forma en que se ve su cara”, dijo Crawford a la BBC.

Por esta razón, el Instituto AI Now argumenta que gran parte del reconocimiento de afecto se basa en teorías poco fiables y ciencia cuestionable. Por lo tanto, los sistemas de detección de emociones no deben desplegarse hasta que se haya realizado más investigación y que “los gobiernos deben prohibir específicamente el uso del reconocimiento de afecto en procesos de toma de decisiones de alto riesgo”. AI Now argumentó que debemos detener especialmente el uso de la tecnología en “contextos sociales y políticos sensibles”, contextos que incluyen el empleo, la educación y la aplicación de la ley.

Al menos una empresa de desarrollo de IA especializada en reconocimiento de afecto, Emteq, estuvo de acuerdo en que debe haber regulación para prevenir el mal uso de la tecnología. El fundador de Emteq, Charles Nduka, explicó a la BBC que si bien los sistemas de IA pueden reconocer con precisión diferentes expresiones faciales, no hay un mapa simple de expresión a emoción. Nduka expresó preocupación por que la regulación se lleve demasiado lejos y ahogue la investigación, señalando que si “las cosas van a ser prohibidas, es muy importante que la gente no tire el bebé con el agua del baño”.

Como informa NextWeb, AI Now también recomendó una serie de otras políticas y normas que deben guiar a la industria de la IA en el futuro.

AI Now destacó la necesidad de que la industria de la IA haga que los lugares de trabajo sean más diversos y declaró que los trabajadores deben tener garantizado el derecho a expresar sus preocupaciones sobre la IA invasiva y explotadora. Los trabajadores de la tecnología también deben tener el derecho a saber si sus esfuerzos se están utilizando para construir trabajos perjudiciales o poco éticos.

AI Now también sugirió que los legisladores tomen medidas para requerir el consentimiento informado para el uso de cualquier dato derivado de la IA relacionada con la salud. Más allá de esto, se aconsejó que se tome más en serio la privacidad de los datos y que los estados trabajen para diseñar leyes de privacidad para los datos biométricos que cubran tanto entidades privadas como públicas.

Finalmente, el instituto aconsejó que la industria de la IA comience a pensar y actuar de manera más global, tratando de abordar las mayores consecuencias políticas, sociales y ecológicas de la IA. Se recomendó que haya un esfuerzo sustancial para tener en cuenta el impacto de la IA en cuanto a desplazamiento geográfico y clima, y que los gobiernos hagan que el impacto climático de la industria de la IA sea públicamente accesible.