El Instituto AI Now Advierte Sobre el Uso Indebido del Software de Detección de Emociones y Otros Problemas Éticos

El Instituto AI Now ha publicado un informe que urge a los legisladores y otros organismos reguladores a establecer límites estrictos en el uso de la tecnología de detección de emociones, prohibiéndola en casos en los que se utilice para tomar decisiones importantes como la contratación de empleados o la aceptación de estudiantes. Además, el informe contenía una serie de otras sugerencias sobre una variedad de temas en el campo de la IA.

El Instituto AI Now es un instituto de investigación con sede en la NYU, cuya misión es estudiar el impacto de la IA en la sociedad. AI Now publica un informe anual que muestra sus hallazgos sobre el estado de la investigación en IA y las implicaciones éticas de cómo se está utilizando la IA actualmente. Según informó la BBC, este año el informe abordó temas como la discriminación algorítmica, la falta de diversidad en la investigación en IA y los problemas laborales.

El reconocimiento de afecto, el término técnico para los algoritmos de detección de emociones, es un área de investigación en IA que crece rápidamente. Quienes emplean la tecnología para tomar decisiones a menudo afirman que los sistemas pueden obtener información confiable sobre los estados emocionales de las personas analizando microexpresiones, así como otros indicios como el tono de voz y el lenguaje corporal. El Instituto AI Now señala que la tecnología se está utilizando en una amplia gama de aplicaciones, como determinar a quién contratar, establecer precios de seguros y monitorear si los estudiantes están prestando atención en clase.

La profesora Kate Crawford, cofundadora de AI Now, explicó que a menudo se cree que las emociones humanas se pueden predecir con precisión con modelos relativamente simples. Crawford dijo que algunas empresas están basando el desarrollo de su software en el trabajo de Paul Ekman, un psicólogo que hipotetizó que hay solo seis tipos básicos de emociones que se registran en la cara. Sin embargo, Crawford señala que desde que se introdujo la teoría de Ekman, los estudios han encontrado que hay mucha más variabilidad en las expresiones faciales y que las expresiones pueden cambiar fácilmente a través de situaciones y culturas.

“Al mismo tiempo que se están implementando estas tecnologías, un gran número de estudios están mostrando que no hay… ninguna evidencia sustancial de que las personas tengan esta relación consistente entre la emoción que se siente y la forma en que se ve la cara”, dijo Crawford a la BBC.

Por esta razón, el Instituto AI Now argumenta que gran parte del reconocimiento de afecto se basa en teorías poco fiables y ciencia cuestionable. Por lo tanto, los sistemas de detección de emociones no deben desplegarse hasta que se haya realizado más investigación y que “los gobiernos deben prohibir específicamente el uso del reconocimiento de afecto en procesos de toma de decisiones de alto riesgo”. AI Now argumentó que debemos detener especialmente el uso de la tecnología en “contextos sociales y políticos sensibles”, contextos que incluyen el empleo, la educación y la aplicación de la ley.

Al menos una empresa de desarrollo de IA especializada en reconocimiento de afecto, Emteq, estuvo de acuerdo en que debe haber regulación para prevenir el mal uso de la tecnología. El fundador de Emteq, Charles Nduka, explicó a la BBC que aunque los sistemas de IA pueden reconocer con precisión diferentes expresiones faciales, no hay un mapa simple desde la expresión hasta la emoción. Nduka expresó preocupación por que la regulación se lleve demasiado lejos y ahogue la investigación, señalando que si “las cosas van a ser prohibidas, es muy importante que la gente no tire el bebé con el agua del baño”.

Según informa NextWeb, AI Now también recomendó una serie de otras políticas y normas que deben guiar a la industria de la IA en el futuro.

AI Now destacó la necesidad de que la industria de la IA haga que los lugares de trabajo sean más diversos y declaró que los trabajadores deben tener garantizado el derecho a expresar sus preocupaciones sobre la IA invasiva y explotadora. Los trabajadores de la tecnología también deben tener el derecho a saber si sus esfuerzos se están utilizando para construir trabajos perjudiciales o poco éticos.

AI Now también sugirió que los legisladores tomen medidas para requerir el consentimiento informado para el uso de cualquier dato derivado de la IA relacionada con la salud. Más allá de esto, se aconsejó que se tome la privacidad de los datos más en serio y que los estados trabajen para diseñar leyes de privacidad para los datos biométricos que cubran tanto entidades privadas como públicas.

Finalmente, el instituto aconsejó que la industria de la IA comience a pensar y actuar de manera más global, tratando de abordar las consecuencias políticas, sociales y ecológicas más amplias de la IA. Se recomendó que se realice un esfuerzo sustancial para dar cuenta del impacto de la IA en cuanto a desplazamiento geográfico y clima, y que los gobiernos deben hacer que el impacto climático de la industria de la IA sea públicamente accesible.