Consideraciones éticas al desarrollar IA para el reconocimiento de emociones

La inteligencia artificial para la regulación de las emociones es uno de los últimos avances tecnológicos en el campo del aprendizaje automático. Aunque muestra un gran potencial, las cuestiones éticas están a punto de afectar su tasa de adopción y longevidad. ¿Podrán los desarrolladores de IA superarlos? 

¿Qué es la IA de reconocimiento de emociones? 

La IA de reconocimiento de emociones es un tipo de modelo de aprendizaje automático. A menudo se basa en tecnología de visión por computadora que captura y analiza expresiones faciales para descifrar los estados de ánimo en imágenes y videos. Sin embargo, también puede operar con fragmentos de audio para determinar el tono de voz o texto escrito para evaluar el sentimiento del lenguaje.

Este tipo de algoritmo representa un progreso fascinante en el campo de la IA porque, hasta ahora, los modelos no han podido comprender los sentimientos humanos. Si bien los grandes modelos de lenguaje como ChatGPT pueden simular estados de ánimo y personas de manera convincente, solo pueden unir palabras de manera lógica: no pueden sentir nada y no muestran inteligencia emocional. Si bien un modelo de reconocimiento de emociones es incapaz de tener sentimientos, aún puede detectarlos y catalogarlos. Este avance es significativo porque indica que la IA pronto podrá comprender y demostrar genuinamente la felicidad, la tristeza o la ira. Saltos tecnológicos como estos indican un avance acelerado.

Casos de uso para el reconocimiento de emociones con IA

Empresas, educadores, consultores y profesionales de la salud mental son algunos de los grupos que pueden utilizar la IA para el reconocimiento de emociones.

Evaluación de riesgos en la oficina

Los equipos de recursos humanos pueden utilizar algoritmos para realizar análisis de sentimientos en la correspondencia por correo electrónico o en los chats dentro de la aplicación entre los miembros del equipo. Alternativamente, pueden integrar su algoritmo en su sistema de vigilancia o visión por computadora. Los usuarios pueden realizar un seguimiento del estado de ánimo para calcular métricas como el riesgo de rotación, la tasa de agotamiento y la satisfacción de los empleados.

Ayudar a los agentes de servicio al cliente

Los minoristas pueden utilizar agentes internos de servicio al cliente de IA para usuarios finales o asistentes virtuales para resolver situaciones de alto estrés. Dado que su modelo puede reconocer el estado de ánimo, puede sugerir técnicas de reducción de tensión o cambiar su tono cuando se da cuenta de que un consumidor se está enfadando. Contramedidas como estas pueden mejorar la satisfacción y retención del cliente. 

Ayudar a los estudiantes en el aula

Los educadores pueden utilizar esta IA para evitar que los estudiantes remotos se queden atrás. Una startup ya ha utilizado su herramienta para medir los puntos musculares en las caras de los estudiantes mientras cataloga su velocidad y calificaciones. Este método determina su estado de ánimo, motivación, fortalezas y debilidades. El fundador de la startup. afirma que obtienen una puntuación un 10% más alta en las pruebas al utilizar el software.

Realización de investigaciones de mercado internas 

Las empresas pueden realizar investigaciones de mercado internas utilizando un modelo de reconocimiento de emociones. Puede ayudarlos a comprender exactamente cómo reacciona su público objetivo a su producto, servicio o material de marketing, brindándoles información valiosa basada en datos. Como resultado, pueden acelerar el tiempo de comercialización y aumentar sus ingresos. 

El problema del uso de la IA para detectar emociones

Las investigaciones sugieren que la precisión depende en gran medida de la información del entrenamiento. Un grupo de investigación, que intentaba descifrar los sentimientos a partir de imágenes, demostró anecdóticamente este concepto cuando su modelo logró una precisión del 92.05% en el conjunto de datos de expresión facial femenina japonesa y una precisión del 98.13% en el conjunto de datos extendido de Cohn-Kanade.

Si bien la diferencia entre el 92% y el 98% puede parecer insignificante, es importante: esta ligera discrepancia podría tener ramificaciones sustanciales. Como referencia, un conjunto de datos sobre la tasa de envenenamiento tan bajo como 0.001% ha demostrado ser eficaz para establecer puertas traseras de modelos o provocar intencionalmente clasificaciones erróneas. Incluso una fracción de porcentaje es significativa.

Además, aunque los estudios parecen prometedores (las tasas de precisión superiores al 90% muestran potencial), los investigadores los llevan a cabo en entornos controlados. En el mundo real, las imágenes borrosas, las expresiones faciales falsas, los malos ángulos y los sentimientos sutiles son mucho más comunes. En otras palabras, es posible que la IA no pueda funcionar de manera consistente.

El estado actual de la IA para el reconocimiento de emociones

El análisis algorítmico del sentimiento es el proceso de utilizar un algoritmo para determinar si el tono del texto es positivo, neutral o negativo. Podría decirse que esta tecnología es la base de los modelos modernos de detección de emociones, ya que allanó el camino para las evaluaciones algorítmicas del estado de ánimo. Tecnologías similares, como el software de reconocimiento facial, también han contribuido al progreso. 

Los algoritmos actuales sólo pueden detectar estados de ánimo simples como felicidad, tristeza, ira, miedo y sorpresa con distintos grados de precisión. Estas expresiones faciales son innatas y universales, lo que significa que son naturales y se entienden globalmente, por lo que entrenar una IA para identificarlas es relativamente sencillo. 

Además, las expresiones faciales básicas suelen ser exageradas. Las personas fruncen el ceño cuando están enojadas, fruncen el ceño cuando están tristes, sonríen cuando están felices y abren los ojos cuando están en shock. Estas miradas simplistas y dramáticas son fáciles de diferenciar. Las emociones más complejas son más difíciles de identificar porque son sutiles o combinan aspectos básicos.

Dado que este subconjunto de IA permanece en gran medida en investigación y desarrollo, no ha progresado para cubrir sentimientos complejos como anhelo, vergüenza, pena, celos, alivio o confusión. Si bien es probable que con el tiempo cubra más, no hay garantía de que pueda interpretarlos todos.

En realidad, es posible que los algoritmos nunca puedan competir con los humanos. Como referencia, mientras que el conjunto de datos GPT-4 de OpenAI es aproximadamente 1 petabyte, un solo milímetro cúbico de un cerebro humano contiene alrededor de 1.4 petabytes de datos. Los neurocientíficos no pueden comprender completamente cómo el cerebro percibe las emociones a pesar de décadas de investigación, por lo que construir una IA altamente precisa puede resultar imposible.

Si bien el uso de esta tecnología para el reconocimiento de emociones tiene precedentes, este campo aún se encuentra técnicamente en su infancia. Hay una gran cantidad de investigaciones sobre el concepto, pero existen pocos ejemplos reales de implementación a gran escala. Algunas señales indican que un retraso en la adopción puede deberse a preocupaciones sobre la precisión inconsistente y cuestiones éticas.

Consideraciones éticas para desarrolladores de IA

Según una encuesta, El 67% de los encuestados está de acuerdo La IA debería estar algo o mucho más regulada. Para tranquilizar a las personas, los desarrolladores deben minimizar los sesgos, garantizar que sus modelos se comporten como se espera y mejorar los resultados. Estas soluciones son posibles si priorizan las consideraciones éticas durante el desarrollo.

1. Recopilación y utilización consensuada de datos 

El consentimiento lo es todo en una época en la que la regulación de la IA está aumentando. ¿Qué sucede si los empleados descubren que sus expresiones faciales están siendo catalogadas sin su conocimiento? ¿Es necesario que los padres aprueben un análisis de sentimientos basado en la educación o pueden los estudiantes decidir por sí mismos?

Los desarrolladores deben revelar explícitamente qué información recopilará el modelo, cuándo estará en funcionamiento, para qué se utilizará el análisis y quién puede acceder a esos detalles. Además, deben incluir funciones de exclusión voluntaria para que las personas puedan personalizar los permisos. 

2. Resultado del análisis de sentimiento anónimo 

La anonimización de los datos es tanto un problema de privacidad como de seguridad. Los desarrolladores deben anonimizar la información emocional que recopilan para proteger a las personas involucradas. Como mínimo, deberían considerar seriamente aprovechar el cifrado en reposo. 

3. Toma de decisiones con participación humana

La única razón para utilizar la IA para determinar el estado emocional de alguien es informar la toma de decisiones. Como tal, ya sea que se utilice en el ámbito de la salud mental o en un entorno minorista, tendrá un impacto en las personas. Los desarrolladores deben aprovechar las salvaguardias humanas para minimizar el comportamiento inesperado. 

4. Retroalimentación centrada en el ser humano para la producción de IA

Incluso si un algoritmo tiene casi un 100% de precisión, seguirá produciendo falsos positivos. Teniendo en cuenta que no es raro que los modelos alcancen el 50% o el 70% (y eso sin tocar el sesgo o los problemas de alucinaciones), los desarrolladores deberían considerar implementar un sistema de retroalimentación. 

Las personas deberían poder revisar lo que dice la IA sobre su estado emocional y apelar si creen que es falso. Si bien un sistema de este tipo requeriría barreras de seguridad y medidas de rendición de cuentas, minimizaría los impactos adversos derivados de resultados inexactos. 

Las consecuencias de ignorar la ética

Las consideraciones éticas deberían ser una prioridad para los ingenieros de inteligencia artificial, los desarrolladores de aprendizaje automático y los propietarios de empresas porque les afecta. Teniendo en cuenta que están en juego una opinión pública cada vez más insegura y regulaciones más estrictas, las consecuencias de ignorar la ética pueden ser significativas.