Investigadores Desarrollan Nueva Herramienta para Combatir el Sesgo en la Visión por Computadora

Uno de los problemas recientes que ha surgido en el campo de la inteligencia artificial (IA) es el sesgo en la visión por computadora. Muchos expertos están descubriendo sesgos dentro de los sistemas de IA, lo que lleva a resultados sesgados en diversas aplicaciones, como programas de sentencias en tribunales.

Hay un gran esfuerzo en marcha para solucionar algunos de estos problemas, y el último desarrollo proviene de la Universidad de Princeton. Los investigadores de la institución han creado una nueva herramienta que puede detectar posibles sesgos en las imágenes utilizadas para entrenar a los sistemas de IA.

El trabajo se presentó el 24 de agosto en la Conferencia Europea de Visión por Computadora virtual.

Sesgo en los Sistemas de IA

Una de las principales razones del sesgo presente en los sistemas de IA actuales es que a menudo se entrenan con grandes conjuntos de imágenes procedentes de fuentes en línea. Estas imágenes pueden ser estereotipadas, y cuando se utilizan para desarrollar la visión por computadora, el resultado puede ser un modelo influenciado involuntariamente. La visión por computadora es lo que permite a los ordenadores identificar a las personas, objetos y acciones.

La herramienta desarrollada por los investigadores es de código abierto y puede detectar automáticamente posibles sesgos en los conjuntos de datos visuales. Funciona tomando medidas antes de que los conjuntos de imágenes se utilicen para entrenar a los modelos de visión por computadora, y los problemas relacionados con la subrepresentación y los estereotipos se pueden solucionar antes de que tengan un efecto.

REVISE

La nueva herramienta se llama REVISE, y se basa en métodos estadísticos para detectar posibles sesgos en un conjunto de datos. Se centra en tres áreas: basada en objetos, basada en género y basada en geografía.

REVISE es completamente automática y se construyó sobre métodos anteriores que incluían el filtrado y el equilibrio de las imágenes de los conjuntos de datos para que el usuario tuviera más control.

La nueva herramienta se basa en anotaciones y mediciones de imágenes existentes para analizar el contenido dentro de un conjunto de datos. Algunas de esas anotaciones existentes incluyen el recuento de objetos y los países de origen de las imágenes.

En un ejemplo de la herramienta en funcionamiento, REVISE mostró cómo las imágenes de personas y flores eran diferentes según el género. Los hombres eran más propensos a aparecer con flores en ceremonias o reuniones, y las mujeres eran más propensos a aparecer con flores en pinturas o escenarios organizados.

Olga Russaskovsky es profesora asistente de ciencias de la computadora y investigadora principal del Laboratorio de IA Visual. El artículo fue coescrito con la estudiante de posgrado Angelina Wang y el profesor asistente de ciencias de la computadora, Arvind Narayanan.

Después de que la herramienta identifica las discrepancias, “entonces hay la pregunta de si esto es un hecho completamente inocuo o si algo más profundo está sucediendo, y eso es muy difícil de automatizar”, dijo Russaskovsky.

Regiones Subrepresentadas o Mal Representadas

Varias regiones de todo el mundo están subrepresentadas en los conjuntos de datos de visión por computadora, lo que puede llevar a sesgos en los sistemas de IA. Uno de los hallazgos fue que una cantidad dramáticamente mayor de imágenes provienen de Estados Unidos y países europeos. REVISE también reveló que las imágenes de otras partes del mundo a menudo no tienen subtítulos en el idioma local, lo que significa que muchas pueden provenir de la perspectiva de un turista de una nación.

“… este análisis geográfico muestra que el reconocimiento de objetos aún puede ser bastante sesgado y excluyente, y puede afectar a diferentes regiones y personas de manera desigual”, continuó Russaskovsky.

“Las prácticas de recopilación de conjuntos de datos en ciencias de la computadora no han sido examinadas exhaustivamente hasta hace poco”, dijo Wang. Cuando se trata de la recopilación de imágenes, “se extraen de Internet, y la gente no siempre se da cuenta de que sus imágenes se están utilizando [en los conjuntos de datos]. Deberíamos recopilar imágenes de grupos más diversos de personas, pero cuando lo hacemos, debemos tener cuidado de obtener las imágenes de una manera respetuosa”.

Vicente Ordonez-Roman es profesor asistente de ciencias de la computadora en la Universidad de Virginia.

“Herramientas y benchmarks son un paso importante… nos permiten capturar estos sesgos antes en el proceso y replantearnos nuestra configuración de problemas y suposiciones, así como las prácticas de recopilación de datos”, dijo Ordonez-Roman. “En la visión por computadora, hay algunos desafíos específicos relacionados con la representación y la propagación de estereotipos. Trabajos como los del Laboratorio de IA Visual de Princeton ayudan a elucidar y llamar la atención de la comunidad de visión por computadora sobre algunos de estos problemas y ofrecen estrategias para mitigarlos”.

La nueva herramienta desarrollada por los investigadores es un paso importante para ayudar a solucionar el sesgo presente en los sistemas de IA. Ahora es el momento de solucionar estos problemas, ya que se volverá mucho más difícil a medida que los sistemas progresen y se vuelvan más complejos.