Investigadores utilizan la IA para investigar cómo las reflexiones difieren de las imágenes originales

Investigadores de la Universidad de Cornell utilizaron recientemente sistemas de aprendizaje automático para investigar cómo las reflexiones de las imágenes son diferentes de las imágenes originales. Según ScienceDaily, los algoritmos creados por el equipo de investigadores encontraron que había señales de advertencia, diferencias de la imagen original, que indicaban que una imagen había sido volteada o reflejada.

El profesor asociado de ciencias de la computación en Cornell Tech, Noah Snavely, fue el autor principal del estudio. Según Snavely, el proyecto de investigación comenzó cuando los investigadores se intrigaron por cómo las imágenes eran diferentes en formas obvias y sutiles cuando se reflejaban. Snavely explicó que incluso las cosas que parecen muy simétricas a primera vista pueden distinguirse como una reflexión cuando se estudian. “Me intriga lo que se puede descubrir con nuevas formas de obtener información”, dijo Snavely, según ScienceDaily.

Los investigadores se centraron en imágenes de personas, utilizando estas imágenes para entrenar sus algoritmos. Esto se hizo porque las caras no parecen asimétricas de manera obvia. Cuando se entrenó con datos que distinguían imágenes volteadas de imágenes originales, la IA logró una precisión del 60% al 90% en varios tipos de imágenes.

Muchas de las características visuales de una imagen volteada que la IA aprendió son bastante sutiles y difíciles de discernir para los humanos cuando se observan las imágenes volteadas. Para interpretar mejor las características que la IA utilizaba para distinguir entre imágenes volteadas y originales, los investigadores crearon un mapa de calor. El mapa de calor mostró las regiones de la imagen en las que la IA se centraba. Según los investigadores, una de las pistas más comunes que la IA utilizaba para distinguir imágenes volteadas era el texto. Esto no fue sorprendente, y los investigadores eliminaron las imágenes que contenían texto de su conjunto de entrenamiento para obtener una mejor idea de las diferencias más sutiles entre imágenes volteadas y originales.

Después de eliminar las imágenes que contenían texto del conjunto de entrenamiento, los investigadores encontraron que el clasificador de IA se centraba en características de las imágenes como los cuellos de las camisas, los teléfonos celulares, los relojes de pulsera y las caras. Algunas de estas características tienen patrones obvios y confiables en los que la IA puede centrarse, como el hecho de que las personas suelen llevar teléfonos celulares en su mano derecha y que los botones de los cuellos de las camisas suelen estar en la izquierda. Sin embargo, las características faciales suelen ser muy simétricas, con diferencias pequeñas y muy difíciles de detectar para un observador humano.

Los investigadores crearon otro mapa de calor que resaltaba las áreas de las caras en las que la IA se centraba. La IA a menudo utilizaba los ojos, el cabello y las barbas de las personas para detectar imágenes volteadas. Por razones que no están claras, las personas suelen mirar ligeramente hacia la izquierda cuando se les toman fotos. En cuanto a por qué el cabello y las barbas son indicadores de imágenes volteadas, los investigadores no están seguros, pero teorizan que la diestra de una persona podría revelarse por la forma en que se afeita o peina. Aunque estos indicadores pueden ser poco confiables, al combinar varios indicadores, los investigadores pueden lograr una mayor confianza y precisión.

Se necesitará realizar más investigaciones en esta línea, pero si los hallazgos son consistentes y confiables, podrían ayudar a los investigadores a encontrar formas más eficientes de entrenar algoritmos de aprendizaje automático. La visión artificial por computadora a menudo se entrena utilizando reflexiones de imágenes, ya que es una forma efectiva y rápida de aumentar la cantidad de datos de entrenamiento disponibles. Es posible que analizar cómo las imágenes reflejadas son diferentes pueda ayudar a los investigadores de aprendizaje automático a comprender mejor los sesgos presentes en los modelos de aprendizaje automático que podrían hacer que clasifiquen incorrectamente las imágenes.

Como Snavely fue citado por ScienceDaily:

“Esto plantea una pregunta abierta para la comunidad de visión artificial, que es, ¿cuándo es aceptable hacer este volteo para aumentar el conjunto de datos, y cuándo no es aceptable? Espero que esto haga que la gente piense más sobre estas preguntas y comience a desarrollar herramientas para comprender cómo está sesgando el algoritmo.”