Investigadores utilizan IA para investigar cómo las reflexiones difieren de las imágenes originales

Los investigadores de la Universidad de Cornell utilizaron recientemente sistemas de aprendizaje automático para investigar cómo las reflexiones de las imágenes son diferentes de las imágenes originales. Según ScienceDaily, los algoritmos creados por el equipo de investigadores encontraron que había señales reveladoras, diferencias con la imagen original, que indicaban que una imagen había sido volteada o reflejada.

El profesor asociado de ciencias de la computación en Cornell Tech, Noah Snavely, fue el autor principal del estudio. Según Snavely, el proyecto de investigación comenzó cuando los investigadores se intrigaron por cómo las imágenes eran diferentes de maneras obvias y sutiles cuando se reflejaban. Snavely explicó que incluso las cosas que parecen muy simétricas a primera vista pueden distinguirse como una reflexión cuando se estudian. “Me intriga lo que se puede descubrir con nuevas formas de obtener información”, dijo Snavely, según ScienceDaily.

Los investigadores se centraron en imágenes de personas, utilizando imágenes para entrenar a sus algoritmos. Esto se hizo porque las caras no parecen asimétricas de manera obvia. Cuando se entrenó en datos que distinguían imágenes volteadas de imágenes originales, la IA logró una precisión del 60% al 90% en varios tipos de imágenes.

Muchos de los rasgos visuales de una imagen volteada que la IA aprendió son muy sutiles y difíciles de discernir para los humanos cuando miran las imágenes volteadas. Para interpretar mejor las características que la IA utilizaba para distinguir entre imágenes originales y volteadas, los investigadores crearon un mapa de calor. El mapa de calor mostró las regiones de la imagen en las que la IA se centraba. Según los investigadores, uno de los indicios más comunes que la IA utilizaba para distinguir imágenes volteadas era el texto. Esto no fue sorprendente, y los investigadores eliminaron las imágenes que contenían texto de su conjunto de entrenamiento para obtener una mejor idea de las diferencias más sutiles entre imágenes originales y volteadas.

Después de que se eliminaron las imágenes que contenían texto del conjunto de entrenamiento, los investigadores encontraron que el clasificador de IA se centraba en características de las imágenes como cuellos de camisas, teléfonos celulares, relojes de pulsera y caras. Algunas de estas características tienen patrones obvios y confiables en los que la IA puede centrarse, como el hecho de que las personas a menudo llevan teléfonos celulares en su mano derecha y que los botones de los cuellos de las camisas suelen estar en la izquierda. Sin embargo, las características faciales suelen ser muy simétricas, con diferencias pequeñas y muy difíciles de detectar para un observador humano.

Los investigadores crearon otro mapa de calor que resaltaba las áreas de las caras en las que la IA se centraba. La IA a menudo utilizaba los ojos, el cabello y las barbas de las personas para detectar imágenes volteadas. Por razones que no están claras, las personas a menudo miran ligeramente hacia la izquierda cuando se toman fotos de ellas. En cuanto a por qué el cabello y las barbas son indicadores de imágenes volteadas, los investigadores no están seguros, pero teorizan que la diestra de una persona podría revelarse por la forma en que se afeita o peina. Aunque estos indicadores pueden ser poco confiables, al combinar varios indicadores, los investigadores pueden lograr una mayor confianza y precisión.

Se necesitará realizar más investigaciones en esta línea, pero si los hallazgos son consistentes y confiables, podrían ayudar a los investigadores a encontrar formas más eficientes de entrenar algoritmos de aprendizaje automático. La IA de visión por computadora a menudo se entrena utilizando reflexiones de imágenes, ya que es una forma efectiva y rápida de aumentar la cantidad de datos de entrenamiento disponibles. Es posible que analizar cómo las imágenes reflejadas son diferentes pueda ayudar a los investigadores de aprendizaje automático a obtener una mejor comprensión de los sesgos presentes en los modelos de aprendizaje automático que podrían hacer que clasifiquen las imágenes de manera incorrecta.

Como Snavely fue citado por ScienceDaily:

“Esto plantea una pregunta abierta para la comunidad de visión por computadora, que es, ¿cuándo es aceptable hacer esto para aumentar el conjunto de datos, y cuándo no es aceptable? Espero que esto haga que la gente piense más en estas preguntas y comience a desarrollar herramientas para comprender cómo está sesgando el algoritmo”.