Técnica de Visión por Computadora Predice el Comportamiento Humano a Partir de Videos

Una nueva técnica de visión por computadora desarrollada por investigadores de Columbia Engineering puede predecir el comportamiento humano a partir de videos. La nueva técnica da a las máquinas un sentido intuitivo que les permite predecir qué ocurrirá a continuación utilizando asociaciones de nivel superior entre personas, animales y objetos.

Carl Vondrick es profesor asistente de ciencias de la computación en Columbia. Vondrick dirigió el estudio, que se presentó el 24 de junio en la Conferencia Internacional sobre Visión por Computadora y Reconocimiento de Patrones. 

“Nuestro algoritmo es un paso hacia que las máquinas puedan hacer mejores predicciones sobre el comportamiento humano, y así coordinar mejor sus acciones con las nuestras”, dijo Vondrick. “Nuestros resultados abren una serie de posibilidades para la colaboración entre humanos y robots, vehículos autónomos y tecnología asistiva”.

El nuevo método es el más preciso de su tipo hasta la fecha para la predicción de eventos de acción de video varios minutos en el futuro. El sistema primero analizó miles de horas de películas, partidos de deportes y programas antes de proceder a predecir cientos de actividades, como estrechar la mano y dar un golpe de puño. 

Si el sistema no puede predecir una acción específica, encuentra un concepto de nivel superior que los relaciona, como la palabra “saludo”. 

Intentos Anteriores

Los intentos anteriores de aprendizaje automático predictivo se centraron generalmente en predecir una acción a la vez, con los algoritmos decidiendo clasificar la acción, por ejemplo, como un abrazo, un apretón de manos, un alto cinco o no acción. Sin embargo, la alta incertidumbre significa que la mayoría de los modelos de aprendizaje automático no pueden encontrar similitudes entre las opciones posibles. 

El equipo incluyó a los estudiantes de doctorado de Columbia Engineering Didac Suris y Ruoshi Liu, y la pareja miró el problema de predicción a largo plazo de una manera un poco diferente. 

Suris es coautor principal del artículo.

“No todo en el futuro es predecible”, dijo Suris. “Cuando una persona no puede prever exactamente qué ocurrirá, juega con seguridad y predice a un nivel de abstracción más alto. Nuestro algoritmo es el primero en aprender esta capacidad para razonar de manera abstracta sobre eventos futuros”.

https://www.youtube.com/watch?v=b1riFCPiqN4

Desarrollando el Nuevo Sistema

Suris y Liu confiaron en geometrías inusuales para desarrollar modelos de inteligencia artificial que organicen conceptos de nivel superior y predigan el comportamiento humano en el futuro. 

Aude Oliva, que no participó en el estudio, es científica de investigación sénior en el Instituto de Tecnología de Massachusetts y codirectora del Laboratorio de Inteligencia Artificial MIT-IBM Watson. 

“La predicción es la base de la inteligencia humana”, dijo Oliva. “Las máquinas cometen errores que los humanos nunca cometerían porque les falta nuestra capacidad para razonar de manera abstracta. Este trabajo es un paso fundamental hacia cerrar esta brecha tecnológica”.

Los investigadores desarrollaron un marco matemático que permite a las máquinas organizar los eventos según lo predecibles que sean en el futuro. Por ejemplo, el nuevo sistema aprende a categorizar actividades como nadar y correr como propias, en lugar de simplemente hacer ejercicio. El sistema también puede tener en cuenta la incertidumbre, lo que conduce a acciones más específicas.

Según Liu, coautor principal del artículo, la técnica recién desarrollada podría ayudar a los ordenadores a tomar decisiones matizadas en lugar de acciones preprogramadas, y es crucial para establecer la confianza entre humanos y ordenadores. 

“La confianza proviene de la sensación de que el robot realmente entiende a las personas”, explica. “Si las máquinas pueden entender y anticipar nuestros comportamientos, los ordenadores podrán asistir a las personas de manera fluida en la actividad diaria”.

El equipo ahora buscará verificar que la técnica funcione en el mundo real, y podría ser desplegada para la seguridad, la salud y la seguridad.  

“El comportamiento humano a menudo es sorprendente”, dice Vondrick. “Nuestros algoritmos permiten a las máquinas anticipar mejor qué es lo que van a hacer a continuación”.