Técnica de Visão Computacional Prevê Comportamento Humano a Partir de Vídeos

Uma nova técnica de visão computacional desenvolvida por pesquisadores da Columbia Engineering pode prever o comportamento humano a partir de vídeos. A nova técnica dá às máquinas um senso intuitivo, permitindo que elas predigam o que acontecerá em seguida, utilizando associações de alto nível entre pessoas, animais e objetos.

Carl Vondrick é professor assistente de ciência da computação na Columbia. Vondrick dirigiu o estudo, que foi apresentado em 24 de junho na Conferência Internacional sobre Visão Computacional e Reconhecimento de Padrões.

“Nosso algoritmo é um passo em direção a máquinas que possam fazer previsões melhores sobre o comportamento humano e, assim, coordenar melhor suas ações com as nossas”, disse Vondrick. “Nossos resultados abrem uma série de possibilidades para colaboração entre humanos e robôs, veículos autônomos e tecnologia assistiva.”

O novo método é o mais preciso do seu tipo até o momento para previsão de eventos de ação de vídeo vários minutos no futuro. O sistema primeiro analisou milhares de horas de filmes, jogos esportivos e shows antes de prever centenas de atividades, como apertos de mão e cumprimentos.

Se o sistema não puder prever uma ação específica, ele encontra um conceito de alto nível que as liga, como a palavra “cumprimento”.

Tentativas Anteriores

As tentativas anteriores de aprendizado de máquina preditivo geralmente se concentraram em prever uma ação de cada vez, com os algoritmos decidindo classificar a ação, por exemplo, como um abraço, aperto de mão, cumprimento ou não ação. No entanto, a alta incerteza significa que a maioria dos modelos de aprendizado de máquina não consegue encontrar semelhanças entre as opções possíveis.

A equipe incluiu os estudantes de doutorado da Columbia Engineering Didac Suris e Ruoshi Liu, e o duo olhou para o problema de previsão de longo prazo de uma maneira um pouco diferente.

Suris é coautor principal do artigo.

“Não tudo no futuro é previsível”, disse Suris. “Quando uma pessoa não pode prever exatamente o que acontecerá, ela joga seguro e prevê em um nível de abstração mais alto. Nosso algoritmo é o primeiro a aprender essa capacidade de raciocinar de forma abstrata sobre eventos futuros.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Desenvolvendo o Novo Sistema

Suris e Liu confiaram em geometrias incomuns para desenvolver modelos de IA que organizam conceitos de alto nível e preveem o comportamento humano no futuro.

Aude Oliva, que não esteve envolvida no estudo, é cientista de pesquisa sênior no Instituto de Tecnologia de Massachusetts e codiretora do Laboratório de IA Watson da MIT-IBM.

“A previsão é a base da inteligência humana”, disse Oliva. “As máquinas cometem erros que os humanos nunca cometeriam porque falta a eles a nossa capacidade de raciocinar de forma abstrata. Este trabalho é um passo fundamental para fechar essa lacuna tecnológica.”

Os pesquisadores desenvolveram uma estrutura matemática que permite que as máquinas organizem eventos por quão previsíveis eles são no futuro. Por exemplo, o novo sistema aprende a categorizar atividades como natação e corrida como suas próprias, em vez de apenas exercícios. O sistema também é capaz de levar em conta a incerteza, o que leva a ações mais específicas.

De acordo com Liu, coautor principal do artigo, a técnica recém-desenvolvida pode ajudar os computadores a tomar decisões mais nuances em vez de ações pré-programadas, e é fundamental para construir confiança entre humanos e computadores.

“A confiança vem do sentimento de que o robô realmente entende as pessoas”, explica ele. “Se as máquinas puderem entender e antecipar nossos comportamentos, os computadores serão capazes de levar a efeito uma assistência mais eficaz às pessoas em suas atividades diárias.”

A equipe agora busca verificar se a técnica funciona no mundo real, e ela pode ser implantada para segurança, saúde e segurança.

“O comportamento humano é frequentemente surpreendente”, diz Vondrick. “Nossos algoritmos permitem que as máquinas antecipem melhor o que elas farão em seguida.”