Pesquisadores Usam IA Para Investigar Como Reflexos Diferem de Imagens Originais

Pesquisadores da Universidade Cornell recentemente utilizaram sistemas de aprendizado de máquina para investigar como reflexos de imagens são diferentes das imagens originais. Conforme relatado pela ScienceDaily, os algoritmos criados pela equipe de pesquisadores encontraram que havia sinais reveladores, diferenças da imagem original, que uma imagem havia sido invertida ou refletida.

O professor associado de ciência da computação na Cornell Tech, Noah Snavely, foi o autor sênior do estudo. De acordo com Snavely, o projeto de pesquisa começou quando os pesquisadores se intrigaram com como as imagens eram diferentes de maneiras óbvias e sutis quando eram refletidas. Snavely explicou que mesmo as coisas que parecem muito simétricas à primeira vista podem ser distinguidas como uma reflexão quando estudadas. “Estou intrigado pelas descobertas que você pode fazer com novas maneiras de obter informações”, disse Snavely, de acordo com a ScienceDaily.

Os pesquisadores se concentraram em imagens de pessoas, usando-as para treinar seus algoritmos. Isso foi feito porque os rostos não parecem obviamente assimétricos. Quando treinados em dados que distinguiam imagens invertidas de imagens originais, a IA relatou uma precisão de 60% a 90% em vários tipos de imagens.

Muitos dos sinais visuais de uma imagem invertida que a IA aprendeu são bastante sutis e difíceis para os humanos discernir quando olham para as imagens invertidas. Para melhor interpretar os recursos que a IA estava usando para distinguir entre imagens invertidas e originais, os pesquisadores criaram um mapa de calor. O mapa de calor mostrou regiões da imagem que a IA tendia a se concentrar. De acordo com os pesquisadores, um dos principais indícios que a IA usou para distinguir imagens invertidas foi o texto. Isso não foi surpreendente, e os pesquisadores removeram imagens contendo texto de seus dados de treinamento para obter uma ideia melhor das diferenças mais sutis entre imagens invertidas e originais.

Depois que as imagens contendo texto foram removidas do conjunto de treinamento, os pesquisadores encontraram que o classificador de IA se concentrou em recursos das imagens como colarinhos de camisas, celulares, relógios de pulso e rostos. Alguns desses recursos têm padrões óbvios e confiáveis que a IA pode se concentrar, como o fato de as pessoas geralmente carregarem celulares na mão direita e os botões de colarinhos de camisas estarem geralmente no lado esquerdo. No entanto, os recursos faciais são tipicamente altamente simétricos, com diferenças pequenas e muito difíceis para um observador humano detectar.

Os pesquisadores criaram outro mapa de calor que destacou as áreas dos rostos que a IA tendia a se concentrar. A IA frequentemente usava os olhos, cabelo e barbas das pessoas para detectar imagens invertidas. Por razões que não são claras, as pessoas geralmente olham ligeiramente para a esquerda quando têm fotos tiradas. Quanto ao porquê de cabelo e barbas serem indicadores de imagens invertidas, os pesquisadores não têm certeza, mas teorizam que a mão de uma pessoa pode ser revelada pela maneira como ela barbeia ou penteia. Embora esses indicadores possam ser pouco confiáveis, combinando vários indicadores juntos, os pesquisadores podem alcançar maior confiança e precisão.

Mais pesquisas nessa linha precisarão ser realizadas, mas se os resultados forem consistentes e confiáveis, então podem ajudar os pesquisadores a encontrar maneiras mais eficientes de treinar algoritmos de aprendizado de máquina. A IA de visão computacional é frequentemente treinada usando reflexos de imagens, pois é uma maneira eficaz e rápida de aumentar a quantidade de dados de treinamento disponíveis. É possível que analisar como as imagens refletidas são diferentes possa ajudar os pesquisadores de aprendizado de máquina a obter uma melhor compreensão dos vieses presentes nos modelos de aprendizado de máquina que podem causar a classificação incorreta de imagens.

Como Snavely foi citado pela ScienceDaily:

“Isso leva a uma pergunta aberta para a comunidade de visão computacional, que é, quando é OK fazer essa inversão para aumentar o conjunto de dados, e quando não é OK? Estou esperando que isso faça as pessoas pensarem mais sobre essas perguntas e começarem a desenvolver ferramentas para entender como isso está viesando o algoritmo.”