Pesquisadores Usam IA Para Investigar Como Reflexos Diferem de Imagens Originais

Pesquisadores da Universidade Cornell recentemente utilizaram sistemas de aprendizado de máquina para investigar como reflexos de imagens são diferentes das imagens originais. Como relatado pelo ScienceDaily, os algoritmos criados pela equipe de pesquisadores encontraram que havia sinais reveladores, diferenças da imagem original, de que uma imagem havia sido invertida ou refletida.

O professor associado de ciência da computação no Cornell Tech, Noah Snavely, foi o autor sênior do estudo. De acordo com Snavely, o projeto de pesquisa começou quando os pesquisadores se intrigaram com como as imagens eram diferentes de maneira óbvia e sutil quando eram refletidas. Snavely explicou que mesmo coisas que parecem muito simétricas à primeira vista podem ser distinguidas como um reflexo quando estudadas. “Estou intrigado com as descobertas que você pode fazer com novas maneiras de obter informações”, disse Snavely, de acordo com o ScienceDaily.

Os pesquisadores se concentraram em imagens de pessoas, usando-as para treinar seus algoritmos. Isso foi feito porque os rostos não parecem obviamente assimétricos. Quando treinados em dados que distinguiam imagens invertidas de imagens originais, a IA relatou ter alcançado uma precisão de 60% a 90% em vários tipos de imagens.

Muitos dos sinais visuais de uma imagem invertida que a IA aprendeu são muito sutis e difíceis para os humanos discernirem quando olham para as imagens invertidas. Para melhor interpretar os recursos que a IA estava usando para distinguir entre imagens invertidas e originais, os pesquisadores criaram um mapa de calor. O mapa de calor mostrou regiões da imagem que a IA tendia a se concentrar. De acordo com os pesquisadores, um dos principais indícios que a IA usou para distinguir imagens invertidas foi o texto. Isso não foi surpreendente, e os pesquisadores removeram imagens contendo texto de seus dados de treinamento para obter uma ideia melhor das diferenças mais sutis entre imagens invertidas e originais.

Depois que as imagens contendo texto foram removidas do conjunto de treinamento, os pesquisadores encontraram que o classificador de IA se concentrou em recursos das imagens, como colarinhos de camisas, celulares, relógios de pulso e rostos. Alguns desses recursos têm padrões óbvios e confiáveis que a IA pode se concentrar, como o fato de as pessoas geralmente carregarem celulares na mão direita e que os botões dos colarinhos das camisas estão geralmente à esquerda. No entanto, os recursos faciais são tipicamente altamente simétricos, com diferenças sendo pequenas e muito difíceis para um observador humano detectar.

Os pesquisadores criaram outro mapa de calor que destacou as áreas dos rostos que a IA tendia a se concentrar. A IA frequentemente usava os olhos, cabelo e barbas das pessoas para detectar imagens invertidas. Por razões que não estão claras, as pessoas geralmente olham ligeiramente para a esquerda quando têm fotos tiradas delas. Quanto ao porquê de o cabelo e as barbas serem indicadores de imagens invertidas, os pesquisadores estão incertos, mas teorizam que a mão de uma pessoa pode ser revelada pela maneira como elas se barbeiam ou penteiam. Embora esses indicadores possam ser pouco confiáveis, combinando vários indicadores juntos, os pesquisadores podem alcançar maior confiança e precisão.

Mais pesquisas nessa linha precisarão ser realizadas, mas se os achados forem consistentes e confiáveis, então podem ajudar os pesquisadores a encontrar maneiras mais eficientes de treinar algoritmos de aprendizado de máquina. A IA de visão computacional é frequentemente treinada usando reflexos de imagens, pois é uma maneira eficaz e rápida de aumentar a quantidade de dados de treinamento disponíveis. É possível que analisar como as imagens refletidas são diferentes possa ajudar os pesquisadores de aprendizado de máquina a obter uma melhor compreensão dos vieses presentes nos modelos de aprendizado de máquina que podem causar a classificação inadequada de imagens.

Como Snavely foi citado pelo ScienceDaily:

“Isso leva a uma pergunta aberta para a comunidade de visão computacional, que é, quando é OK fazer isso para aumentar o conjunto de dados, e quando não é OK? Estou esperando que isso faça as pessoas pensarem mais sobre essas questões e comecem a desenvolver ferramentas para entender como está sesgando o algoritmo.”