Les chercheurs utilisent l’IA pour étudier comment les reflets diffèrent des images originales

Les chercheurs de l’Université Cornell ont récemment utilisé des systèmes d’apprentissage automatique pour étudier comment les reflets d’images sont différents des images originales. Selon ScienceDaily, les algorithmes créés par l’équipe de chercheurs ont constaté qu’il y avait des signes révélateurs, des différences par rapport à l’image originale, qui indiquaient qu’une image avait été retournée ou réfléchie.

Le professeur associé de sciences informatiques à Cornell Tech, Noah Snavely, était l’auteur principal de l’étude. Selon Snavely, le projet de recherche a commencé lorsque les chercheurs ont été intrigués par la façon dont les images étaient différentes, à la fois de manière évidente et subtile, lorsqu’elles étaient réfléchies. Snavely a expliqué que même les choses qui apparaissent très symétriques à première vue peuvent généralement être distinguées comme un reflet lorsqu’elles sont étudiées. Je suis intrigué par les découvertes que l’on peut faire avec de nouvelles façons de collecter des informations, a déclaré Snavely, selon ScienceDaily.

Les chercheurs se sont concentrés sur les images de personnes, les utilisant pour entraîner leurs algorithmes. Cela a été fait parce que les visages ne semblent pas asymétriques de manière évidente. Lorsqu’ils ont été entraînés sur des données qui distinguaient les images retournées des images originales, l’IA a atteint une précision de 60 % à 90 % sur différents types d’images.

Beaucoup de caractéristiques visuelles d’une image retournée que l’IA a apprises sont très subtiles et difficiles pour les humains à discerner lorsqu’ils regardent les images retournées. Afin de mieux interpréter les caractéristiques que l’IA utilisait pour distinguer les images retournées des images originales, les chercheurs ont créé une carte de chaleur. La carte de chaleur a montré les régions de l’image sur lesquelles l’IA se concentrait. Selon les chercheurs, l’un des indices les plus courants que l’IA utilisait pour distinguer les images retournées était le texte. Cela n’était pas surprenant, et les chercheurs ont supprimé les images contenant du texte de leur ensemble de données d’entraînement afin d’avoir une meilleure idée des différences plus subtiles entre les images retournées et les images originales.

Après que les images contenant du texte aient été supprimées de l’ensemble de données d’entraînement, les chercheurs ont constaté que le classificateur IA se concentrait sur des caractéristiques d’images telles que les cols de chemise, les téléphones portables, les montres-bracelets et les visages. Certaines de ces caractéristiques ont des modèles évidents et fiables sur lesquels l’IA peut se concentrer, comme le fait que les gens portent souvent leur téléphone portable dans leur main droite et que les boutons des cols de chemise sont souvent sur la gauche. Cependant, les caractéristiques faciales sont généralement très symétriques, avec des différences petites et très difficiles à détecter pour un observateur humain.

Les chercheurs ont créé une autre carte de chaleur qui mettait en évidence les zones du visage sur lesquelles l’IA se concentrait. L’IA utilisait souvent les yeux, les cheveux et les barbes des gens pour détecter les images retournées. Pour des raisons qui ne sont pas claires, les gens ont tendance à regarder légèrement à gauche lorsqu’ils se font prendre en photo. En ce qui concerne la raison pour laquelle les cheveux et les barbes sont des indicateurs d’images retournées, les chercheurs ne sont pas sûrs, mais ils théorisent que la latéralité d’une personne pourrait être révélée par la façon dont elle se rase ou se peigne. Même si ces indicateurs peuvent être peu fiables, en les combinant, les chercheurs peuvent atteindre une confiance et une précision plus grandes.

D’autres recherches devront être menées dans cette direction, mais si les résultats sont cohérents et fiables, cela pourrait aider les chercheurs à trouver des méthodes plus efficaces pour entraîner les algorithmes d’apprentissage automatique. L’IA de vision par ordinateur est souvent entraînée en utilisant des reflets d’images, car c’est une méthode efficace et rapide pour augmenter la quantité de données d’entraînement disponibles. Il est possible que l’analyse des différences entre les images réfléchies et les images originales puisse aider les chercheurs en apprentissage automatique à mieux comprendre les biais présents dans les modèles d’apprentissage automatique qui pourraient les amener à classer incorrectement les images.

Comme Snavely a été cité par ScienceDaily :

Cela soulève une question ouverte pour la communauté de la vision par ordinateur, qui est : quand est-ce qu’il est acceptable de faire ce retournement pour augmenter votre ensemble de données, et quand ne l’est-ce pas ? J’espère que cela amènera les gens à réfléchir davantage à ces questions et à commencer à développer des outils pour comprendre comment cela biaise l’algorithme.