Onderzoekers gebruiken AI om te onderzoeken hoe reflecties verschillen van originele afbeeldingen

Onderzoekers van de Cornell University hebben onlangs machine learning-systemen gebruikt om te onderzoeken hoe reflecties van afbeeldingen verschillen van de originele afbeeldingen. Volgens ScienceDaily vonden de door het team van onderzoekers ontwikkelde algoritmes dat er kenmerkende tekenen waren, verschillen met de originele afbeelding, die aangaven dat een afbeelding was omgedraaid of gereflecteerd.

Noah Snavely, associate professor in de computerwetenschappen aan Cornell Tech, was de senior auteur van de studie. Volgens Snavely begon het onderzoeksproject toen de onderzoekers geïnteresseerd raakten in de manier waarop afbeeldingen op zowel voor de hand liggende als subtiele manieren verschillen wanneer ze worden gereflecteerd. Snavely legde uit dat zelfs dingen die aanvankelijk zeer symmetrisch lijken, meestal kunnen worden onderscheiden als een reflectie wanneer ze worden bestudeerd. “Ik word gefascineerd door de ontdekkingen die je kunt doen met nieuwe manieren van informatie verzamelen”, zei Snavely, volgens ScienceDaily.

De onderzoekers richtten zich op afbeeldingen van mensen, die ze gebruikten om hun algoritmes te trainen. Dit werd gedaan omdat gezichten niet duidelijk asymmetrisch lijken. Toen ze getraind werden op gegevens die omgedraaide afbeeldingen van originele afbeeldingen onderscheidden, behaalde de AI een nauwkeurigheid van tussen de 60% en 90% over verschillende soorten afbeeldingen.

Veel van de visuele kenmerken van een omgedraaide afbeelding die de AI leerde, zijn vrij subtiel en moeilijk voor mensen om te onderscheiden wanneer ze naar de omgedraaide afbeeldingen kijken. Om de functies die de AI gebruikte om omgedraaide en originele afbeeldingen te onderscheiden beter te interpreteren, creëerden de onderzoekers een heatmap. De heatmap toonde de regio’s van de afbeelding aan waar de AI zich op richtte. Volgens de onderzoekers was een van de meest voorkomende aanwijzingen die de AI gebruikte om omgedraaide afbeeldingen te onderscheiden, tekst. Dit was niet verrassend, en de onderzoekers verwijderden afbeeldingen met tekst uit hun trainingsgegevens om een beter idee te krijgen van de meer subtiele verschillen tussen omgedraaide en originele afbeeldingen.

Nadat afbeeldingen met tekst uit de trainingsset waren verwijderd, vonden de onderzoekers dat de AI-classificator zich richtte op functies van de afbeeldingen zoals shirtkragen, mobiele telefoons, horloges en gezichten. Sommige van deze functies hebben duidelijke, betrouwbare patronen die de AI kan gebruiken, zoals het feit dat mensen vaak mobiele telefoons in hun rechterhand dragen en dat de knopen op shirtkragen meestal aan de linkerkant zitten. Gezichtskenmerken zijn echter meestal zeer symmetrisch met kleine verschillen die moeilijk voor een menselijke waarnemer zijn te detecteren.

De onderzoekers creëerden een andere heatmap die de gebieden van de gezichten aangaf waar de AI zich op richtte. De AI gebruikte vaak mensen’s ogen, haar en baarden om omgedraaide afbeeldingen te detecteren. Om redenen die onduidelijk zijn, kijken mensen vaak een beetje naar links wanneer er foto’s van hen worden gemaakt. Wat betreft de reden waarom haar en baarden indicatoren van omgedraaide afbeeldingen zijn, zijn de onderzoekers onzeker, maar ze vermoeden dat iemands handedness kan worden onthuld door de manier waarop ze zich scheren of kammen. Hoewel deze indicatoren onbetrouwbaar kunnen zijn, kan door meerdere indicatoren samen te voegen, de onderzoekers een grotere zekerheid en nauwkeurigheid bereiken.

Er zal meer onderzoek nodig zijn om deze lijn te volgen, maar als de resultaten consistent en betrouwbaar zijn, kunnen ze onderzoekers helpen om efficiëntere manieren te vinden om machine learning-algoritmes te trainen. Computer vision-AI wordt vaak getraind met reflecties van afbeeldingen, omdat het een effectieve en snelle manier is om de hoeveelheid beschikbare trainingsgegevens te vergroten. Het is mogelijk dat het analyseren van de manier waarop de gereflecteerde afbeeldingen verschillen, machine learning-onderzoekers kan helpen om een beter begrip te krijgen van de vooroordelen in machine learning-modellen die ertoe kunnen leiden dat ze afbeeldingen onjuist classificeren.

Volgens Snavely, zoals citaat van ScienceDaily:

“Dit leidt tot een open vraag voor de computer vision-gemeenschap, namelijk wanneer het oké is om deze flipping te doen om je dataset te vergroten, en wanneer het niet oké is. Ik hoop dat dit mensen zal doen nadenken over deze vragen en zal beginnen met het ontwikkelen van tools om te begrijpen hoe het de algoritme beïnvloedt.”