Onderzoekers gebruiken AI om te onderzoeken hoe reflecties verschillen van originele afbeeldingen

Onderzoekers aan de Cornell University hebben onlangs machine learning-systemen gebruikt om te onderzoeken hoe reflecties van afbeeldingen verschillen van de originele afbeeldingen. Volgens ScienceDaily vonden de door het team van onderzoekers ontwikkelde algoritmen dat er kenmerkende verschillen waren tussen de originele afbeelding en de reflectie, die aangaven dat een afbeelding was omgedraaid of gereflecteerd.

Associate professor van computerwetenschappen aan Cornell Tech, Noah Snavely, was de senior auteur van de studie. Volgens Snavely begon het onderzoeksproject toen de onderzoekers geïnteresseerd raakten in de manier waarop afbeeldingen zowel op voor de hand liggende als subtiele manieren verschillen wanneer ze worden gereflecteerd. Snavely legde uit dat zelfs dingen die aanvankelijk zeer symmetrisch lijken, meestal kunnen worden onderscheiden als een reflectie wanneer ze worden bestudeerd. “Ik word geïntrigeerd door de ontdekkingen die je kunt doen met nieuwe manieren van informatie verzamelen”, zei Snavely, volgens ScienceDaily.

De onderzoekers richtten zich op afbeeldingen van mensen, die ze gebruikten om hun algoritmen te trainen. Dit werd gedaan omdat gezichten niet duidelijk asymmetrisch lijken. Toen ze getraind werden op gegevens die omgedraaide afbeeldingen onderscheidden van originele afbeeldingen, bereikte de AI een nauwkeurigheid van 60% tot 90% over verschillende soorten afbeeldingen.

Veel van de visuele kenmerken van een omgedraaide afbeelding die de AI leerde, zijn zeer subtiel en moeilijk voor mensen om te onderscheiden wanneer ze naar de omgedraaide afbeeldingen kijken. Om de kenmerken die de AI gebruikte om omgedraaide en originele afbeeldingen te onderscheiden beter te interpreteren, creëerden de onderzoekers een heatmap. De heatmap toonde de regio’s van de afbeelding aan waar de AI zich op richtte. Volgens de onderzoekers was een van de meest voorkomende aanwijzingen die de AI gebruikte om omgedraaide afbeeldingen te onderscheiden, tekst. Dit was niet verrassend, en de onderzoekers verwijderden afbeeldingen met tekst uit hun trainingsgegevens om een beter idee te krijgen van de subtielere verschillen tussen omgedraaide en originele afbeeldingen.

Nadat afbeeldingen met tekst uit de trainingsset waren verwijderd, ontdekten de onderzoekers dat de AI-classificator zich richtte op kenmerken van de afbeeldingen zoals shirtkragen, mobiele telefoons, horloges en gezichten. Sommige van deze kenmerken hebben duidelijke, betrouwbare patronen waar de AI op kan focussen, zoals het feit dat mensen vaak hun mobiele telefoon in hun rechterhand dragen en dat de knopen op shirtkragen meestal aan de linkerkant zitten. Gezichtskenmerken zijn echter meestal zeer symmetrisch, met kleine verschillen die moeilijk voor een menselijke waarnemer te detecteren zijn.

De onderzoekers creëerden een andere heatmap die de gebieden van de gezichten aangaf waar de AI zich op richtte. De AI gebruikte vaak mensen’s ogen, haar en baarden om omgedraaide afbeeldingen te detecteren. Om redenen die onduidelijk zijn, kijken mensen vaak een beetje naar links wanneer er foto’s van hen worden gemaakt. Wat betreft de reden waarom haar en baarden indicatoren van omgedraaide afbeeldingen zijn, zijn de onderzoekers onzeker, maar ze vermoeden dat iemands handedness kan worden onthuld door de manier waarop ze zich scheren of kammen. Hoewel deze indicatoren onbetrouwbaar kunnen zijn, kunnen de onderzoekers door meerdere indicatoren te combineren, een grotere zekerheid en nauwkeurigheid bereiken.

Verder onderzoek op deze lijnen zal moeten worden uitgevoerd, maar als de resultaten consistent en betrouwbaar zijn, kan dit onderzoekers helpen om efficiëntere manieren te vinden om machine learning-algoritmen te trainen. Computer vision AI wordt vaak getraind met behulp van reflecties van afbeeldingen, omdat dit een effectieve en snelle manier is om de hoeveelheid beschikbare trainingsgegevens te vergroten. Het is mogelijk dat het analyseren van de manier waarop de gereflecteerde afbeeldingen verschillen, machine learning-onderzoekers kan helpen om een beter begrip te krijgen van de vooroordelen in machine learning-modellen die ertoe kunnen leiden dat ze afbeeldingen onjuist classificeren.

Zoals Snavely werd geciteerd door ScienceDaily:

“Dit leidt tot een open vraag voor de computer vision-gemeenschap, namelijk wanneer het oké is om deze flipping te doen om uw dataset te vergroten, en wanneer het niet oké is? Ik hoop dat dit mensen zal doen nadenken over deze vragen en tools zal ontwikkelen om te begrijpen hoe het de algoritme beïnvloedt.”