Forscher verwenden KI, um zu untersuchen, wie Reflexionen sich von Originalbildern unterscheiden

Forscher an der Cornell University haben kürzlich maschinelles Lernen eingesetzt, um zu untersuchen, wie Reflexionen von Bildern sich von den Originalbildern unterscheiden. Wie von ScienceDaily berichtet, fanden die von dem Forscherteam entwickelten Algorithmen heraus, dass es charakteristische Merkmale gab, Unterschiede zum Originalbild, die darauf hindeuteten, dass ein Bild gespiegelt oder reflektiert worden war.

Der Associate Professor für Informatik an der Cornell Tech, Noah Snavely, war der leitende Autor der Studie. Laut Snavely begann das Forschungsprojekt, als die Forscher von der Frage fasziniert waren, wie Bilder auf offensichtliche und subtile Weise unterschiedlich waren, wenn sie reflektiert wurden. Snavely erklärte, dass sogar Dinge, die auf den ersten Blick sehr symmetrisch erscheinen, in der Regel als Reflexion erkannt werden können, wenn sie genauer untersucht werden. “Ich bin fasziniert von den Entdeckungen, die man mit neuen Methoden der Informationsgewinnung machen kann”, sagte Snavely laut ScienceDaily.

Die Forscher konzentrierten sich auf Bilder von Menschen und nutzten sie, um ihre Algorithmen zu trainieren. Dies wurde getan, weil Gesichter nicht offensichtlich asymmetrisch erscheinen. Wenn die Algorithmen auf Daten trainiert wurden, die zwischen gespiegelten und Originalbildern unterschieden, erreichte die KI eine Genauigkeit von 60% bis 90% bei verschiedenen Bildtypen.

Viele der visuellen Merkmale eines gespiegelten Bildes, die die KI erlernte, sind sehr subtil und für Menschen schwer zu erkennen, wenn sie die gespiegelten Bilder betrachten. Um die Merkmale besser zu interpretieren, die die KI verwendete, um zwischen gespiegelten und Originalbildern zu unterscheiden, erstellten die Forscher eine Heatmap. Die Heatmap zeigte die Bereiche des Bildes, auf die die KI sich konzentrierte. Laut den Forschern war einer der häufigsten Hinweise, den die KI verwendete, um gespiegelte Bilder zu erkennen, Text. Dies war nicht überraschend, und die Forscher entfernten Bilder mit Text aus ihrem Trainingsdatensatz, um eine bessere Vorstellung von den subtilen Unterschieden zwischen gespiegelten und Originalbildern zu erhalten.

Nachdem Bilder mit Text aus dem Trainingsdatensatz entfernt worden waren, fanden die Forscher heraus, dass die KI-Klassifizierung sich auf Merkmale wie Hemdknöpfe, Mobiltelefone, Armbanduhren und Gesichter konzentrierte. Einige dieser Merkmale haben offensichtliche, zuverlässige Muster, auf die die KI sich konzentrieren kann, wie die Tatsache, dass Menschen oft ihr Mobiltelefon in der rechten Hand halten und dass die Knöpfe auf Hemdkragen oft auf der linken Seite sind. Gesichtsmerkmale sind jedoch typischerweise sehr symmetrisch, mit kleinen Unterschieden, die für einen menschlichen Beobachter sehr schwer zu erkennen sind.

Die Forscher erstellten eine weitere Heatmap, die die Bereiche von Gesichtern hervorhob, auf die die KI sich konzentrierte. Die KI verwendete oft die Augen, Haare und Bärte von Menschen, um gespiegelte Bilder zu erkennen. Aus Gründen, die unklar sind, schauen Menschen oft leicht nach links, wenn von ihnen Fotos gemacht werden. Was den Grund dafür angeht, warum Haare und Bärte Indikatoren für gespiegelte Bilder sind, sind die Forscher unsicher, aber sie vermuten, dass die Handigkeit einer Person durch die Art und Weise, wie sie sich rasiert oder kämmt, offenbart werden kann. Obwohl diese Indikatoren unzuverlässig sein können, kann durch die Kombination mehrerer Indikatoren die Zuverlässigkeit und Genauigkeit erhöht werden.

Weitere Forschung in dieser Richtung muss durchgeführt werden, aber wenn die Ergebnisse konsistent und zuverlässig sind, könnten sie Forschern helfen, effizientere Methoden zur Trainierung von maschinellen Lernalgorithmen zu finden. Computer-Vision-KI wird oft mit reflektierten Bildern trainiert, da dies eine effektive und schnelle Methode ist, um die verfügbaren Trainingsdaten zu erhöhen. Es ist möglich, dass die Analyse der Unterschiede zwischen reflektierten Bildern und Originalbildern maschinellen Lernalgorithmen helfen kann, die Vorurteile in maschinellen Lernalgorithmen besser zu verstehen, die dazu führen können, dass Bilder falsch klassifiziert werden.

Wie Snavely von ScienceDaily zitiert wurde:

“Dies führt zu einer offenen Frage für die Computer-Vision-Community, nämlich, wann es in Ordnung ist, diese Spiegelung zu verwenden, um den Datensatz zu erweitern, und wann es nicht in Ordnung ist. Ich hoffe, dies wird die Leute dazu bringen, mehr über diese Fragen nachzudenken und Tools zu entwickeln, um zu verstehen, wie es den Algorithmus beeinflusst.”