Forscher verwenden KI, um zu untersuchen, wie Reflexionen sich von Originalbildern unterscheiden

Forscher an der Cornell University haben kürzlich maschinelles Lernen verwendet, um zu untersuchen, wie Reflexionen von Bildern sich von den Originalbildern unterscheiden. Wie von ScienceDaily berichtet, fanden die von dem Forscherteam entwickelten Algorithmen heraus, dass es bestimmte Merkmale gab, die darauf hindeuteten, dass ein Bild geflippt oder reflektiert worden war.

Noah Snavely, Associate Professor für Informatik an der Cornell Tech, war der leitende Autor der Studie. Laut Snavely begann das Forschungsprojekt, als die Forscher von der Frage fasziniert waren, wie Bilder sich in offensichtlichen und subtilen Wegen unterscheiden, wenn sie reflektiert werden. Snavely erklärte, dass sogar Dinge, die auf den ersten Blick sehr symmetrisch erscheinen, in der Regel als Reflexion erkannt werden können, wenn sie genauer untersucht werden. “Ich bin fasziniert von den Entdeckungen, die man mit neuen Methoden der Informationsgewinnung machen kann”, sagte Snavely laut ScienceDaily.

Die Forscher konzentrierten sich auf Bilder von Menschen, um ihre Algorithmen zu trainieren. Dies wurde getan, weil Gesichter nicht offensichtlich asymmetrisch erscheinen. Wenn die Algorithmen auf Daten trainiert wurden, die zwischen geflippten und Originalbildern unterschieden, erreichte die KI eine Genauigkeit von 60% bis 90% bei verschiedenen Arten von Bildern.

Viele der visuellen Merkmale, die die KI erlernte, um zwischen geflippten und Originalbildern zu unterscheiden, sind sehr subtil und schwer für Menschen zu erkennen, wenn sie die geflippten Bilder betrachten. Um die Merkmale besser zu interpretieren, die die KI verwendete, um zwischen geflippten und Originalbildern zu unterscheiden, erstellten die Forscher eine Heatmap. Die Heatmap zeigte die Bereiche des Bildes, auf die die KI sich konzentrierte. Laut den Forschern war eines der häufigsten Merkmale, das die KI verwendete, um geflippte Bilder zu erkennen, Text. Dies war nicht überraschend, und die Forscher entfernten Bilder mit Text aus ihren Trainingsdaten, um eine bessere Vorstellung von den subtilen Unterschieden zwischen geflippten und Originalbildern zu erhalten.

Nachdem Bilder mit Text aus dem Trainingsset entfernt worden waren, fanden die Forscher heraus, dass die KI-Klassifizierung sich auf Merkmale wie Hemdknöpfe, Mobiltelefone, Armbanduhren und Gesichter konzentrierte. Einige dieser Merkmale haben offensichtliche, zuverlässige Muster, auf die die KI sich konzentrieren kann, wie zum Beispiel die Tatsache, dass Menschen oft ihr Mobiltelefon in der rechten Hand tragen und dass die Knöpfe an Hemdkragen oft auf der linken Seite sind. Gesichtsmerkmale sind jedoch typischerweise sehr symmetrisch, mit kleinen Unterschieden, die für einen menschlichen Beobachter sehr schwer zu erkennen sind.

Die Forscher erstellten eine weitere Heatmap, die die Bereiche von Gesichtern hervorhob, auf die die KI sich konzentrierte. Die KI verwendete oft die Augen, Haare und Bärte von Menschen, um geflippte Bilder zu erkennen. Aus Gründen, die unklar sind, schauen Menschen oft leicht nach links, wenn von ihnen Fotos gemacht werden. Was die Gründe dafür angeht, warum Haare und Bärte Indikatoren für geflippte Bilder sind, sind die Forscher unsicher, aber sie vermuten, dass die Handigkeit einer Person durch die Art und Weise, wie sie sich rasiert oder kämmt, offenbart werden könnte. Obwohl diese Indikatoren unzuverlässig sein können, kann durch die Kombination mehrerer Indikatoren die Zuverlässigkeit und Genauigkeit erhöht werden.

Weitere Forschung in dieser Richtung muss durchgeführt werden, aber wenn die Ergebnisse konsistent und zuverlässig sind, könnte dies dazu beitragen, Forschern zu helfen, effizientere Methoden zum Trainieren von maschinellen Lernalgorithmen zu finden. Computer-Vision-KI wird oft mit Reflexionen von Bildern trainiert, da dies eine effektive und schnelle Methode ist, um die Menge der verfügbaren Trainingsdaten zu erhöhen. Es ist möglich, dass die Analyse der Unterschiede zwischen reflektierten Bildern dazu beitragen kann, maschinelle Lernalgorithmen zu verbessern, indem die Vorurteile in maschinellen Lernalgorithmen, die zu falschen Klassifizierungen von Bildern führen können, besser verstanden werden.

Wie Snavely von ScienceDaily zitiert wurde:

“Dies führt zu einer offenen Frage für die Computer-Vision-Gemeinschaft, nämlich, wann es in Ordnung ist, diese Flipping-Methode zu verwenden, um die Datenmenge zu erhöhen, und wann es nicht in Ordnung ist. Ich hoffe, dies wird die Menschen dazu bringen, mehr über diese Fragen nachzudenken und Tools zu entwickeln, um zu verstehen, wie es die Algorithmen beeinflusst.”