Neues Tool kann Forschern zeigen, was GANs aus einem Bild weglassen

Kürzlich entwickelte ein Team von Forschern des MIT-IBM Watson AI Lab eine Methode, um zu zeigen, was ein Generatives Adversarial Network (GAN) aus einem Bild weglässt, wenn es aufgefordert wird, Bilder zu generieren. Die Studie wurde Seeing What a GAN Cannot Generate genannt und wurde kürzlich auf der International Conference on Computer Vision vorgestellt.

Generative Adversarial Networks sind in den letzten Jahren robuster, komplexer und weit verbreiteter geworden. Sie sind sehr gut darin, Bilder mit vielen Details zu rendern, solange das Bild auf einen relativ kleinen Bereich beschränkt ist. Wenn GANs jedoch verwendet werden, um Bilder von größeren Szenen und Umgebungen zu generieren, funktionieren sie nicht so gut. In Szenarien, in denen GANs aufgefordert werden, Bilder von Szenen mit vielen Objekten und Gegenständen zu rendern, wie z.B. einer belebten Straße, lassen GANs oft viele wichtige Aspekte des Bildes aus.

Laut MIT News wurde die Forschung teilweise von David Bau, einem Doktoranden am Department of Electrical Engineering and Computer Science am MIT, entwickelt. Bau erklärte, dass Forscher normalerweise darauf achten, was maschinelle Lernsysteme beachten und wie bestimmte Eingaben bestimmten Ausgaben zugeordnet werden können. Bau erklärte jedoch auch, dass es oft ebenso wichtig ist, zu verstehen, welche Daten von maschinellen Lernmodellen ignoriert werden, und dass das Forschungsteam hofft, dass ihre Tools Forscher dazu anregen, die ignorierten Daten zu beachten.

Baus Interesse an GANs wurde durch die Tatsache geweckt, dass sie verwendet werden können, um die Black-Box-Natur von neuronalen Netzen zu untersuchen und ein Gefühl dafür zu bekommen, wie die Netze möglicherweise funktionieren. Bau arbeitete zuvor an einem Tool, das bestimmte Cluster von künstlichen Neuronen identifizieren und als verantwortlich für die Darstellung von realen Objekten wie Büchern, Wolken und Bäumen kennzeichnen konnte. Bau hatte auch Erfahrungen mit einem Tool namens GANPaint, das es Künstlern ermöglicht, bestimmte Merkmale aus Fotos zu entfernen und hinzuzufügen, indem sie GANs verwenden. Laut Bau zeigte die GANPaint-Anwendung ein potenzielles Problem mit den GANs, ein Problem, das offensichtlich wurde, als Bau die Bilder analysierte. Wie Bau MIT News erzählte:

„Mein Betreuer hat uns immer ermutigt, über die Zahlen hinauszugehen und die tatsächlichen Bilder zu untersuchen. Als wir uns die Bilder ansahen, sprang das Phänomen sofort ins Auge: Menschen wurden selektiv weggelassen.“

Während maschinelle Lernsysteme darauf ausgelegt sind, Muster in Bildern zu erkennen, können sie auch relevante Muster ignorieren. Bau und andere Forscher experimentierten mit dem Training von GANs auf verschiedenen Innen- und Außenszenen, aber in allen verschiedenen Szenen ließen die GANs wichtige Details in den Szenen wie Autos, Straßenschilder, Menschen, Fahrräder usw. aus. Dies war sogar dann der Fall, wenn die weggelassenen Objekte wichtig für die Szene waren.

Das Forschungsteam vermutete, dass die GAN, wenn sie auf Bildern trainiert wird, es einfacher findet, die Muster des Bildes zu erfassen, die einfacher darzustellen sind, wie z.B. große stationäre Objekte wie Landschaften und Gebäude. Sie lernt diese Muster über andere, schwieriger zu interpretierende Muster, wie z.B. Autos und Menschen. Es ist allgemein bekannt, dass GANs oft wichtige, sinnvolle Details auslassen, wenn sie Bilder generieren, aber die Studie des MIT-Teams könnte die erste sein, die zeigt, dass GANs ganze Objektklassen innerhalb eines Bildes auslassen.

Das Forschungsteam weist darauf hin, dass es möglich ist, dass GANs ihre numerischen Ziele erreichen, auch wenn sie Objekte weglassen, die Menschen wichtig finden, wenn sie Bilder betrachten. Wenn Bilder, die von GANs generiert werden, verwendet werden, um komplexe Systeme wie autonome Fahrzeuge zu trainieren, sollte die Bildaten sorgfältig untersucht werden, da es eine reale Sorge gibt, dass kritische Objekte wie Schilder, Menschen und andere Autos aus den Bildern weggelassen werden könnten. Bau erklärte, dass ihre Forschung zeigt, warum die Leistung eines Modells nicht nur auf Genauigkeit basieren sollte:

„Wir müssen verstehen, was die Netze tun und nicht tun, um sicherzustellen, dass sie die Entscheidungen treffen, die wir von ihnen erwarten.“