Ein Erkennungssystem für reine Bildsynthese-Frameworks wie DALL-E 2

Neue Forschung der University of California at Berkeley bietet eine Methode, um zu bestimmen, ob die Ausgabe der neuen Generation von Bildsynthese-Frameworks – wie Open AI’s DALL-E 2 und Google’s Imagen und Parti – als “nicht-reell” erkannt werden kann, indem man die Geometrie, Schatten und Reflexionen in den synthetisierten Bildern untersucht.

Bei der Untersuchung von Bildern, die durch Textprompts in DALL-E 2 generiert wurden, haben die Forscher festgestellt, dass trotz der beeindruckenden Realistik, die die Architektur erreichen kann, einige anhaltende Inkonsistenzen auftreten, die mit der Darstellung der globalen Perspektive, der Erstellung und Anordnung von Schatten und insbesondere mit der Darstellung von reflektierten Objekten zusammenhängen.

Die Studie besagt:

‘[Geometrische] Strukturen, Schatten und Reflexionen in spiegelnden Oberflächen sind nicht vollständig konsistent mit der erwarteten Perspektivgeometrie von natürlichen Szenen. Geometrische Strukturen und Schatten sind im Allgemeinen lokal konsistent, aber global inkonsistent.

‘Reflexionen hingegen werden oft unplausibel dargestellt, vermutlich weil sie weniger häufig im Trainingsbild-Datensatz vorkommen.’

Ein Mangel an konsistenten Schnittpunkten zwischen dem gerenderten Objekt und der Darstellung seiner Reflexion ist derzeit eine zuverlässige Methode, um ein DALL-E-2-Bild zu erkennen, laut der neuen Studie. Quelle: https://arxiv.org/pdf/2206.14617.pdf

Die Studie stellt einen frühen Versuch dar, was möglicherweise zu einem bemerkenswerten Strang in der computer-vision-Forschungsgemeinschaft werden könnte – die Erkennung von Bildsynthesen.

Seit dem Aufkommen von Deepfakes im Jahr 2017 ist die Erkennung von Deepfakes (hauptsächlich von Autoencoder-Ausgaben von Paketen wie DeepFaceLab und FaceSwap) zu einem aktiven und wettbewerbsorientierten akademischen Strang geworden, mit verschiedenen Papieren und Methoden, die die sich entwickelnden “Merkmale” von synthetisierten Gesichtern in echten Videoaufnahmen Ziel nehmen.

Allerdings hat die Ausgabe von Text-Prompt-Systemen wie CLIP bis vor Kurzem keine Bedrohung für den Status Quo der “Photorealität” dargestellt. Die Autoren der neuen Studie glauben, dass sich dies jedoch ändern wird und dass sogar die Inkonsistenzen, die sie in der Ausgabe von DALL-E 2 entdeckt haben, möglicherweise keinen großen Unterschied für die Fähigkeit der Ausgabebilder machen, Betrachter zu täuschen.

Die Autoren stellen fest*:

‘[Solche] Fehler mögen nicht viel bedeuten für das menschliche Visuelle System, das sich als erstaunlich unfähig bei bestimmten geometrischen Urteilen erwiesen hat, einschließlich Inkonsistenzen in Licht, Schatten, Reflexionen, Betrachtungsposition und Perspektivverzerrung.’

Verblasende Glaubwürdigkeit

Die ersten forensischen Untersuchungen der Autoren zu DALL-E-2-Ausgaben beziehen sich auf die Perspektivprojektion – die Art und Weise, wie die Positionierung von geraden Kanten in nahen Objekten und Texturen sich einheitlich zu einem “Verschwindungspunkt” auflösen sollte.

Links, parallele Linien in der gleichen Ebene lösen sich zu einem gemeinsamen Verschwindungspunkt auf; rechts, mehrere Verschwindungspunkte in der gleichen und parallelen Ebenen definieren eine Verschwindungslinie (rot dargestellt).

Um die Konsistenz von DALL-E 2 in dieser Hinsicht zu testen, verwendeten die Autoren DALL-E 2, um 25 synthetisierte Bilder von Küchen zu erstellen – einem vertrauten Raum, der selbst in gut ausgestatteten Wohnungen in der Regel klein genug ist, um mehrere mögliche Verschwindungspunkte für eine Reihe von Objekten und Texturen zu bieten.

Bei der Untersuchung der Ausgabe des Prompts ‘ein Foto einer Küche mit einem gefliesten Boden’ fanden die Forscher heraus, dass die Objekte, die dargestellt werden, nie richtig konvergieren.

Die Autoren bemerken, dass, obwohl jede Menge paralleler Linien aus dem Fliesendesign konsistent ist und sich an einem einzigen Verschwindungspunkt (blau im Bild unten) trifft, der Verschwindungspunkt für die Arbeitsplatte (cyan) nicht mit den Verschwindungslinien (rot) und dem Verschwindungspunkt, der aus den Fliesen abgeleitet wird, übereinstimmt.

Die Autoren bemerken, dass, selbst wenn die Arbeitsplatte nicht parallel zu den Fliesen ist, der cyan-farbene Verschwindungspunkt sich zu der (roten) Verschwindungslinie auflösen sollte, die durch die Verschwindungspunkte der Bodenfliesen definiert wird.

Die Studie besagt:

‘Während die Perspektive in diesen Bildern – beeindruckend – lokal konsistent ist, ist sie nicht global konsistent. Dieses Muster wurde in jedem der 25 synthetisierten Küchenbilder gefunden.’

Schattenforensik

Wie jeder, der schon einmal mit Ray-Tracing zu tun hatte, weiß, haben Schatten auch potenzielle Verschwindungspunkte, die auf eine einzelne oder mehrere Lichtquellen hinweisen. Für Außenschatten in grellem Sonnenlicht würde man erwarten, dass Schatten über alle Facetten eines Bildes hinweg konsistent zu einer einzigen Lichtquelle (der Sonne) auflösen.

Wie bei dem vorherigen Experiment erstellten die Forscher 25 DALL-E-2-Bilder mit dem Prompt ‘drei Würfel auf einem Gehweg, aufgenommen an einem sonnigen Tag’, sowie 25 weitere mit dem Prompt ‘drei Würfel auf einem Gehweg, aufgenommen an einem bewölkten Tag’.

In der oberen Reihe, Bilder, die aus dem Prompt der Forscher ‘drei Würfel auf einem Gehweg, aufgenommen an einem bewölkten Tag’ erstellt wurden; in der unteren Reihe, Bilder, die aus dem Prompt ‘drei Würfel auf einem Gehweg, aufgenommen an einem sonnigen Tag’ erstellt wurden.

Die Forscher bemerken, dass, wenn sie bewölkte Bedingungen darstellen, DALL-E 2 in der Lage ist, die diffuseren Schatten in einer überzeugenden und plausiblen Weise zu rendern, vielleicht nicht zuletzt, weil diese Art von Schatten wahrscheinlich häufiger im Datensatz der Trainingsbilder vorkommt, auf denen das Framework trainiert wurde.

Bei einigen der “sonnigen” Fotos fanden die Autoren jedoch Inkonsistenzen, die nicht mit einer Szene übereinstimmen, die von einer einzigen Lichtquelle beleuchtet wird.

Für das obige Bild wurden die Generierungen in Graustufen umgewandelt, um Klarheit zu schaffen, und zeigen jedes Objekt mit seiner eigenen dedizierten “Sonne”.

Obwohl der durchschnittliche Betrachter solche Anomalien möglicherweise nicht bemerkt, hatten einige der generierten Bilder offensichtlichere Beispiele für “Schattenfehler”:

Während einige der Schatten einfach an der falschen Stelle sind, entsprechen viele von ihnen interessanterweise dem Typ von visueller Diskrepanz, der in CGI-Modellierung entsteht, wenn die Stichprobengeschwindigkeit für eine virtuelle Lichtquelle zu niedrig ist.

Reflexionen in DALL-E 2

Die schlimmsten Ergebnisse in Bezug auf die forensische Analyse kamen, als die Autoren die Fähigkeit von DALL-E 2 testeten, hochreflektierende Oberflächen zu erstellen, was auch in traditionellen Rendering-Algorithmen und anderen CGI-Ray-Tracing-Verfahren eine schwierige Berechnung darstellt.

Für dieses Experiment erstellten die Autoren 25 DALL-E-2-Bilder mit dem Prompt ‘ein Foto eines Spielzeug-Dinosauriers und seiner Reflexion in einem Schminkspiegel’.

In allen Fällen berichten die Autoren, dass das Spiegelbild des gerenderten Spielzeug-Dinosauriers auf eine Weise von der “echten” Seite des Dinosauriers getrennt war. Die Autoren stellen fest, dass das Problem resistent gegen Variationen im Text-Prompt war und dass es sich um eine grundlegende Schwäche im System handelt.

Es scheint, dass es eine Logik in einigen der Fehler gibt – das erste und dritte Beispiel in der oberen Reihe scheint zu zeigen, dass der Dinosaurier sehr gut dupliziert, aber nicht gespiegelt wird.

Die Autoren kommentieren:

‘Im Gegensatz zu den Schatten und geometrischen Strukturen in den vorherigen Abschnitten hat DALL·E-2 Schwierigkeiten, plausible Reflexionen zu synthetisieren, vermutlich weil solche Reflexionen weniger häufig im Trainingsbild-Datensatz sind.’

Fehler wie diese können in zukünftigen Text-Bild-Modellen, die in der Lage sind, die semantische Logik ihrer Ausgabe effektiver zu überprüfen, und die in der Lage sind, abstrakte physikalische Regeln auf Szenen aufzuerlegen, die bis zu einem bestimmten Grad aus word-pertinenten Funktionen im Latenten Raum des Systems zusammengesetzt wurden, behoben werden.

Im Lichte einer wachsenden Tendenz hin zu immer größeren Synthese-Architekturen kommen die Autoren zu dem Schluss:

‘[Es] kann einfach eine Frage der Zeit sein, bevor paint-by-text-Synthese-Engines lernen, Bilder mit vollständiger Perspektivkonsistenz zu rendern. Bis dahin können jedoch geometrische forensische Analysen nützlich sein, um diese Bilder zu analysieren.’

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlichung: 30. Juni 2022.