Wie man erkennt, ob Bildsynthesesysteme wirklich “originale” Materialien produzieren

Eine neue Studie aus Südkorea hat eine Methode vorgeschlagen, um zu bestimmen, ob Bildsynthesesysteme wirklich neue Bilder produzieren oder nur “kleine” Varianten der Trainingsdaten, was möglicherweise das Ziel solcher Architekturen (wie die Produktion neuer und originaler Bilder) untergräbt.

Sehr oft ist dies, wie die Studie nahelegt, der Fall, da die vorhandenen Metriken, die solche Systeme verwenden, um ihre generativen Fähigkeiten während des Trainings zu verbessern, gezwungen sind, Bilder zu bevorzugen, die relativ nahe an den (nicht gefälschten) Quelldaten im Datensatz sind.

Wenn ein generiertes Bild “visuell nah” an den Quelldaten ist, ist es wahrscheinlich, dass es besser für “Authentizität” als für “Originalität” bewertet wird, da es “treu” – wenn auch uninspiriert – ist.

In einem Sektor, der zu neu und unerprobt ist, um seine rechtlichen Auswirkungen bereits zu kennen, könnte dies zu einem wichtigen rechtlichen Problem werden, wenn es sich herausstellt, dass kommerzielle synthetische Bildinhalte nicht genug von den (oft) urheberrechtlich geschützten Quelldaten abweichen, die derzeit in der Forschung verwendet werden (die Möglichkeit zukünftiger Urheberrechtsansprüche dieser Art hat sich kürzlich im Zusammenhang mit Microsofts GitHub Co-Pilot AI herausgestellt).

Was die zunehmend kohärenten und semantisch robusten Ausgaben von Systemen wie OpenAIs DALL-E 2, Googles Imagen und Chinas CogView-Veröffentlichungen (sowie die geringer ausgestattete DALL-E mini) betrifft, gibt es sehr wenige post facto-Möglichkeiten, um die Originalität eines generierten Bildes zuverlässig zu testen.

Tatsächlich führt die Suche nach einigen der beliebtesten neuen DALL-E-2-Bilder oft nur zu weiteren Instanzen dieser Bilder, je nach Suchmaschine.

Das Hochladen einer vollständigen 9-Bild-Gruppe von DALL-E-2-Ausgaben führt nur zu weiteren DALL-E-2-Ausgaben, da die Rasterstruktur das stärkste Merkmal ist. Das Trennen und Hochladen des ersten Bildes (aus diesem Twitter-Beitrag vom 8. Juni 2022, vom ‘Weird Dall-E Generations’-Konto) veranlasst Google, sich auf den Basketball im Bild zu konzentrieren und die Bildsuche in eine semantische Sackgasse zu führen. Für die gleiche Bildsuche scheint Yandex zumindest eine tatsächliche pixelbasierte Dekonstruktion und Merkmalvergleichung durchzuführen.

Obwohl Yandex eher als Google Search die tatsächlichen Merkmale (d. h. die abgeleiteten/berechneten Merkmale eines Bildes, nicht unbedingt Gesichtsmerkmale von Personen) und visuelle (anstatt semantische) Eigenschaften eines hochgeladenen Bildes verwendet, um ähnliche Bilder zu finden, haben alle Bildsuchmaschinen entweder eine Art Agenda oder Praxis, die es schwierig machen kann, Fälle von Quelle>generiert-Plagiaten über Web-Suchen zu identifizieren.

Zusätzlich kann der Trainingsdatensatz für ein generatives Modell möglicherweise nicht in seiner Gesamtheit öffentlich verfügbar sein, was die forensische Untersuchung der Originalität von generierten Bildern weiter behindert.

Interessanterweise führt eine Bildsuche im Internet nach einem der synthetischen Bilder, die von Google auf seiner dedizierten Imagen-Seite vorgestellt werden, zu absolut nichts Vergleichbarem, wenn man das Bild selbst betrachtet und unparteiisch nach ähnlichen Bildern sucht. Stattdessen werden die Google-Bildsuchergebnisse für dieses Imagen-Bild nicht zulassen, dass eine reine Bildsuche ohne Hinzufügen der Suchbegriffe “imagen google” als zusätzlichen (und einschränkenden) Parameter durchgeführt wird:

Yandex hingegen findet eine Vielzahl von ähnlichen (oder zumindest visuell verwandten) realen Bildern aus der Amateur-Kunstgemeinschaft:

Im Allgemeinen wäre es besser, wenn die Neuheit oder Originalität der Ausgabe von Bildsynthesesystemen auf irgendeine Weise gemessen werden könnte, ohne dass man Merkmale aus jedem möglichen webfähigen Bild im Internet zum Zeitpunkt des Trainings des Modells oder in nicht-öffentlichen Datensätzen extrahieren müsste, die möglicherweise urheberrechtlich geschütztes Material enthalten.

In diesem Zusammenhang haben Forscher von der Kim Jaechul Graduate School of AI am Korea Advanced Institute of Science and Technology (KAIST AI) in Zusammenarbeit mit dem globalen ICT- und Suchunternehmen NAVER Corp. einen Seltenheits-Score entwickelt, der helfen kann, die originelleren Kreationen von Bildsynthesesystemen zu identifizieren.

Die Bilder hier sind über StyleGAN-FFHQ generiert. Von links nach rechts zeigen die Spalten die schlechtesten bis zu den besten Ergebnissen. Wir können sehen, dass die ‘Truncation-Trick’-Metrik (siehe unten) und die Realismus-Metrik ihre eigenen Ziele haben, während die neue ‘Seltenheits’-Metrik (obere Reihe) kohärente, aber originelle Bilder sucht (anstatt nur kohärente Bilder). Da es in diesem Artikel Bildgrößenbeschränkungen gibt, finden Sie im Quellenpapier bessere Details und Auflösungen. Quelle: https://arxiv.org/pdf/2206.08549.pdf

Die neue Studie trägt den Titel Seltenheits-Score: Ein neues Maß, um die Unüblichkeit von synthetisierten Bildern zu bewerten und stammt von drei Forschern von KAIST und drei von NAVER Corp.

Jenseits des ‘Billigen Tricks’

Zu den vorherigen Metriken, die die neue Studie verbessern will, gehören die ‘Truncation-Trick’-Metrik, die 2019 in einer Zusammenarbeit zwischen der britischen Heriot-Watt-Universität und Googles DeepMind vorgeschlagen wurde.

Der Truncation-Trick verwendet im Wesentlichen eine andere latente Verteilung für die Stichprobennahme als für das Training des generativen Modells.

Die Forscher, die diese Methode entwickelt haben, waren überrascht, dass sie funktionierte, aber räumen in der ursprünglichen Studie ein, dass sie die Vielfalt der generierten Ausgabe reduziert. Dennoch ist der Truncation-Trick effektiv und beliebt, im Kontext dessen, was als “billiger Trick” für die Erzielung authentisch aussehender Ergebnisse bezeichnet werden könnte, die nicht wirklich alle Möglichkeiten aufnehmen, die in den Daten stecken, und möglicherweise den Quelldaten ähnlicher sind, als gewünscht.

Zum Truncation-Trick bemerken die Autoren der neuen Studie:

‘[Er] ist nicht dazu gedacht, seltene Stichproben im Trainingsdatensatz zu generieren, sondern vielmehr, typische Bilder stabiler zu synthetisieren. Wir vermuten, dass bestehende generative Modelle in der Lage sein werden, reichhaltigere Stichproben in der realen Datenverteilung zu produzieren, wenn der Generator dazu angeregt werden kann, effektiv seltene Stichproben zu produzieren.’

Zu der allgemeinen Tendenz, auf traditionelle Metriken wie Frechet-Inception-Distanz (FID, die im Dezember 2021 heftige Kritik erhielt), Inception-Score (IS) und Kernel-Inception-Distanz (KID) als “Fortschrittsindikatoren” während des Trainings eines generativen Modells zurückzugreifen, bemerken die Autoren weiter:

‘Dieses Lernschema führt den Generator dazu, nicht viele seltene Stichproben zu synthetisieren, die einzigartig sind und starke Merkmale haben, die nicht für einen großen Teil der realen Bildverteilung stehen. Beispiele für seltene Stichproben aus öffentlichen Datensätzen sind Personen mit verschiedenen Accessoires in FFHQ, weiße Tiere in AFHQ und unübliche Statuen in Metfaces.

‘Die Fähigkeit, seltene Stichproben zu generieren, ist nicht nur wichtig, weil sie mit der Randfähigkeit der generativen Modelle zusammenhängt, sondern auch, weil Einzigartigkeit eine wichtige Rolle in kreativen Anwendungen wie virtuellen Menschen spielt.

‘Die qualitativen Ergebnisse mehrerer neuerer Studien enthalten diese seltenen Beispiele jedoch selten. Wir vermuten, dass die Natur des adversarialen Lernschemas die generierte Bildverteilung ähnlich wie die des Trainingsdatensatzes macht. Daher nehmen Bilder mit klarer Individualität oder Seltenheit nur einen kleinen Teil der von den Modellen synthetisierten Bilder ein.’

Technik

Die neue Seltenheits-Metrik der Forscher passt eine Idee an, die in früheren Arbeiten vorgestellt wurde – die Verwendung von K-Nearest-Neighbors (KNNs), um die Arrays von echten (Trainings-) und synthetischen (Ausgabe-) Daten in einem Bildsynthesesystem darzustellen.

Zu dieser neuen Analysemethode bemerken die Autoren:

‘Wir vermuten, dass gewöhnliche Stichproben näher beieinander liegen, während einzigartige und seltene Stichproben spärlich im Merkmalsraum verteilt sind.’

Das Ergebnisbild oben zeigt die kleinsten nächsten-Nachbarschafts-Entfernungen (NNDs) bis hin zu den größten in einer StyleGAN-Architektur, die auf FFHQ trainiert wurde.

‘Für alle Datensätze zeigen die Stichproben mit den kleinsten NNDs repräsentative und typische Bilder. Im Gegensatz dazu haben die Stichproben mit den größten NNDs starke Individualität und sind deutlich anders als die typischen Bilder mit den kleinsten NNDs.’

Theoretisch könnte diese neue Metrik als Diskriminator verwendet werden, oder zumindest in eine komplexere Diskriminatoren-Architektur einbezogen werden, um ein generatives System davon abzuhalten, sich auf reine Nachahmung zu konzentrieren und stattdessen ein mehr erfundenes Algorithmus zu verwenden, während es die wesentliche Kohärenz von Konzepten beibehält, die für authentische Bildproduktion (d. h. ‘Mann’, ‘Frau’, ‘Auto’, ‘Kirche’ usw.) kritisch sein können.

Vergleiche und Experimente

In Tests führten die Forscher einen Vergleich der Leistung des Seltenheits-Scores mit dem Truncation-Trick und NVIDIAs Realismus-Score von 2019 durch und fanden heraus, dass die Methode in der Lage ist, “einzigartige” Ergebnisse in verschiedenen Frameworks und Datensätzen zu identifizieren.

Obwohl die Ergebnisse in der Studie zu umfangreich sind, um sie hier wiederzugeben, scheinen die Forscher die Fähigkeit der neuen Methode demonstriert zu haben, Seltenheit in sowohl realen als auch generierten Bildern in einem generativen Verfahren zu identifizieren:

Ausgewählte Beispiele aus den umfangreichen visuellen Ergebnissen, die in der Studie reproduziert werden (siehe Quell-URL oben für weitere Details). Links: echte Beispiele aus FFHQ, die sehr wenige nahe Nachbarn (d. h. neu und ungewöhnlich) im ursprünglichen Datensatz haben; rechts: gefälschte Bilder, die von StyleGAN generiert wurden und die die neue Metrik als wirklich neu identifiziert hat. Da es in diesem Artikel Bildgrößenbeschränkungen gibt, finden Sie im Quellenpapier bessere Details und Auflösungen.

Die neue Seltenheits-Metrik ermöglicht es nicht nur, “neue” generative Ausgaben in einer einzelnen Architektur zu identifizieren, sondern auch, generative Modelle verschiedener Architekturen (d. h. Autoencoder, VAE, GAN usw.) miteinander zu vergleichen.

Die Studie weist darauf hin, dass der Seltenheits-Score sich von vorherigen Metriken unterscheidet, indem er sich auf die Fähigkeit eines generativen Frameworks konzentriert, einzigartige und seltene Bilder zu erstellen, im Gegensatz zu “traditionellen” Metriken, die die Vielfalt zwischen Generationen während des Trainings des Modells untersuchen.

Jenseits begrenzter Aufgaben

Obwohl die Forscher der neuen Studie Tests auf begrenzte Domänen-Frameworks (wie Generator/Datensatz-Kombinationen, die speziell dafür entwickelt wurden, Bilder von Menschen oder Katzen zu produzieren) durchgeführt haben, kann der Seltenheits-Score potenziell auf jedes beliebige Bildsyntheseverfahren angewendet werden, bei dem es gewünscht ist, generierte Beispiele zu identifizieren, die die Verteilungen aus den trainierten Daten verwenden, anstatt Authentizität (und Vielfalt) durch die Zwischenschaltung fremder latenter Verteilungen oder die Verwendung anderer “Abkürzungen” zu erhöhen, die die Neuheit zugunsten von Authentizität beeinträchtigen.

Praktisch und in Abwesenheit eines klaren Verständnisses davon, wie weit das System tatsächlich visuelle und semantische Konzepte aufgenommen hat (oft behindert durch begrenztes Wissen über die Trainingsdaten), könnte dies eine gangbare Methode sein, um ein echtes “Moment der Inspiration” in einem generativen System zu identifizieren – den Punkt, an dem eine ausreichende Anzahl von Eingabekonzepten und Daten zu etwas wirklich Erfindungsreichem geführt haben, anstatt zu etwas übermäßig abgeleitetem oder nahe an den Quelldaten.

* Meine Umwandlungen der Autorenzitate in Hyperlinks.

Erstveröffentlichung: 20. Juni 2022.