Bildsynthese-Branche hat einen fehlerhaften Metric übernommen, behaupten Forscher

2021 war ein Jahr des unvergleichlichen Fortschritts und eines atemberaubenden Publikationspaziergangs im Bereich der Bildsynthese, mit einer Reihe neuer Innovationen und Verbesserungen in Technologien, die in der Lage sind, menschliche Persönlichkeiten durch neuronale Rendering, Deepfakes und eine Vielzahl von neuen Ansätzen nachzubilden.

Die Forscher aus Deutschland behaupten jedoch, dass der Standard, der verwendet wird, um die Realistik von synthetischen Bildern automatisch zu beurteilen, tödlich fehlerhaft ist; und dass die Hunderte, sogar Tausende von Forschern auf der ganzen Welt, die sich auf ihn verlassen, um die Kosten von teuren menschlichen Ergebnisbewertungen zu senken, möglicherweise auf dem falschen Weg sind.

Um zu demonstrieren, wie der Standard, Fréchet-Inception-Distanz (FID), nicht den menschlichen Standards für die Bewertung von Bildern entspricht, setzten die Forscher ihre eigenen GANs ein, die für FID optimiert wurden (jetzt ein gemeinsamer Metric). Sie fanden heraus, dass FID seinen eigenen Obsessionen folgt, basierend auf dem zugrunde liegenden Code mit einem sehr unterschiedlichen Auftrag als der der Bildsynthese, und dass es routinemäßig nicht in der Lage ist, einen “menschlichen” Standard der Diskriminierung zu erreichen:

FID-Scores (niedriger ist besser) für Bilder, die von verschiedenen Modellen unter Verwendung von Standard-Datensätzen und Architekturen generiert wurden. Die Forscher der neuen Studie stellen die Frage ‘Würden Sie mit diesen Rankings einverstanden sein?’. Quelle: https://openreview.net/pdf?id=mLG96UpmbYz

Zusätzlich zu ihrer Behauptung, dass FID nicht für seine beabsichtigte Aufgabe geeignet ist, legt die Studie nahe, dass “offensichtliche” Abhilfen, wie das Ersetzen seines internen Motors durch konkurrierende Motoren, einfach einen Satz von Voreingenommenheiten durch einen anderen ersetzen würden. Die Autoren schlagen vor, dass es nun an neuen Forschungsinitiativen liegt, bessere Metriken zu entwickeln, um die “Authentizität” in synthetisch generierten Fotos zu bewerten.

Die Studie trägt den Titel Internalisierte Voreingenommenheiten in der Fréchet-Inception-Distanz und stammt von Steffen Jung am Max-Planck-Institut für Informatik in Saarbrücken und Margret Keuper, Professorin für Visuelle Informatik an der Universität Siegen.

Die Suche nach einem Bewertungssystem für die Bildsynthese

Wie die neue Forschung feststellt, hat der Fortschritt in Bildsynthese-Frameworks, wie GANs und Encoder/Decoder-Architekturen, die Methoden überholt, mit denen die Ergebnisse solcher Systeme beurteilt werden können. Abgesehen davon, dass die menschliche Bewertung der Ausgabe dieser Systeme teuer und daher schwer zu skalieren ist, bietet sie keine empirische und reproduzierbare Methode der Bewertung.

Deshalb sind eine Reihe von Metrik-Rahmenwerken entstanden, darunter Inception-Score (IS), der in der Studie von 2016 Improved Techniques for Training GANs vorgestellt wurde, die von GAN-Erfinder Ian Goodfellow co-autorisiert wurde.

Die Diskreditierung des IS-Scores als allgemein anwendbares Metrik für mehrere GAN-Netzwerke im Jahr 2018 führte zur weiten Verbreitung von FID in der GAN-Bildsynthese-Gemeinschaft. Allerdings basiert FID, wie auch der Inception-Score, auf Googles Inception v3-Bildklassifizierungsnetzwerk (IV3).

Die Autoren der neuen Studie argumentieren, dass die Fréchet-Inception-Distanz schädliche Voreingenommenheiten in IV3 verbreitet, was zu einer unzuverlässigen Klassifizierung der Bildqualität führt.

Da FID in ein Machine-Learning-Framework als Diskriminator (ein eingebetteter “Richter”, der entscheidet, ob die GAN gut funktioniert oder “noch einmal versuchen” sollte) eingebaut werden kann, muss es genau die Standards darstellen, die ein Mensch bei der Bewertung von Bildern anwenden würde.

Fréchet-Inception-Distanz

FID vergleicht, wie Merkmale über den Trainingsdatensatz verteilt sind, der zur Erstellung eines GAN-Modells (oder ähnlicher Funktionalität) verwendet wird, und die Ergebnisse dieses Systems.

Wenn also ein GAN-Modell auf 10.000 Bildern von (zum Beispiel) Prominenten trainiert wird, vergleicht FID die Originalbilder (reale Bilder) mit den gefälschten Bildern, die von der GAN produziert werden. Je niedriger der FID-Score, desto näher kommt die GAN an “photorealistische” Bilder heran, gemäß den Kriterien von FID.

Aus der Studie, Ergebnisse einer GAN, die auf FFHQ64 trainiert wurde, einem Teil des sehr beliebten FFHQ-Datensatzes von NVIDIA. Hier, obwohl der FID-Score ein wunderbar niedriger Wert von 5,38 ist, sind die Ergebnisse nicht ansprechend oder überzeugend für den durchschnittlichen Menschen.

Das Problem, so argumentieren die Autoren, ist, dass Inception v3, dessen Annahmen die Fréchet-Inception-Distanz antreiben, nicht an den richtigen Stellen sucht – zumindest nicht bei der Aufgabe, die es zu lösen gilt.

Inception V3 ist auf die ImageNet-Objekterkennungsaufgabe trainiert, eine Aufgabe, die möglicherweise im Widerspruch zu den Zielen der Bildsynthese in den letzten Jahren steht. IV3 testet die Robustheit eines Modells, indem es Datenmanipulationen durchführt: es dreht Bilder zufällig, beschneidet sie auf eine zufällige Skalierung zwischen 8-100%, ändert das Seitenverhältnis (in einem Bereich von 3/4 bis 4/3) und injiziert zufällig Farbverzerrungen in Bezug auf Helligkeit, Sättigung und Kontrast.

Die in Deutschland ansässigen Forscher haben festgestellt, dass IV3 eine Tendenz hat, die Extraktion von Kanten und Texturen zu bevorzugen, anstatt Farb- und Intensitätsinformationen, die für synthetische Bilder bedeutungsvollere Indizes der Authentizität wären; und dass sein ursprünglicher Zweck der Objekterkennung daher für eine ungeeignete Aufgabe in Anspruch genommen wurde. Die Autoren stellen fest*:

‘[Inception v3] hat eine Tendenz, Merkmale basierend auf Kanten und Texturen zu extrahieren, anstatt Farb- und Intensitätsinformationen. Dies entspricht seiner Augmentations-Pipeline, die Farbverzerrungen einführt, aber die hochfrequente Information intakt hält (im Gegensatz zu, zum Beispiel, Augmentierung mit Gaussian-Blur).

‘Folglich erbt FID diese Tendenz. Wenn es als Rangmetrik verwendet wird, könnten generative Modelle, die Texturen gut reproduzieren, bevorzugt werden gegenüber Modellen, die Farbverteilungen gut reproduzieren. ‘

Daten und Methode

Um ihre Hypothese zu testen, trainierten die Autoren zwei GAN-Architekturen, DCGAN und SNGAN, auf NVIDIAs FFHQ-Datensatz für menschliche Gesichter, heruntergeskaliert auf eine Bildauflösung von 64², wobei der abgeleitete Datensatz als FFHQ64 bezeichnet wird.

Drei GAN-Trainingsverfahren wurden durchgeführt: GAN G+D, ein standardmäßiges diskriminatorbasiertes Netzwerk; GAN FID|G+D, bei dem FID als zusätzlicher Diskriminator fungiert; und GAN FID|G, bei dem die GAN vollständig von dem laufenden FID-Score angetrieben wird.

Technisch gesehen sollte der FID-Verlust die Ausbildung stabilisieren und sogar komplett ersetzen den Diskriminator (wie es in #3, GAN FID|G, der Fall ist), während menschlich ansprechende Ergebnisse ausgegeben werden.

In der Praxis sind die Ergebnisse jedoch anders, mit – so vermuten die Autoren – den FID-unterstützten Modellen, die “überanpassen” an die falschen Metriken. Die Forscher stellen fest:

‘Wir vermuten, dass der Generator lernt, ungeeignete Merkmale zu produzieren, um die Verteilung der Trainingsdaten zu treffen. Diese Beobachtung wird noch gravierender im Fall von [GAN FID|G]. Hier stellen wir fest, dass der fehlende Diskriminator zu räumlich inkohärenten Merkmalsverteilungen führt. Zum Beispiel fügt [SNGAN FID|G] hauptsächlich einzelne Augen hinzu und ordnet Gesichtsmerkmale auf eine bedrohliche Weise an.’

Beispiele für Gesichter, die von SNGAN FID|G produziert wurden.

Die Autoren kommen zu dem Schluss*:

‘Während menschliche Annotatoren sicherlich Bilder bevorzugen würden, die von SNGAN D+G produziert werden, im Vergleich zu SNGAN FID|G (in Fällen, in denen Datenfidelität gegenüber Kunst bevorzugt wird), sehen wir, dass dies nicht durch FID widergespiegelt wird. FID ist also nicht mit der menschlichen Wahrnehmung ausgerichtet.

‘Wir argumentieren, dass diskriminative Merkmale, die durch Bildklassifizierungsnetzwerke bereitgestellt werden, nicht ausreichen, um die Grundlage für eine sinnvolle Metrik zu bilden.’

Keine leichten Alternativen

Die Autoren fanden auch heraus, dass das Ersetzen von Inception V3 durch einen ähnlichen Motor das Problem nicht löste. Durch das Ersetzen von IV3 mit “einer umfassenden Auswahl verschiedener Klassifizierungsnetzwerke”, die gegen ImageNet-C (einem Teil von ImageNet, der zur Bewertung von häufig generierten Verzerrungen und Störungen in Ausgabebildern von Bildsynthese-Systemen konzipiert wurde) getestet wurden, konnten die Forscher ihre Ergebnisse nicht wesentlich verbessern:

‘[Voreingenommenheiten] in Inception v3 sind auch in anderen Klassifizierungsnetzwerken weit verbreitet. Zusätzlich sehen wir, dass unterschiedliche Netzwerke unterschiedliche Ranglisten zwischen Korruptionsarten erzeugen würden.’

Die Autoren kommen zu dem Schluss, dass es nun an neuen Forschungsinitiativen liegt, eine “menschengerechte und unvoreingenommene Metrik” zu entwickeln, die es ermöglicht, eine gerechtere Rangliste für Bildgenerator-Architekturen zu erstellen.

* Betonung der Autoren.

Erstveröffentlicht am 20. Dezember 2021, 13:00 Uhr GMT+2.