Ein KI-System, das Bilder von Menschen “schöner” machen kann

Forscher aus China haben ein neues KI-basiertes Bildverbesserungssystem entwickelt, das in der Lage ist, Bilder von Personen “schöner” zu machen, basierend auf einem neuen Ansatz zum Reinforcement Learning.

Der neue Ansatz verwendet ein ‘Gesichtsschönheitsvorhersagenetzwerk’, um Variationen eines Bildes basierend auf verschiedenen Faktoren zu iterieren, unter denen ‘Beleuchtung’ und Augenpose möglicherweise kritische Faktoren sind. Hier sind die ursprünglichen Quellen (links in jeder Spalte) aus dem EigenGAN-System, mit den neuen Ergebnissen rechts davon. Quelle: https://arxiv.org/pdf/2208.04517.pdf

Die Technik basiert auf Innovationen, die für den EigenGAN-Generator entdeckt wurden, einem anderen chinesischen Projekt aus dem Jahr 2021, das bemerkenswerte Fortschritte bei der Identifizierung und Kontrolle der vielfältigen semantischen Attribute im latenten Raum von Generative Adversarial Networks (GANs) erzielt hat.

Der EigenGAN-Generator aus dem Jahr 2021 konnte hochrangige Konzepte wie ‘Haarfarbe’ im latenten Raum eines generativen adversarialen Netzwerks individuieren. Die neue Arbeit baut auf diesem innovativen Instrument auf, um ein System zu liefern, das ‘schönere’ Quellbilder liefern kann, ohne die erkennbare Identität zu ändern – ein Problem in vorherigen Ansätzen. Quelle: https://arxiv.org/pdf/2104.12476.pdf

Das System verwendet ein ‘Ästhetik-Score-Netzwerk’, das aus SCUT-FBP5500 (SCUT) abgeleitet ist, einer 2018-Benchmark-Datensammlung für Gesichtsschönheitsvorhersage, von der South China University of Technology in Guangzhou.

Aus dem 2018-Papier ‘SCUT-FBP5500: Eine vielfältige Benchmark-Datensammlung für multi-paradigmatische Gesichtsschönheitsvorhersage’, das ein ‘Gesichtsschönheitsvorhersagenetzwerk’ (FBP) anbot, das Gesichter in Bezug auf wahrgenommene Attraktivität bewerten konnte, aber nicht tatsächlich Gesichter transformieren oder ‘upgraden’ konnte. Quelle: https://arxiv.org/pdf/1801.06345.pdf

Im Gegensatz zur neuen Arbeit kann das 2018-Projekt keine tatsächlichen Transformationen ausführen, aber es enthält algorithmische Werturteile für 5.500 Gesichter, die von 60 gemischten Geschlechtslabeln (eine 50/50-Aufteilung) bereitgestellt werden. Diese wurden in das neue System als effektiver Diskriminator eingebaut, um Transformationen zu informieren, die wahrscheinlich die ‘Attraktivität’ eines Bildes verbessern.

Interessanterweise ist das neue Papier mit dem Titel Attribute-Controllable-Beautiful-Caucasian-Face-Generation-by-Aesthetics-Driven-Reinforcement-Learning betitelt. Der Grund, warum alle Rassen außer der kaukasischen aus dem System ausgeschlossen sind (man beachte, dass die Forscher selbst Chinesen sind), liegt darin, dass die Quelldaten für SCUT deutlich zu asiatischen Quellen neigen (4.000 gleichmäßig aufgeteilte asiatische Frauen/Männer, 1.500 gleichmäßig aufgeteilte kaukasische Frauen/Männer), was den ‘durchschnittlichen Menschen’ in dieser Datensammlung braunhaarig und braunäugig macht.

Daher war es notwendig, den asiatischen Anteil von den ursprünglichen Daten auszuschließen oder einen erheblichen Aufwand zu betreiben, um die Daten zu rekonstituieren, um eine Methode zu entwickeln, die möglicherweise nicht funktioniert hätte. Zusätzlich bedeuten Variationen in kulturellen Wahrnehmungen von Schönheit, dass solche Systeme einige Grad an geografischer Konfigurierbarkeit in Bezug auf das benötigen, was ‘Attraktivität’ ausmacht.

Relevante Attribute

Um die primären beitragenden Faktoren zu einem ‘attraktiven’ Foto einer Person zu bestimmen, testeten die Forscher auch die Wirkung verschiedener Änderungen an Bildern, in Bezug auf die Verbesserung der algorithmischen Wahrnehmung von ‘Schönheit’. Sie fanden heraus, dass mindestens eines der Aspekte zentraler für gute Fotografie als für gute Genetik ist:

Neben der Beleuchtung hatten die Aspekte, die den größten Einfluss auf den Schönheitsscore hatten, den größten Einfluss auf die Schönheit: Bangs (die im Falle von Männern oft gleichbedeutend mit einem vollen Haar sind), Körperhaltung und Augenstellung (wo die Beteiligung am Kamerasichtpunkt ein Plus für Attraktivität ist).

(In Bezug auf ‘Lippenstiftfarbe’ arbeitet das neue System, das effektiv auf männliche und weibliche Darstellungen von Geschlecht arbeiten kann, nicht mit Geschlechtserscheinung, sondern verlässt sich auf das neue Diskriminatoren-System als ‘Filter’ in dieser Hinsicht)

Methode

Die Belohnungsfunktion im Reinforcement-Learning-Mechanismus im neuen System wird durch eine einfache Regression über die SCUT-Daten angetrieben, die Gesichtsschönheitsvorhersagen ausgibt.

Das Trainingsystem iteriert über die Eingabebilder (unten links im Schemata). Zunächst extrahiert ein vorge trainiertes ResNet18-Modell (trainiert auf ImageNet) Merkmale aus den fünf identischen (‘y’) Bildern. Als nächstes wird eine potenzielle transformative Aktion aus dem versteckten Zustand einer vollständig verbundenen Schicht (GRUCell, in Bild unten) abgeleitet, und die Transformationen angewendet, was zu fünf veränderten Bildern führt, die in das Ästhetik-Score-Netzwerk eingespeist werden, dessen Ranglisten, Darwin-Style, bestimmen werden, welche Variationen entwickelt und welche verworfen werden.

Eine Illustration des Arbeitsablaufs für das neue System.

Das Ästhetik-Score-Netzwerk verwendet ein Efficient Channel Attention (ECA)-Modul, während eine Anpassung eines vorge trainierten EfficientNet-B4 mit der Aufgabe betraut ist, 1.792 Merkmale aus jedem Bild zu extrahieren.

Nach der Normalisierung durch eine ReLU-Aktivierungsfunktion wird ein 4-dimensionales Vektor zurückgegeben, der dann nach der Aktivierung und adaptiver Durchschnittspooling zu einem eindimensionalen Vektor flacht. Schließlich werden die Ergebnisse in das Regressionsnetzwerk eingespeist, das einen Ästhetik-Score abruft.

Ein qualitativer Vergleich der Ausgabe des Systems. In der unteren Zeile sehen wir die aggregierte Summe aller individuierten Aspekte, die durch die EigenGAN-Methode identifiziert und anschließend verbessert wurden. Die durchschnittlichen FID-Scores für die Bilder sind links der Bildzeilen (höher ist besser).

Tests und Benutzerstudie

Fünf Varianten der vorgeschlagenen Methode wurden algorithmisch ausgewertet (siehe Bild oben), mit Fréchet-Inception-Distanz (FID, umstritten in einigen Quartalen) Scores, die 1.000 Bildern zugewiesen wurden, die durch das System verarbeitet wurden.

Die Forscher bemerken, dass die Verbesserung der Beleuchtung einen besseren Attraktivitätsscore für die Personen in den Fotos erzielte als mehrere andere mögliche Änderungen (z. B. an der tatsächlichen Erscheinung der abgebildeten Person).

Bis zu einem bestimmten Grad ist das Testen des Systems auf diese Weise durch die Eigenheiten der SCUT-Daten eingeschränkt, die nicht viele ‘helle Lächeln’ haben, und die Autoren argumentieren, dass dies den ‘enigmatischen’ Blick in den Daten übermäßig hoch einstufen könnte, im Vergleich zu den wahrscheinlichen Vorlieben potenzieller Zielbenutzer (vermutlich in diesem Fall ein westlicher Markt).

Da jedoch das gesamte System auf den durchschnittlichen Meinungen von nur 60 Personen (im EigenGAN-Papier) basiert und da die Qualität, die untersucht wird, weit von empirisch entfernt ist, könnte argumentiert werden, dass das Verfahren solider ist als die Datensammlung.

Obwohl es im Papier nur kurz behandelt wird, wurden Bilder von EigenGAN und den fünf Varianten des Systems auch in einer begrenzten Benutzerstudie (acht Teilnehmer) gezeigt, die aufgefordert wurden, das ‘beste Bild’ (das Wort ‘attraktiv’ wurde vermieden) auszuwählen.

Oben, die Benutzeroberfläche, die der kleinen Studiengruppe präsentiert wurde; unten, die Ergebnisse.

Die Ergebnisse zeigen, dass die Ausgabe des neuen Systems den höchsten Auswahlprozentsatz unter den Teilnehmern erreicht hat (‘MAES’ im Bild oben).

Die (ziellose?) Verfolgung von Schönheit

Die Nützlichkeit eines solchen Systems ist schwer zu etablieren, trotz dessen, was wie ein beachtlicher Schwerpunkt von Bemühungen in China in Richtung dieser Ziele ist. Keiner wird in der neuen Veröffentlichung skizziert.

Das vorherige EigenGAN-Papier legt nahe*, dass ein Schönheitserkennungssystem in Gesichts-Make-up-Synthese-Empfehlungssystemen, ästhetischer Chirurgie, Gesichtsverklärung oder inhaltsbasierten Bildsuche verwendet werden könnte.

Es ist anzunehmen, dass ein solcher Ansatz auch auf Dating-Seiten durch Endbenutzer verwendet werden könnte, um ihre eigenen Profilfotos in ein garantiertes ‘glückliches Schuss’ zu ‘verbessern’, als Alternative zur Verwendung veralteter Fotos oder Fotos von anderen Personen.

Ebenso könnten Dating-Seiten selbst ihre Kunden ‘bewerten’, um Bewertungen und sogar eingeschränkte Zugangsstufen zu erstellen, obwohl dies wahrscheinlich nur über eine Liveness-Authentifizierungskapazität und nicht über vorgelegte Fotos (die ebenfalls von den Kunden ‘verbessert’ werden könnten, wenn der Ansatz populär würde) funktionieren würde.

In der Werbung könnte ein algorithmischer Ansatz zur Bewertung von Schönheit (eine Technologie, die vom verstorbenen Science-Fiction-Autor Michael Crichton in seinem 1982er Film Looker vorhergesagt wurde) verwendet werden, um die nicht verbesserte kreative Ausgabe auszuwählen, die am wahrscheinlichsten ein Zielpublikum anspricht, während die Fähigkeit, die ästhetische Wirkung von Gesichtsbildern tatsächlich zu maximieren, ohne sie tatsächlich im Stil von Deepfakes zu überschreiben, effektive Bilder, die darauf abzielen, öffentliches Interesse zu wecken, verbessern könnte.

Die neue Arbeit wird vom Nationalen Naturwissenschaftlichen Forschungsrat Chinas, dem Offenen Fondsprojekt des Staatslabors für komplexe Systemmanagement und -steuerung und dem Projekt für Philosophie- und Sozialwissenschaftsforschung des chinesischen Bildungsministeriums unterstützt, unter anderen.

* Viele der Empfehlungen des EigenGAN-Papiers weisen auf ein kommerziell verfügbares Buch aus dem Jahr 2016 mit dem Titel ‘Computer-Modelle für Gesichtsschönheitsanalyse’ hin, anstatt auf akademische Ressourcen.

Erstveröffentlicht am 11. August 2022.