Andersons Blickwinkel

Ein KI-System, das Bilder von Menschen schöner machen kann

Martin Anderson
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Background image: DALL-E 2 'Award-winning 8K photo of the most beautiful Caucasian catwalk model in the world' - https://labs.openai.com/s/kRXusxOR5GcYyb6pqZjNH2AA
Wichtige PunkteNeues KI-System nutzt bestärkendes Lernen, um Gesichter zu verschönern, ohne die…
Mehr anzeigen
  • Neues KI-System nutzt bestärkendes Lernen, um Gesichter zu verschönern, ohne die Identität zu verändern.
  • Beleuchtung und Blickrichtung sind für die Steigerung algorithmischer Schönheitswerte wichtiger als Genetik.
  • Das System stützt sich lediglich auf die Schönheitsurteile von 60 Bewertern aus dem SCUT-FBP5500-Datensatz.

Forscher aus China haben ein neues KI-basiertes Bildverbesserungssystem entwickelt, das in der Lage ist, Bilder von Personen “schöner” zu machen, basierend auf einem neuen Ansatz zum Reinforcement Learning.

Der neue Ansatz verwendet ein 'Gesichtsschönheitsvorhersagenetzwerk', um Variationen eines Bildes basierend auf verschiedenen Faktoren zu iterieren, unter denen 'Beleuchtung' und Blickrichtung möglicherweise kritische Faktoren sind. Hier sind die ursprünglichen Quellen (links in jeder Spalte) aus dem EigenGAN-System, mit den neuen Ergebnissen rechts davon. Quelle: https://arxiv.org/pdf/2208.04517.pdf

Der neue Ansatz verwendet ein ‘Gesichtsschönheitsvorhersagenetzwerk’, um Variationen eines Bildes basierend auf verschiedenen Faktoren zu iterieren, unter denen ‘Beleuchtung’ und Blickrichtung möglicherweise kritische Faktoren sind. Hier sind die ursprünglichen Quellen (links in jeder Spalte) aus dem EigenGAN-System, mit den neuen Ergebnissen rechts davon. Quelle: https://arxiv.org/pdf/2208.04517.pdf

Die Technik basiert auf Innovationen, die für den EigenGAN-Generator entdeckt wurden, einem anderen chinesischen Projekt aus dem Jahr 2021, das bemerkenswerte Fortschritte bei der Identifizierung und Kontrolle der vielfältigen semantischen Attribute im latenten Raum von Generative Adversarial Networks (GANs) erzielt hat.

Der EigenGAN-Generator aus dem Jahr 2021 konnte übergeordnete Konzepte wie 'Haarfarbe' im latenten Raum eines generativen adversarialen Netzwerks individuieren. Die neue Arbeit baut auf diesem innovativen Instrument auf, um ein System zu liefern, das 'schönere' Quellbilder liefern kann, ohne die erkennbare Identität zu ändern – ein Problem in vorherigen Ansätzen.

Der EigenGAN-Generator aus dem Jahr 2021 konnte übergeordnete Konzepte wie ‘Haarfarbe’ im latenten Raum eines generativen adversarialen Netzwerks individuieren. Die neue Arbeit baut auf diesem innovativen Instrument auf, um ein System zu liefern, das ‘schönere’ Quellbilder liefern kann, ohne die erkennbare Identität zu ändern – ein Problem in vorherigen Ansätzen. Quelle: https://arxiv.org/pdf/2104.12476.pdf

Das System verwendet ein ‘Ästhetik-Score-Netzwerk’, das aus SCUT-FBP5500 (SCUT) abgeleitet ist, einer 2018-Benchmark-Datensammlung für Gesichtsschönheitsvorhersage, von der South China University of Technology in Guangzhou.

Aus dem 2018-Papier 'SCUT-FBP5500: Eine vielfältige Benchmark-Datensammlung für multi-paradigmatische Gesichtsschönheitsvorhersage', das ein 'Gesichtsschönheitsvorhersagenetzwerk' (FBP) anbot, das Gesichter in Bezug auf wahrgenommene Attraktivität bewerten konnte, aber nicht tatsächlich Gesichter transformieren oder 'upgraden' konnte. Quelle: https://arxiv.org/pdf/1801.06345.pdf

Aus dem 2018-Papier ‘SCUT-FBP5500: Eine vielfältige Benchmark-Datensammlung für multi-paradigmatische Gesichtsschönheitsvorhersage’, das ein ‘Gesichtsschönheitsvorhersagenetzwerk’ (FBP) anbot, das Gesichter in Bezug auf wahrgenommene Attraktivität bewerten konnte, aber nicht tatsächlich Gesichter transformieren oder ‘upgraden’ konnte. Quelle: https://arxiv.org/pdf/1801.06345.pdf

Im Gegensatz zur neuen Arbeit kann das 2018-Projekt keine tatsächlichen Transformationen ausführen, aber es enthält algorithmische Werturteile für 5.500 Gesichter, die von 60 Annotatoren, je zur Hälfte Frauen und Männer bereitgestellt werden. Diese wurden in das neue System als effektiver Diskriminator eingebaut, um Transformationen anzuleiten, die wahrscheinlich die ‘Attraktivität’ eines Bildes verbessern.

Interessanterweise ist das neue Papier mit dem Titel Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning betitelt. Der Grund, warum alle Rassen außer der kaukasischen aus dem System ausgeschlossen sind (man beachte, dass die Forscher selbst Chinesen sind), liegt darin, dass die Quelldaten für SCUT deutlich zu asiatischen Quellen neigen (4.000 gleichmäßig aufgeteilte asiatische Frauen/Männer, 1.500 gleichmäßig aufgeteilte kaukasische Frauen/Männer), was den ‘durchschnittlichen Menschen’ in dieser Datensammlung braunhaarig und braunäugig macht.

Um Farbvariationen zumindest innerhalb einer Gruppe zu ermöglichen, war es daher notwendig, den asiatischen Anteil von den ursprünglichen Daten auszuschließen oder einen erheblichen Aufwand zu betreiben, um die Daten zu rekonstituieren, um eine Methode zu entwickeln, die möglicherweise nicht funktioniert hätte. Zusätzlich bedeuten Variationen in kulturellen Wahrnehmungen von Schönheit, dass solche Systeme ein gewisses Maß an geografischer Anpassbarkeit in Bezug auf das benötigen, was ‘Attraktivität’ ausmacht.

Relevante Attribute

Um die primären beitragenden Faktoren zu einem ‘attraktiven’ Foto einer Person zu bestimmen, testeten die Forscher auch die Wirkung verschiedener Änderungen an Bildern, in Bezug auf die Verbesserung der algorithmischen Wahrnehmung von ‘Schönheit’. Sie fanden heraus, dass mindestens einer der Aspekte zentraler für gute Fotografie als für gute Genetik ist:

Neben der Beleuchtung beeinflussten ein Pony (bei Männern oft vergleichbar damit, überhaupt volles Haar zu haben), Körperhaltung und Blickrichtung den Schönheitsscore am stärksten. Blickkontakt mit der Kamera steigert dabei die Attraktivität.

(In Bezug auf ‘Lippenstiftfarbe’ arbeitet das neue System, das effektiv auf männliche und weibliche Darstellungen von Geschlecht arbeiten kann, nicht mit Geschlechtserscheinung, sondern verlässt sich auf das neue Diskriminatoren-System als ‘Filter’ in dieser Hinsicht)

Methode

Die Belohnungsfunktion im Reinforcement-Learning-Mechanismus im neuen System wird durch eine einfache Regression über die SCUT-Daten angetrieben, die Gesichtsschönheitsvorhersagen ausgibt.

Das Trainingsystem iteriert über die Eingabebilder (unten links im Schemata). Zunächst extrahiert ein vortrainiertes ResNet18-Modell (trainiert auf ImageNet) Merkmale aus den fünf identischen (‘y’) Bildern. Als nächstes wird eine potenzielle transformative Aktion aus dem versteckten Zustand einer vollständig verbundenen Schicht (GRUCell, in Bild unten) abgeleitet, und die Transformationen angewendet, was zu fünf veränderten Bildern führt, die in das Ästhetik-Score-Netzwerk eingespeist werden, dessen Ranglisten, Darwin-Style, bestimmen werden, welche Variationen entwickelt und welche verworfen werden.

Eine breite Illustration des Arbeitsablaufs für das neue System.

Eine Illustration des Arbeitsablaufs für das neue System.

Das Ästhetik-Score-Netzwerk verwendet ein Efficient Channel Attention (ECA)-Modul, während eine Anpassung eines vortrainierten EfficientNet-B4 mit der Aufgabe betraut ist, 1.792 Merkmale aus jedem Bild zu extrahieren.

Nach der Normalisierung durch eine ReLU-Aktivierungsfunktion wird ein vierdimensionaler Vektor zurückgegeben, der dann nach der Aktivierung und adaptiver Durchschnittspooling zu einem eindimensionalen Vektor flacht. Schließlich werden die Ergebnisse in das Regressionsnetzwerk eingespeist, das einen Ästhetik-Score abruft.

Ein qualitativer Vergleich der Ausgabe des Systems. In der unteren Zeile sehen wir die aggregierte Summe aller individuierten Aspekte, die durch die EigenGAN-Methode identifiziert und anschließend verbessert wurden. Die durchschnittlichen FID-Scores für die Bilder sind links der Bildzeilen (höher ist besser).

Ein qualitativer Vergleich der Ausgabe des Systems. In der unteren Zeile sehen wir die aggregierte Summe aller individuierten Aspekte, die durch die EigenGAN-Methode identifiziert und anschließend verbessert wurden. Die durchschnittlichen FID-Scores für die Bilder sind links der Bildzeilen (höher ist besser).

Tests und Benutzerstudie

Fünf Varianten der vorgeschlagenen Methode wurden algorithmisch ausgewertet (siehe Bild oben), mit Fréchet-Inception-Distanz (FID, in einigen Kreisen umstritten) Scores, die 1.000 Bildern zugewiesen wurden, die durch das System verarbeitet wurden.

Die Forscher bemerken, dass die Verbesserung der Beleuchtung einen besseren Attraktivitätsscore für die Personen in den Fotos erzielte als mehrere andere mögliche Änderungen (z. B. an der tatsächlichen Erscheinung der abgebildeten Person).

Bis zu einem bestimmten Grad ist das Testen des Systems auf diese Weise durch die Eigenheiten der SCUT-Daten eingeschränkt, die nicht viele ‘helle Lächeln’ haben, und die Autoren argumentieren, dass dies den ‘enigmatischen’ Blick in den Daten übermäßig hoch einstufen könnte, im Vergleich zu den wahrscheinlichen Vorlieben potenzieller Zielbenutzer (vermutlich in diesem Fall ein westlicher Markt).

Da jedoch das gesamte System auf den durchschnittlichen Meinungen von nur 60 Personen (im EigenGAN-Papier) basiert und da die Qualität, die untersucht wird, weit von empirisch entfernt ist, könnte argumentiert werden, dass das Verfahren solider ist als die Datensammlung.

Obwohl es im Papier nur kurz behandelt wird, wurden Bilder von EigenGAN und den fünf Varianten des Systems auch in einer begrenzten Benutzerstudie (acht Teilnehmer) gezeigt, die aufgefordert wurden, das ‘beste Bild’ (das Wort ‘attraktiv’ wurde vermieden) auszuwählen.

Oben, die Benutzeroberfläche, die der kleinen Studiengruppe präsentiert wurde; unten, die Ergebnisse.

Oben, die Benutzeroberfläche, die der kleinen Studiengruppe präsentiert wurde; unten, die Ergebnisse.

Die Ergebnisse zeigen, dass die Ausgabe des neuen Systems den höchsten Auswahlprozentsatz unter den Teilnehmern erreicht hat (‘MAES’ im Bild oben).

Die (ziellose?) Verfolgung von Schönheit

Die Nützlichkeit eines solchen Systems ist schwer zu etablieren, trotz dessen, was wie ein beachtlicher Schwerpunkt von Bemühungen in China in Richtung dieser Ziele ist. Die neue Veröffentlichung beschreibt keinen konkreten Anwendungszweck.

Das vorherige EigenGAN-Papier legt nahe*, dass ein Schönheitserkennungssystem in Gesichts-Make-up-Synthese-Empfehlungssystemen, ästhetischer Chirurgie, Gesichtsverschönerung oder inhaltsbasierter Bildsuche verwendet werden könnte.

Es ist anzunehmen, dass ein solcher Ansatz auch auf Dating-Seiten durch Endbenutzer verwendet werden könnte, um ihre eigenen Profilfotos in einen garantiert gelungenen Schnappschuss zu ‘verbessern’, als Alternative zur Verwendung veralteter Fotos oder Fotos von anderen Personen.

Ebenso könnten Dating-Seiten selbst ihre Kunden ‘bewerten’, um Bewertungen und sogar eingeschränkte Zugangsstufen zu erstellen, obwohl dies wahrscheinlich nur über eine Bildaufnahme mit Prüfung, ob eine lebende Person anwesend ist und nicht über vorgelegte Fotos (die ebenfalls von den Kunden ‘verbessert’ werden könnten, wenn der Ansatz populär würde) funktionieren würde.

In der Werbung könnte ein algorithmischer Ansatz zur Bewertung von Schönheit (eine Technologie, die vom verstorbenen Science-Fiction-Autor Michael Crichton in seinem 1982er Film Looker vorhergesagt wurde) verwendet werden, um die nicht verbesserte kreative Ausgabe auszuwählen, die am wahrscheinlichsten ein Zielpublikum anspricht, während die Fähigkeit, die ästhetische Wirkung von Gesichtsbildern tatsächlich zu maximieren, ohne sie tatsächlich im Stil von Deepfakes zu überschreiben, effektive Bilder, die darauf abzielen, öffentliches Interesse zu wecken, verbessern könnte.

Die neue Arbeit wird vom Nationalen Naturwissenschaftlichen Stiftung Chinas, dem Offenen Fondsprojekt des Staatslabors für komplexe Systemmanagement und -steuerung und dem Projekt für Philosophie- und Sozialwissenschaftsforschung des chinesischen Bildungsministeriums unterstützt, unter anderen.

 

* Viele der Empfehlungen des EigenGAN-Papiers weisen auf ein kommerziell verfügbares Buch aus dem Jahr 2016 mit dem Titel ‘Computer-Modelle für Gesichtsschönheitsanalyse’ hin, anstatt auf akademische Ressourcen.

Erstveröffentlicht am 11. August 2022.

Autor im Bereich maschinelles Lernen, Fachspezialist für menschliche Bildsynthese. Ehemaliger Leiter der Forschungsinhalte bei Metaphysic.ai, bis zu seiner Auflösung in DNEG's Brahma.ai.
Website: martinanderson.ai
Kontakt: martin@martinanderson.ai