Künstliche Körper mit AI verbessern

Neue Forschungsergebnisse von der Alibaba DAMO-Akademie bieten einen AI-gesteuerten Workflow für die Automatisierung der Neumodellierung von Körperbildern – eine seltene Anstrengung in einem Computer-Vision-Sektor, der derzeit von gesichtsbasierten Manipulationen wie Deepfakes und GAN-basierten Gesichtseditierungen dominiert wird.

In den ‘Ergebnis’-Spalten sind die generierten Aufmerksamkeitskarten eingeblendet, die die zu ändernden Bereiche definieren. Quelle: https://arxiv.org/pdf/2203.04670.pdf

Die Architektur der Forscher verwendet die Schätzung der Skelett-Pose, um die größere Komplexität zu bewältigen, mit der Bildsynthese- und Bildbearbeitungssysteme konfrontiert sind, wenn sie bestehende Körperbilder konzeptualisieren und parametrisieren, zumindest auf einem Level von Granularität, das eine sinnvolle und selektive Bearbeitung ermöglicht.

Die geschätzten Skelett-Karten helfen, einzelne Bereiche des Körpers zu individuieren und die Aufmerksamkeit auf Bereiche zu lenken, die wahrscheinlich retuschiert werden, wie z.B. den Bereich des Oberarms.

Das System ermöglicht es dem Benutzer, Parameter festzulegen, die das Aussehen von Gewicht, Muskelmasse oder Gewichtsverteilung in Voll- oder Halblängenfotos von Menschen ändern können, und es kann willkürliche Transformationen auf bekleidete oder unbekleidete Körperbereiche generieren.

Links, das Eingabebild; Mitte, eine Wärme-Karte der abgeleiteten Aufmerksamkeitsbereiche; rechts, das transformierte Bild.

Die Motivation für diese Arbeit ist die Entwicklung automatisierter Workflows, die die mühsamen digitalen Manipulationen ersetzen könnten, die von Fotografen und Produktionsgrafikern in verschiedenen Medienzweigen, von der Mode bis hin zu Magazin-Style-Ausgaben und Publicity-Material, durchgeführt werden.

Im Allgemeinen erkennen die Autoren an, dass diese Transformationen normalerweise mit ‘Warp’-Techniken in Photoshop und anderen herkömmlichen Bitmap-Editoren angewendet werden und fast ausschließlich auf Bilder von Frauen verwendet werden. Folglich besteht das benutzerdefinierte Dataset, das zur Erleichterung des neuen Prozesses entwickelt wurde, hauptsächlich aus Bildern weiblicher Probanden:

‘Da Körperretuschen hauptsächlich von Frauen gewünscht werden, besteht unsere Sammlung hauptsächlich aus Fotos von Frauen, wobei die Vielfalt der Altersgruppen, Rassen (Afrikanisch:Asiatisch:Kaukasisch = 0,33:0,35:0,32), Posen und Kleidungsstücke berücksichtigt wird.’

Der Artikel trägt den Titel Structure-Aware Flow Generation for Human Body Reshaping und stammt von fünf Autoren, die mit der globalen Alibaba-DAMO-Akademie verbunden sind.

Dataset-Entwicklung

Wie in der Regel bei Bildsynthese- und Bildbearbeitungssystemen der Fall ist, erforderte die Architektur für das Projekt ein benutzerdefiniertes Trainingsdataset. Die Autoren beauftragten drei Fotografen, Standard-Photoshop-Manipulationen von geeigneten Bildern von der Stock-Fotografie-Website Unsplash durchzuführen, was zu einem Dataset – betitelt BR-5K* – von 5.000 hochwertigen Bildern mit einer Auflösung von 2K führte.

Die Forscher betonen, dass das Ziel des Trainings auf diesem Dataset nicht darin besteht, ‘idealisierende’ und verallgemeinerte Merkmale in Bezug auf einen Index der Attraktivität oder des gewünschten Aussehens zu produzieren, sondern vielmehr die zentralen Feature-Mappings zu extrahieren, die mit professionellen Manipulationen von Körperbildern verbunden sind.

Allerdings räumen sie ein, dass die Manipulationen letztendlich transformative Prozesse widerspiegeln, die eine Entwicklung von ‘real’ zu einem vorgegebenen Konzept von ‘ideal’ darstellen:

‘Wir laden drei professionelle Künstler ein, Körper mit Photoshop unabhängig voneinander zu retuschieren, mit dem Ziel, schlanke Figuren zu erstellen, die den populären Ästhetiken entsprechen, und wählen die beste als Grundwahrheit aus.’

Da die Architektur nicht mit Gesichtern arbeitet, wurden diese vor der Aufnahme in das Dataset unscharf gemacht.

Architektur und Kernkonzepte

Der Workflow des Systems umfasst das Einlesen eines Hochauflösungsbildes, das Downsampling auf eine niedrigere Auflösung, die in die verfügbaren Rechenressourcen passt, und das Extrahieren einer geschätzten Skelett-Map-Posen (zweites Bild von links in der Abbildung unten), sowie Part-Affinity-Felder (PAFs), die 2016 von The Robotics Institute an der Carnegie Mellon University (innoviert) wurden (siehe Video, das direkt unterhalb eingebettet ist).

Part-Affinity-Felder helfen, die Ausrichtung der Gliedmaßen und ihre allgemeine Assoziation mit dem breiteren Skelett-Rahmen zu definieren, wodurch dem neuen Projekt ein zusätzliches Aufmerksamkeits-/Lokalisierungstool zur Verfügung steht.

Aus dem Part-Affinity-Felder-Papier von 2016, vorhergesagte PAFs kodieren die Ausrichtung der Gliedmaßen als Teil eines 2D-Vektors, der auch die allgemeine Position der Gliedmaßen enthält. Quelle: https://arxiv.org/pdf/1611.08050.pdf

Trotz ihrer offensichtlichen Irrelevanz für das Aussehen von Gewicht sind Skelett-Karten nützlich, um die endgültigen transformatorischen Prozesse auf die zu ändernden Körperbereiche zu lenken, wie z.B. die Oberarme, den Rücken und die Oberschenkel.

Danach werden die Ergebnisse an eine Structure-Affinity-Self-Attention (SASA) im zentralen Engpass des Prozesses (siehe Bild unten) weitergeleitet.

Die SASA reguliert die Konsistenz des Flow-Generators, der den Prozess antreibt, und die Ergebnisse werden dann an das Warping-Modul (zweites von rechts in der Abbildung oben) weitergeleitet, das die Transformationen anwendet, die aus dem Training auf den manuellen Revisionen im Dataset gelernt wurden.

Das Structure-Affinity-Self-Attention (SASA)-Modul weist die Aufmerksamkeit auf die relevanten Körperbereiche zu, wodurch unerwünschte oder irrelevante Transformationen vermieden werden.

Das Ausgabebild wird anschließend auf die ursprüngliche 2K-Auflösung hochskaliert, wobei Verfahren verwendet werden, die nicht unähnlich sind zu der Standard-Deepfake-Architektur von 2017, von der beliebte Pakete wie DeepFaceLab abgeleitet wurden; der Hochskalierungsprozess ist auch in GAN-Editierungsframeworks üblich.

Das Aufmerksamkeitsnetzwerk für das Schema ist dem Compositional De-Attention Networks (CODA) nachempfunden, einer US-Singapur-Kollaboration von 2019 mit Amazon AI und Microsoft.

Tests

Der flow-basierte Rahmen wurde gegen vorherige flow-basierte Methoden FAL und Animating Through Warping (ATW) sowie gegen Bildübersetzungsarchitekturen Pix2PixHD und GFLA getestet, wobei SSIM, PSNR und LPIPS als Bewertungsmetriken verwendet wurden.

Ergebnisse der anfänglichen Tests (Pfeilrichtung in den Überschriften zeigt an, ob niedrigere oder höhere Werte besser sind).

Basiert auf diesen verwendeten Metriken übertrifft das System der Autoren die vorherigen Architekturen.

Ausgewählte Ergebnisse. Bitte verweisen Sie auf das Original-PDF, das in diesem Artikel verknüpft ist, für höher aufgelöste Vergleiche.

Zusätzlich zu den automatischen Metriken führten die Forscher eine Benutzerstudie durch (letzte Spalte der Ergebnistabelle, die zuvor abgebildet wurde), bei der 40 Teilnehmer jeweils 30 Fragen aus einem Pool von 100 Fragen zum Thema der durch die verschiedenen Methoden erzeugten Bilder ausgewählt wurden. 70 % der Befragten bevorzugten die neue Technik als ‘visuell ansprechender’.

Herausforderungen

Das neue Papier stellt einen seltenen Ausflug in die AI-basierte Körpermanipulation dar. Der Bildsynthese-Sektor ist derzeit viel mehr an der Generierung von editierbaren Körpern durch Methoden wie Neural Radiance Fields (NeRF) oder an der Erforschung des latenten Raums von GANs und dem Potenzial von Autoencodern für Gesichtsmanipulationen interessiert.

Die Initiative der Autoren ist derzeit auf die Erzeugung von Veränderungen im wahrgenommenen Gewicht beschränkt, und sie haben keine Art von Inpainting-Technik implementiert, die den Hintergrund wiederherstellen würde, der unweigerlich durch die Veränderung eines Bildes einer Person sichtbar wird.

Dennoch schlagen sie vor, dass Portrait-Masking und Hintergrund-Blending durch texturale Inferenz das Problem der Wiederherstellung der Teile der Welt, die durch menschliche ‘Unvollkommenheit’ zuvor verborgen waren, trivial lösen könnten.

Ein vorgeschlagener Lösungsansatz für die Wiederherstellung des Hintergrunds, der durch die AI-gesteuerte Fettreduktion sichtbar wird.

* Obwohl der Preprint auf ergänzendes Material verweist, das weitere Details zum Dataset und weitere Beispiele aus dem Projekt enthält, ist der Ort dieses Materials im Papier nicht angegeben, und der entsprechende Autor hat noch nicht auf unsere Anfrage um Zugang reagiert.

Erstveröffentlichung am 10. März 2022.