Wiederherstellung und Bearbeitung von Menschenbildern mit KI

Eine neue Zusammenarbeit zwischen der University of California Merced und Adobe bietet einen Fortschritt im Bereich der Menschenbildvervollständigung – der viel untersuchten Aufgabe, verdeckte oder verborgene Teile von Menschenbildern “aufzudecken”, für Zwecke wie virtuelles Anprobieren, Animation und Foto-Bearbeitung.

Neben der Reparatur beschädigter Bilder oder deren Änderung nach Belieben können Menschenbildvervollständigungssysteme wie CompleteMe neue Kleidung (über ein Nebenreferenzbild, wie in der mittleren Spalte in diesen beiden Beispielen) in bestehende Bilder einfügen. Diese Beispiele stammen aus dem umfassenden ergänzenden PDF für den neuen Artikel. Quelle: https://liagm.github.io/CompleteMe/pdf/supp.pdf

Der neue Ansatz, betitelt CompleteMe: Referenzbasierte Menschenbildvervollständigung, verwendet zusätzliche Eingabebilder, um dem System zu “sagen”, was den verdeckten oder fehlenden Teil des Menschenbildes ersetzen soll (daher die Anwendbarkeit auf Mode-basierte Anprobeframeworks):

Das CompleteMe-System kann Referenzinhalte an den verdeckten oder verdeckten Teil eines Menschenbildes anpassen.

Das neue System verwendet eine duale U-Net-Architektur und einen Region-Focused Attention (RFA)-Block, der Ressourcen auf den relevanten Bereich der Bildwiederherstellung zuweist.

Die Forscher bieten auch ein neues und herausforderndes Benchmark-System an, um referenzbasierte Vervollständigungsaufgaben zu bewerten (da CompleteMe Teil einer bestehenden und laufenden Forschungsstrang in der Computer-Vision ist, aber bisher keine Benchmark-Schemata gab).

In Tests und in einer gut skalierten Benutzerstudie schnitt die neue Methode in den meisten Metriken am besten ab und insgesamt besser. In bestimmten Fällen waren rivalisierende Methoden von dem referenzbasierten Ansatz völlig überfordert:

Aus dem ergänzenden Material: Die AnyDoor-Methode hat besondere Schwierigkeiten, eine Referenzbild zu interpretieren.

Der Artikel besagt:

‘Umfangreiche Experimente auf unserem Benchmark demonstrieren, dass CompleteMe staatliche Methoden, sowohl referenzbasiert als auch nicht-referenzbasiert, in Bezug auf quantitative Metriken, qualitative Ergebnisse und Benutzerstudien übertrifft.

‘Insbesondere in herausfordernden Szenarien mit komplexen Posen, komplizierten Kleidungsmustern und auffälligen Accessoires erreicht unser Modell konsistent eine überlegene visuelle Treue und semantische Kohärenz.’

Leider enthält das GitHub-Profil des Projekts keinen Code, noch gibt es Versprechungen, und die Initiative, die auch eine bescheidene Projektseite hat, scheint als proprietäre Architektur konzipiert zu sein.

Weitere Beispiele für die subjektive Leistung des neuen Systems im Vergleich zu vorherigen Methoden. Weitere Details folgen später in diesem Artikel.

Methode

Das CompleteMe-Framework basiert auf einer Referenz-U-Net, die die Integration des Nebenmaterials in den Prozess übernimmt, und einer kohärenten U-Net, die einen breiteren Bereich von Prozessen zur Erzielung des Endergebnisses aufnimmt, wie in dem konzeptionellen Schema unten gezeigt:

Das konzeptionelle Schema für CompleteMe. Quelle: https://arxiv.org/pdf/2504.20042

Das System kodiert zunächst das maskierte Eingabebild in eine latente Darstellung. Gleichzeitig verarbeitet die Referenz-U-Net mehrere Referenzbilder, um detaillierte räumliche Merkmale zu extrahieren.

Diese Merkmale werden durch einen Region-Focused Attention-Block im “vollständigen” U-Net geleitet, wo sie selektiv maskiert werden, indem entsprechende Regionenmasken verwendet werden, um sicherzustellen, dass das Modell nur auf relevante Bereiche in den Referenzbildern achtet.

Die maskierten Merkmale werden dann mit globalen CLIP-abgeleiteten semantischen Merkmalen durch dekoppelte Cross-Attention integriert, was es dem Modell ermöglicht, fehlende Inhalte mit feiner Detailtreue und semantischer Kohärenz wiederherzustellen.

Um Realismus und Robustheit zu verbessern, kombiniert der Eingabemaskierungsprozess zufällige gridbasierte Verdeckungen mit Körperkonturmasken, die jeweils mit gleicher Wahrscheinlichkeit angewendet werden, was die Komplexität der fehlenden Bereiche erhöht, die das Modell vervollständigen muss.

Nur zur Referenz

Frühere Methoden für referenzbasierte Bildvervollständigung basierten typischerweise auf semantischer Ebene. Projekte dieser Art umfassen CLIP selbst und DINOv2, die globale Merkmale aus Referenzbildern extrahieren, aber oft die feinen räumlichen Details verlieren, die für die genaue Identitätswahrung erforderlich sind.

Aus dem Veröffentlichungsartikel für den älteren DINOv2-Ansatz, der in den Vergleichstests des neuen Artikels enthalten ist: Die farbigen Überlagerungen zeigen die ersten drei Hauptkomponenten aus der Hauptkomponentenanalyse (PCA), die auf Bildbereiche innerhalb jeder Spalte angewendet werden, und heben hervor, wie DINOv2 ähnliche Objektteile über verschiedene Bilder hinweg zusammenfasst. Trotz Unterschiede in Pose, Stil oder Darstellung werden entsprechende Bereiche (wie Flügel, Gliedmaßen oder Räder) konsistent abgestimmt, was die Fähigkeit des Modells zeigt, eine teilbasierte Struktur ohne Aufsicht zu erlernen. Quelle: https://arxiv.org/pdf/2304.07193

CompleteMe geht auf diesen Aspekt ein, indem es eine spezielle Referenz-U-Net verwendet, die von Stable Diffusion 1.5 initialisiert wird, aber ohne den Diffusionsrauschen-Schritt*.

Jedes Referenzbild, das unterschiedliche Körperregionen abdeckt, wird in detaillierte latente Merkmale durch diese U-Net kodiert. Globale semantische Merkmale werden auch separat mit CLIP extrahiert, und beide Merkmalsätze werden zwischengespeichert, um eine effiziente Verwendung während der aufmerksamkeitsbasierten Integration zu ermöglichen. So kann das System mehrere Referenzen flexibel aufnehmen, während es feine Erscheinungsmerkmale bewahrt.

Orchestrierung

Die kohärente U-Net verwaltet die letzten Stadien des Vervollständigungsprozesses. Abgeleitet von der Inpainting-Variante von Stable Diffusion 1.5, erhält es als Eingabe das maskierte Quellbild in latenter Form sowie detaillierte räumliche Merkmale, die aus den Referenzbildern und globalen semantischen Merkmalen extrahiert wurden, die durch den CLIP-Encoder extrahiert wurden.

Diese verschiedenen Eingaben werden durch den RFA-Block zusammengeführt, der eine entscheidende Rolle bei der Lenkung des Modells auf die relevantesten Bereiche des Referenzmaterials spielt.

Bevor sie in den Aufmerksamkeitsmechanismus eingegeben werden, werden die Referenzmerkmale explizit maskiert, um nicht relevante Bereiche zu entfernen, und dann mit der latenten Darstellung des Quellbildes verkettet, um sicherzustellen, dass die Aufmerksamkeit so genau wie möglich gerichtet wird.

Um diese Integration zu verbessern, integriert CompleteMe einen dekoppelten Cross-Attention-Mechanismus, der von dem IP-Adapter-Framework adaptiert wurde:

IP-Adapter, Teil davon ist in CompleteMe integriert, ist eines der erfolgreichsten und am häufigsten genutzten Projekte der letzten drei turbulenten Jahre der Entwicklung von latenten Diffusionsmodell-Architekturen. Quelle: https://ip-adapter.github.io/

Dies ermöglicht es dem Modell, räumlich detaillierte visuelle Merkmale und breitere semantische Kontexte durch separate Aufmerksamkeitsströme zu verarbeiten, die später kombiniert werden, was zu einer kohärenten Rekonstruktion führt, die, wie die Autoren behaupten, sowohl Identität als auch feine Details bewahrt.

Benchmarking

Da es an einem geeigneten Datensatz für referenzbasierte Menschenbildvervollständigung mangelt, haben die Forscher ihren eigenen vorgeschlagen. Der (unbenannte) Benchmark wurde durch die Kuration von ausgewählten Bildpaaren aus dem WPose-Datensatz konstruiert, der für Adobes 2023 UniHuman-Projekt entwickelt wurde.

Beispiele für Posen aus dem Adobe Research 2023 UniHuman-Projekt. Quelle: https://github.com/adobe-research/UniHuman?tab=readme-ov-file#data-prep

Die Forscher haben manuell Quellmasken gezeichnet, um die zu vervollständigenden Bereiche zu markieren, und letztendlich 417 tripartite Bildgruppen erhalten, die ein Quellbild, eine Maske und ein Referenzbild umfassen.

Zwei Beispiele für Gruppen, die ursprünglich aus dem Referenz-WPose-Datensatz stammen und von den Forschern des neuen Artikels umfassend kuratiert wurden.

Die Autoren verwendeten das LLaVA-Large Language Model (LLM), um Textprompts zu generieren, die die Quellbilder beschreiben.

Die verwendeten Metriken waren umfangreicher als üblich; neben dem üblichen Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM) und Learned Perceptual Image Patch Similarity (LPIPS, in diesem Fall für die Bewertung maskierter Bereiche), verwendeten die Forscher DINO für Ähnlichkeitsscores; DreamSim für die Bewertung der Generierungsergebnisse; und CLIP.

Daten und Tests

Um die Arbeit zu testen, verwendeten die Autoren sowohl das Standard-Stable-Diffusion-V1.5-Modell als auch das 1.5-Inpainting-Modell. Der Bild-Encoder des Systems verwendete das CLIP Vision-Modell, zusammen mit Projektionsschichten – bescheidene neuronale Netze, die die CLIP-Ausgaben umformen oder an die internen Merkmalsdimensionen anpassen, die vom Modell verwendet werden.

Das Training fand über 30.000 Iterationen auf acht NVIDIA A100^†-GPUs statt, überwacht von Mean Squared Error (MSE)-Verlust, bei einer Batch-Größe von 64 und einer Lernrate von 2×10^-5. Verschiedene Elemente wurden während des Trainings zufällig fallen gelassen, um zu verhindern, dass das System überanpasst auf die Daten.

Das Datenset wurde von dem Parts-to-Whole-Datenset abgeleitet, das selbst auf dem DeepFashion-MultiModal-Datenset basiert.

Beispiele aus dem Parts-to-Whole-Datenset, das für die Entwicklung der kuratierten Daten für CompleteMe verwendet wurde. Quelle: https://huanngzh.github.io/Parts2Whole/

Die Autoren erklären:

‘Um unsere Anforderungen zu erfüllen, haben wir [die Trainingspaare neu aufgebaut], indem wir verdeckte Bilder mit mehreren Referenzbildern verwendet haben, die verschiedene Aspekte des menschlichen Erscheinungsbildes erfassen, zusammen mit ihren kurzen textuellen Labels.

‘Jedes Beispiel in unseren Trainingsdaten umfasst sechs Erscheinungstypen: Oberkörperkleidung, Unterkörperkleidung, ganze Körperkleidung, Haare oder Kopfbedeckung, Gesicht und Schuhe. Für die Maskierungsstrategie wenden wir 50% zufällige Grid-Maskierung zwischen 1 und 30 Mal an, während wir für die anderen 50% eine Körperkonturmaske verwenden, um die Maskierkomplexität zu erhöhen.

‘Nach dem Konstruktionsprozess erhielten wir 40.000 Bildpaare für das Training.’

Andere vorherige nicht-referenzielle Methoden, die getestet wurden, waren Large occluded human image completion (LOHC) und das Plug-and-Play-Bildvervollständigungsmodell BrushNet; referenzielle Modelle, die getestet wurden, waren Paint-by-Example; AnyDoor; LeftRefill; und MimicBrush.

Die Autoren begannen mit einem quantitativen Vergleich auf den zuvor genannten Metriken:

Ergebnisse des initialen quantitativen Vergleichs.

Was die quantitative Bewertung betrifft, so weisen die Autoren darauf hin, dass CompleteMe die höchsten Punktzahlen in den meisten Wahrnehmungsmetriken erzielt, einschließlich CLIP-I, DINO, DreamSim und LPIPS, die darauf abzielen, semantische Ausrichtung und Erscheinungstreue zwischen der Ausgabe und dem Referenzbild zu erfassen.

Es gibt jedoch Fälle, in denen das Modell nicht in allen Baselines führend ist. Insbesondere erzielt BrushNet die höchste Punktzahl bei CLIP-T, LeftRefill führt bei SSIM und PSNR, und MimicBrush übertrifft leicht bei CLIP-I.

Während CompleteMe insgesamt konsistent starke Ergebnisse zeigt, sind die Leistungsunterschiede in einigen Fällen bescheiden, und bestimmte Metriken werden von konkurrierenden vorherigen Methoden angeführt. Vielleicht nicht ungerechtfertigt, interpretieren die Autoren diese Ergebnisse als Beweis für die ausgewogene Stärke von CompleteMe in beiden strukturellen und wahrnehmungsbezogenen Dimensionen.

Die Abbildungen für die qualitativen Tests, die für die Studie durchgeführt wurden, sind zu zahlreich, um hier reproduziert zu werden, und wir verweisen den Leser nicht nur auf den Quellenartikel, sondern auch auf das umfassende ergänzende PDF, das viele zusätzliche qualitative Beispiele enthält.

Wir heben die primären qualitativen Beispiele hervor, die im Hauptartikel präsentiert werden, zusammen mit einer Auswahl von zusätzlichen Fällen, die aus dem ergänzenden Bildpool stammen, der zuvor in diesem Artikel eingeführt wurde:

Erste qualitative Ergebnisse, die im Hauptartikel präsentiert werden. Bitte verweisen Sie auf den Quellenartikel für eine bessere Auflösung.

Zu den qualitativen Ergebnissen, die oben gezeigt werden, bemerken die Autoren:

‘Gegeben maskierte Eingaben, generieren diese nicht-referenziellen Methoden plausiblen Inhalt für die maskierten Bereiche mithilfe von Bildprioren oder Textprompts.

‘Jedoch, wie im roten Kasten angezeigt, können sie spezifische Details wie Tätowierungen oder einzigartige Kleidungsmuster nicht reproduzieren, da sie keine Referenzbilder haben, um die Rekonstruktion identischer Informationen zu leiten.’

Ein zweiter Vergleich, von dem ein Teil unten gezeigt wird, konzentriert sich auf die vier referenziellen Methoden Paint-by-Example, AnyDoor, LeftRefill und MimicBrush. Hier wurde nur ein Referenzbild und ein Textprompt bereitgestellt.

Qualitativer Vergleich mit referenziellen Methoden. CompleteMe erzeugt realistischere Vervollständigungen und bewahrt spezifische Details aus dem Referenzbild besser. Die roten Kästchen heben Bereiche von besonderem Interesse hervor.

Die Autoren erklären:

‘Gegeben ein maskiertes Menschenbild und ein Referenzbild, können andere Methoden plausiblen Inhalt generieren, aber oft nicht kontextuelle Informationen aus dem Referenzbild genau bewahren.

‘In einigen Fällen generieren sie irrelevanten Inhalt oder ordnen entsprechende Teile aus dem Referenzbild falsch zu. Im Gegensatz dazu vervollständigt CompleteMe den maskierten Bereich effektiv, indem es identische Informationen genau bewahrt und entsprechende Körperbereiche aus dem Referenzbild korrekt zuordnet.’

Um zu bewerten, wie gut die Modelle mit der menschlichen Wahrnehmung übereinstimmen, führten die Autoren eine Benutzerstudie mit 15 Annotatoren und 2.895 Beispiel-Paaren durch. Jedes Paar verglich die Ausgabe von CompleteMe mit einer der vier referenziellen Baselines: Paint-by-Example, AnyDoor, LeftRefill oder MimicBrush.

Die Annotatoren bewerteten jedes Ergebnis basierend auf der visuellen Qualität des vervollständigten Bereichs und dem Ausmaß, in dem es Identitätsmerkmale aus dem Referenzbild bewahrte – und hier, bei der Bewertung der Gesamtqualität und Identität, erzielte CompleteMe ein deutlicheres Ergebnis:

Ergebnisse der Benutzerstudie.

Schlussfolgerung

Wenn überhaupt, werden die qualitativen Ergebnisse in dieser Studie durch ihre schiere Menge untergraben, da eine genaue Untersuchung zeigt, dass das neue System ein sehr effektiver Eintrag in diesem relativ spezialisierten, aber heiß umkämpften Bereich des neuronalen Bildeditierens ist.

Es erfordert jedoch ein wenig mehr Sorgfalt und Zoomen auf das Original-PDF, um zu schätzen, wie gut das System das Referenzmaterial an den verdeckten Bereich anpasst im Vergleich (in fast allen Fällen) zu vorherigen Methoden.

Wir empfehlen dem Leser dringend, die zunächst verwirrenden, wenn nicht überwältigenden Ergebnisse im ergänzenden Material sorgfältig zu untersuchen.

* Es ist interessant zu beachten, wie die inzwischen veraltete V1.5-Veröffentlichung immer noch ein Favorit der Forscher ist – teilweise aufgrund von Legacy-Ähnlichkeitstests, aber auch weil es die am wenigsten zensierte und möglicherweise am einfachsten trainierbare aller Stable-Diffusion-Iterationen ist und nicht die zensorische Behinderung der FOSS-Flux-Veröffentlichungen teilt.

^† VRAM-Spezifikation nicht angegeben – es wäre entweder 40 GB oder 80 GB pro Karte.

Erstveröffentlichung Dienstag, 29. April 2025