Het herstellen en bewerken van menselijke afbeeldingen met AI

Een nieuwe samenwerking tussen de University of California Merced en Adobe biedt een vooruitgang op het gebied van human image completion – de veelbestudeerde taak van het ‘de-obscuren’ van verborgen of verborgen delen van afbeeldingen van mensen, voor doeleinden zoals virtuele try-on, animatie en foto-editing.

Naast het repareren van beschadigde afbeeldingen of het wijzigen ervan naar de wens van de gebruiker, kunnen human image completion-systemen zoals CompleteMe nieuwe kleding opleggen (via een bijbehorende referentie-afbeelding, zoals in de middelste kolom in deze twee voorbeelden) in bestaande afbeeldingen. Deze voorbeelden zijn afkomstig uit de uitgebreide supplementaire PDF voor het nieuwe artikel. Bron: https://liagm.github.io/CompleteMe/pdf/supp.pdf

Het nieuwe benadering, getiteld CompleteMe: Reference-based Human Image Completion, gebruikt aanvullende invoer-afbeeldingen om ‘voor te stellen’ aan het systeem wat de inhoud moet vervangen van het verborgen of ontbrekende deel van de menselijke afbeelding (vandaar de toepasbaarheid op kleding-gebaseerde try-on-kaders):

Het CompleteMe-systeem kan referentie-inhoud aanpassen aan het verborgen of verborgen deel van een menselijke afbeelding.

Het nieuwe systeem gebruikt een dubbele U-Net-architectuur en een Region-Focused Attention (RFA)-blok dat middelen naar het pertinente gebied van de afbeeldingsherstelinstantie dirigeert.

De onderzoekers bieden ook een nieuwe en uitdagende benchmark-systeem aan om referentie-gebaseerde voltooitaken te evalueren (aangezien CompleteMe deel uitmaakt van een bestaande en voortdurende onderzoekslijn in computerzicht, maar die nog geen benchmarkschema had).

In tests en in een goed geschaalde gebruikersstudie, kwam de nieuwe methode het beste uit in de meeste metrics en overall. In sommige gevallen waren rivaliserende methoden volledig in de war door de referentie-gebaseerde benadering:

Uit de supplementaire materialen: de AnyDoor-methode heeft bijzondere moeite om een referentie-afbeelding te interpreteren.

Het artikel zegt:

‘Uitgebreide experimenten op onze benchmark laten zien dat CompleteMe state-of-the-art-methoden overtreft, zowel referentie-gebaseerd als niet-referentie-gebaseerd, in termen van kwantitatieve metrics, kwalitatieve resultaten en gebruikersstudies.

‘In het bijzonder in uitdagende scenario’s met complexe poses, ingewikkelde kledingpatronen en distinctieve accessoires, bereikt ons model consistent een superieure visuele geloofwaardigheid en semantische coherentie.’

Helaas bevat het project GitHub-presence geen code, noch belooft het die, en het initiatief, dat ook een bescheiden projectpagina heeft, lijkt te zijn gekaderd als een propriëtaire architectuur.

Verder voorbeeld van de subjectieve prestaties van het nieuwe systeem tegenover eerdere methoden. Meer details later in het artikel.

Methode

Het CompleteMe-kader wordt ondersteund door een Reference U-Net, dat de integratie van de aanvullende materialen in het proces afhandelt, en een coherente U-Net, dat een breder scala aan processen voor het verkrijgen van het eindresultaat mogelijk maakt, zoals weergegeven in het conceptuele schema hieronder:

Het conceptuele schema voor CompleteMe. Bron: https://arxiv.org/pdf/2504.20042

Het systeem codeert de gemaskeerde invoer-afbeelding eerst in een latenterepresentatie. Tegelijkertijd verwerkt de Reference U-Net meerdere referentie-afbeeldingen – elk met verschillende lichaamsdelen – om gedetailleerde ruimtelijke kenmerken te extraheren.

Deze kenmerken gaan door een Region-focused Attention-blok dat is ingebed in de ‘complete’ U-Net, waar ze selectief gemaskeerd worden met behulp van overeenkomstige regiomaskeerders, waardoor het model alleen aandacht besteedt aan relevante gebieden in de referentie-afbeeldingen.

De gemaskeerde kenmerken worden vervolgens geïntegreerd met globale CLIP-afgeleide semantische kenmerken via gedecoupeerde cross-attention, waardoor het model ontbrekende inhoud kan reconstrueren met zowel fijne details als semantische coherentie.

Om realisme en robuustheid te vergroten, combineert het invoer-maskeerproces willekeurige grid-gebaseerde occlusies met lichaamsvorm-maskeerders, elk toegepast met gelijke waarschijnlijkheid, waardoor de complexiteit van de ontbrekende gebieden die het model moet voltooien toeneemt.

Alleen voor referentie

Eerdere methoden voor referentie-gebaseerde afbeeldingsinpainting vertrouwden doorgaans op semantisch-niveau-encoders. Projecten van dit type omvatten CLIP zelf en DINOv2, die globale kenmerken uit referentie-afbeeldingen extraheren, maar vaak de fijne ruimtelijke details verliezen die nodig zijn voor nauwkeurige identiteitsbehoud.

Uit het publicatie-artikel voor de oudere DINOV2-benadering, die is opgenomen in de vergelijkingstests in de nieuwe studie: De gekleurde overlays laten de eerste drie hoofdcomponenten zien van de Principal Component Analysis (PCA), toegepast op afbeeldingsfragmenten binnen elke kolom, waardoor wordt aangetoond hoe DINOv2 soortgelijke objectdelen samen groepeert over verschillende afbeeldingen. Ondanks verschillen in pose, stijl of rendering, worden overeenkomstige regio’s (zoals vleugels, ledematen of wielen) consistent gematcht, waardoor de mogelijkheid van het model om part-gebaseerde structuur te leren zonder toezicht wordt aangetoond. Bron: https://arxiv.org/pdf/2304.07193

CompleteMe adresseert dit aspect door een gespecialiseerde Reference U-Net dat is geïnitialiseerd vanuit Stable Diffusion 1.5, maar zonder de diffusie-ruisstap*.

Elke referentie-afbeelding, die verschillende lichaamsdelen afbeeldt, wordt gecodeerd in gedetailleerde latent-kenmerken via deze U-Net. Globale semantische kenmerken worden ook afzonderlijk geëxtraheerd met behulp van CLIP, en beide sets kenmerken worden in de cache opgeslagen voor efficiënt gebruik tijdens attention-gebaseerde integratie. Zo kan het systeem meerdere referentie-invoer flexibel aan, terwijl fijne, gedetailleerde verschijningsinformatie wordt behouden.

Orkestratie

De coherente U-Net beheert de laatste stadia van het voltooien-proces. Aangepast van de inpainting-variant van Stable Diffusion 1.5, neemt het de gemaskeerde bron-afbeelding in latente vorm, naast gedetailleerde ruimtelijke kenmerken getrokken uit de referentie-afbeeldingen en globale semantische kenmerken geëxtraheerd door de CLIP-encoder.

Deze verschillende invoer worden samengebracht via de RFA-blok, die een kritieke rol speelt in het sturen van de aandacht van het model naar de meest relevante gebieden van het referentiemateriaal.

Voordat ze de aandachtsmechanisme binnengaan, worden de referentie-kenmerken expliciet gemaskeerd om ongerelateerde regio’s te verwijderen en vervolgens samengevoegd met de latente representatie van de bron-afbeelding, waardoor aandacht zo precies mogelijk wordt gericht.

Om deze integratie te verbeteren, omvat CompleteMe een gedecoupeerde cross-attention-mechanisme dat is aangepast van het IP-Adapter-kader:

IP-Adapter, dat deel uitmaakt van CompleteMe, is een van de meest succesvolle en vaak gebruikte projecten van de afgelopen drie tumultueuze jaren van ontwikkeling in latent diffusie-modelarchitecturen. Bron: https://ip-adapter.github.io/

Dit stelt het model in staat om ruimtelijk gedetailleerde visuele kenmerken en bredere semantische context via afzonderlijke aandachtsstroom te verwerken, die later worden samengevoegd, waardoor een coherente reconstructie ontstaat die, zoals de auteurs beweren, zowel identiteit als fijne details behoudt.

Benchmarking

In het gebrek aan een geschikte dataset voor referentie-gebaseerde menselijke voltooiing, hebben de onderzoekers hun eigen dataset voorgesteld. De (ongenaamde) benchmark is opgebouwd door selecte afbeeldingsparen te cureren uit de WPose-dataset, ontwikkeld voor Adobe Research’s 2023 UniHuman-project.

Voorbeelden van poses uit het Adobe Research 2023 UniHuman-project. Bron: https://github.com/adobe-research/UniHuman?tab=readme-ov-file#data-prep

De onderzoekers hebben handmatig bron-maskeerders getekend om de inpainting-gebieden aan te geven, waardoor uiteindelijk 417 driedelige afbeeldingsgroepen werden verkregen, bestaande uit een bron-afbeelding, maskeerder en referentie-afbeelding.

Twee voorbeelden van groepen die oorspronkelijk zijn afgeleid van de referentie-WPose-dataset en uitgebreid zijn gecureerd door de onderzoekers van het nieuwe artikel.

De auteurs gebruikten de LLaVA Large Language Model (LLM) om tekstprompts te genereren die de bron-afbeeldingen beschrijven.

De metrics die werden gebruikt, waren uitgebreider dan gebruikelijk; naast de gebruikelijke Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM) en Learned Perceptual Image Patch Similarity (LPIPS, in dit geval voor het evalueren van gemaskeerde regio’s), gebruikten de onderzoekers DINO voor gelijkheidscores; DreamSim voor generatie-resultaat-evaluatie; en CLIP.

Gegevens en tests

Om het werk te testen, gebruikten de auteurs zowel het standaard Stable Diffusion V1.5-model als het 1.5 inpainting-model. De afbeeldingsencoder van het systeem gebruikte het CLIP Vision-model, samen met projectie-lagen – bescheiden neurale netwerken die de CLIP-uitvoer herschikken of uitlijnen om overeen te komen met de interne kenmerkdimensies die door het model worden gebruikt.

De training vond plaats gedurende 30.000 iteraties over acht NVIDIA A100^† GPUs, onder toezicht van Mean Squared Error (MSE) verlies, bij een batchgrootte van 64 en een leer tempo van 2×10^-5. Verschillende elementen werden willekeurig gedropt tijdens de training, om te voorkomen dat het systeem overfit op de gegevens.

De dataset werd gewijzigd van de Parts to Whole-dataset, die zelf is gebaseerd op de DeepFashion-MultiModal-dataset.

Voorbeelden uit de Parts to Whole-dataset, gebruikt in de ontwikkeling van de gecureerde gegevens voor CompleteMe. Bron: https://huanngzh.github.io/Parts2Whole/

De auteurs verklaren:

‘Om aan onze eisen te voldoen, hebben we [de trainingsparen opnieuw opgebouwd] door gebruik te maken van afbeeldingen met occlusies met meerdere referentie-afbeeldingen die verschillende aspecten van menselijke verschijning vastleggen, samen met hun korte tekstlabels.

‘Elk monster in onze trainingsgegevens omvat zes verschijningstypen: bovenlichaamskleding, onderlichaamskleding, gehele lichaamskleding, haar of hoofddeksel, gezicht en schoenen. Voor de maskeerstrategie passen we 50% willekeurige grid-maskeerder toe tussen 1 en 30 keer, terwijl we voor de andere 50% een lichaamsvorm-maskeerder gebruiken om de maskeercomplexiteit te vergroten.

‘Na de constructiepijplijn hebben we 40.000 afbeeldingsparen voor training verkregen.’

Andere eerdere non-referentie-methoden die werden getest, waren Large occluded human image completion (LOHC) en het plug-and-play image inpainting-model BrushNet; referentie-gebaseerde modellen die werden getest, waren Paint-by-Example; AnyDoor; LeftRefill; en MimicBrush.

De auteurs begonnen met een kwantitatieve vergelijking op de eerder genoemde metrics:

Resultaten voor de initiële kwantitatieve vergelijking.

Met betrekking tot de kwantitatieve evaluatie merken de auteurs op dat CompleteMe de hoogste scores behaalt op de meeste perceptuele metrics, waaronder CLIP-I, DINO, DreamSim en LPIPS, die bedoeld zijn om semantische uitlijning en verschijningstrouw te meten tussen de uitvoer en de referentie-afbeelding.

CompleteMe overtreft echter niet alle baselines over de hele linie. Opvallend is dat BrushNet de hoogste score behaalt op CLIP-T, LeftRefill leidt in SSIM en PSNR, en MimicBrush lichtjes overtreft op CLIP-I.

Hoewel CompleteMe consistent sterke resultaten laat zien, zijn de prestatieverschillen in sommige gevallen bescheiden, en blijven bepaalde metrics leiden door concurrerende eerdere methoden. Misschien niet onterecht, kaderen de auteurs deze resultaten als bewijs van de evenwichtige sterkte van CompleteMe op zowel structurele als perceptuele dimensies.

Illustraties voor de kwalitatieve tests die zijn uitgevoerd voor de studie, zijn veel te talrijk om hier te reproduceren, en we verwijzen de lezer niet alleen naar het bronartikel, maar ook naar de uitgebreide supplementaire PDF, die veel aanvullende kwalitatieve voorbeelden bevat.

We benadrukken de primaire kwalitatieve voorbeelden die in het hoofdartikel worden gepresenteerd, samen met een selectie van aanvullende gevallen die zijn afgeleid van de eerder in dit artikel geïntroduceerde supplementaire afbeeldingspool:

Initiële kwalitatieve resultaten die in het hoofdartikel worden gepresenteerd. Raadpleeg het bronartikel voor een betere resolutie.

Van de kwalitatieve resultaten die hierboven worden weergegeven, merken de auteurs op:

‘Gegeven gemaskeerde invoer, genereren deze non-referentie-methoden plausibele inhoud voor de gemaskeerde regio’s met behulp van afbeeldingspriors of tekstprompts.

‘Echter, zoals aangegeven in de rode doos, kunnen ze geen specifieke details reproduceren, zoals tattoos of unieke kledingpatronen, omdat ze geen referentie-afbeeldingen hebben om de reconstructie van identieke informatie te leiden.’

Een tweede vergelijking, waarvan een deel hieronder wordt weergegeven, richt zich op de vier referentie-gebaseerde methoden Paint-by-Example, AnyDoor, LeftRefill en MimicBrush. Hier werd slechts één referentie-afbeelding en een tekstprompt verstrekt.

Kwalitatieve vergelijking met referentie-gebaseerde methoden. CompleteMe produceert meer realistische voltooien en behoudt beter specifieke details van de referentie-afbeelding. De rode dozen benadrukken gebieden van bijzonder belang.

De auteurs verklaren:

‘Gegeven een gemaskeerde menselijke afbeelding en een referentie-afbeelding, kunnen andere methoden plausibele inhoud genereren, maar vaak niet de contextuele informatie van de referentie nauwkeurig behouden.

‘In sommige gevallen genereren ze irrelevante inhoud of kaarten overeenkomstige delen van de referentie-afbeelding incorrect. In tegenstelling tot CompleteMe, dat het gemaskeerde gebied effectief voltooit door identieke informatie te behouden en overeenkomstige delen van het menselijk lichaam van de referentie-afbeelding correct te kaarten.’

Om te beoordelen hoe goed de modellen overeenkomen met de menselijke perceptie, voerden de auteurs een gebruikersstudie uit met 15 annotators en 2.895 steekproefparen. Elk paar vergeleek de uitvoer van CompleteMe met een van de vier referentie-gebaseerde baselines: Paint-by-Example, AnyDoor, LeftRefill of MimicBrush.

Annotators beoordeelden elk resultaat op basis van de visuele kwaliteit van het voltooide gebied en de mate waarin het identiteitskenmerken van de referentie behoudt – en hier, bij het evalueren van de algehele kwaliteit en identiteit, behaalde CompleteMe een meer definitief resultaat:

Resultaten van de gebruikersstudie.

Conclusie

Als er al iets is, dan worden de kwalitatieve resultaten in deze studie ondermijnd door hun grote hoeveelheid, aangezien een nauwkeurige inspectie aantoont dat het nieuwe systeem een zeer effectieve inbreng is in dit relatief niche maar felbegeerde gebied van neurale afbeeldingsbewerking.

Maar het vereist een beetje extra zorg en inzoomen op het originele PDF om te waarderen hoe goed het systeem de referentiematerialen aanpast aan het verborgen gebied in vergelijking (in bijna alle gevallen) met eerdere methoden.

We raden de lezer sterk aan om de in het supplementaire materiaal gepresenteerde resultaten zorgvuldig te onderzoeken.

* Het is interessant om op te merken hoe de inmiddels verouderde V1.5-release nog steeds een favoriet is onder onderzoekers – deels vanwege legacy like-on-like testing, maar ook omdat het de minst gecensureerde en mogelijk meest trainbare van alle Stable Diffusion-iteraties is, en niet de censurerende beperkingen deelt van de FOSS Flux-releases. † VRAM-specificatie niet gegeven – het zou 40GB of 80GB per kaart zijn. Eerst gepubliceerd op dinsdag 29 april 2025