Återställa och redigera mänskliga bilder med AI

En ny samarbetsinsats mellan University of California Merced och Adobe erbjuder en framsteg på den senaste utvecklingen inom mänsklig bildkomplettering – den välstuderade uppgiften att “avslöja” dolda eller occluderade delar av bilder av människor, för ändamål som virtuell provning, animation och foto-redigering.

Förutom att reparera skadade bilder eller ändra dem enligt användarens önskemål, kan mänskliga bildkompletterings-system som CompleteMe införa nya kläder (via en adjungerad referensbild, som i den mittersta kolumnen i dessa två exempel) i befintliga bilder. Dessa exempel är från den omfattande supplementära PDF-filen för den nya artikeln. Källa: https://liagm.github.io/CompleteMe/pdf/supp.pdf

Den nya metoden, med titeln CompleteMe: Referensbaserad mänsklig bildkomplettering, använder supplementära inmatningsbilder för att “föreslå” för systemet vilket innehåll som ska ersätta den dolda eller saknade delen av den mänskliga avbildningen (därför är den tillämplig för modebaserade provningsramverk):

CompleteMe-systemet kan anpassa referensinnehåll till den occluderade eller dolda delen av en mänsklig bild.

Det nya systemet använder en dubbel U-Net-arkitektur och en Region-Focused Attention (RFA)-block som samordnar resurser till den relevanta delen av bildåterställningsinstansen.

Forskarna presenterar också ett nytt och utmanande benchmark-system för att utvärdera referensbaserade kompletteringsuppgifter (eftersom CompleteMe är en del av en befintlig och pågående forskningssträng inom datorseende, men som tidigare saknat en benchmark-schema).

I tester och i en väl skalad användarstudie kom den nya metoden ut som bäst i de flesta mått, och som bäst totalt. I vissa fall var rivaliserande metoder helt förvirrade av den referensbaserade metoden:

Från supplementär material: AnyDoor-metoden har särskild svårighet att tolka en referensbild.

Artikeln säger:

‘Omfattande experiment på vår benchmark visar att CompleteMe överträffar state-of-the-art-metoder, både referensbaserade och icke-referensbaserade, i termer av kvantitativa mått, kvalitativa resultat och användarstudier.

‘Särskilt i utmanande scenarier som involverar komplexa poser, intrikata klädmönster och distinkta tillbehör, uppnår vår modell konsekvent överlägsen visuell trohet och semantisk samstämmighet.’

Tyvärr innehåller projektets GitHub-närvaro ingen kod, och initiativet, som också har en blygsam projektsida, verkar ramas som en proprietär arkitektur.

Ytterligare exempel på det nya systemets subjektiva prestanda mot tidigare metoder. Mer information senare i artikeln.

Metod

CompleteMe-ramverket vilar på en Referens U-Net, som hanterar integrationen av det tilläggsinnehåll i processen, och en sammanhållen U-Net, som tillåter en bredare mängd processer för att erhålla det slutliga resultatet, som visas i den konceptuella schemat nedan:

Den konceptuella schemat för CompleteMe. Källa: https://arxiv.org/pdf/2504.20042

Systemet kodar först den maskerade inmatningsbilden till en latent representation. Samtidigt bearbetar Referens U-Net flera referensbilder – var och en visar olika kroppsområden – för att extrahera detaljerade rumsliga funktioner.

Dessa funktioner passerar genom en Region-Focused Attention-block som är inbäddad i den “kompletta” U-Net, där de maskeras selektivt med hjälp av motsvarande regionmasker, vilket säkerställer att modellen fokuserar endast på relevanta områden i referensbilderna.

De maskerade funktionerna integreras sedan med globala CLIP-härledda semantiska funktioner genom avkopplad cross-attention, vilket tillåter modellen att rekonstruera saknad innehåll med både fin detalj och semantisk samstämmighet.

För att förbättra realismen och robustheten kombinerar inmatningsmaskeringsprocessen slumpmässiga gridbaserade occlusioner med mänskliga kroppsformsmasker, var och en tillämpad med lika sannolikhet, vilket ökar komplexiteten hos de saknade områden som modellen måste slutföra.

Endast för referens

Tidigare metoder för referensbaserad bildkomplettering förlitade sig vanligtvis på semantiska nivåer-kodare. Projekt av denna typ inkluderar CLIP själv och DINOv2, som båda extraherar globala funktioner från referensbilder, men ofta förlorar de fina rumsliga detaljerna som behövs för exakt identitetshantering.

Från utgivningsartikeln för den äldre DINOV2-metoden, som ingår i jämförelsetester i den nya studien: De färgade överlagren visar de tre första huvudkomponenterna från Principal Component Analysis (PCA), tillämpad på bildfragment inom varje kolumn, vilket visar hur DINOv2 grupperar liknande objekt-delar tillsammans över varierade bilder. Trots skillnader i pose, stil eller rendering, matchas motsvarande regioner (såsom vingar, lemmar eller hjul) konsekvent, vilket visar modellens förmåga att lära sig delbaserad struktur utan överinseende. Källa: https://arxiv.org/pdf/2304.07193

CompleteMe hanterar detta genom en specialiserad Referens U-Net initierad från Stable Diffusion 1.5, men som opererar utan diffusionsbrussteget*.

Varje referensbild, som täcker olika kroppsområden, kodas till detaljerade latenta funktioner genom denna U-Net. Globala semantiska funktioner extraheras också separat med hjälp av CLIP, och båda funktionssatserna cachelagras för effektiv användning under attention-baserad integration. Således kan systemet hantera flera referensinmatningar flexibelt, samtidigt som det bevarar fina detaljer i utseendet.

Orkestrering

Den sammanhållna U-Net hanterar de slutliga stadierna av kompletteringsprocessen. Anpassad från inpainting-varianten av Stable Diffusion 1.5, tar den inmatningsmaskerade källbilden i latent form, tillsammans med detaljerade rumsliga funktioner dragna från referensbilderna och globala semantiska funktioner extraherade av CLIP-kodaren.

Dessa olika inmatningar kombineras genom RFA-blocket, som spelar en kritisk roll i att styra modellens fokus mot de mest relevanta områdena i referensmaterialet.

Innan de går in i uppmärksamhetsmekanismen maskeras referensfunktionerna explicit för att ta bort orelaterade regioner och sedan konkateneras med den latenta representationen av källbilden, vilket säkerställer att uppmärksamheten riktas så exakt som möjligt.

För att förbättra denna integration inkorporerar CompleteMe en avkopplad cross-attention-mekanism anpassad från IP-Adapter-ramverket:

IP-Adapter, som är en del av CompleteMe, är ett av de mest framgångsrika och ofta använda projekten från de senaste tre turbulenta åren av utveckling inom latenta diffusionsmodellarkitekturer. Källa: https://ip-adapter.github.io/

Detta tillåter modellen att bearbeta rumsligt detaljerade visuella funktioner och bredare semantisk kontext genom separata uppmärksamhetsströmmar, som senare kombineras, vilket resulterar i en sammanhängande rekonstruktion som, enligt författarna, bevarar både identitet och fina detaljer.

Benchmarking

I avsaknad av en lämplig dataset för referensbaserad mänsklig komplettering, har forskarna föreslagit sin egen. Den (obnamngivna) benchmarken konstruerades genom att kurera utvalda bildpar från WPose-datasetet som utvecklats för Adobe Researchs 2023 UniHuman-projekt.

Exempel på poser från Adobe Research 2023 UniHuman-projekt. Källa: https://github.com/adobe-research/UniHuman?tab=readme-ov-file#data-prep

Forskarna ritade manuellt källmasker för att ange kompletteringsområdena, och fick slutligen 417 tripartita bildgrupper som bestod av en källbild, mask och referensbild.

Två exempel på grupper som ursprungligen hämtats från WPose-datasetet och kuraterats omfattande av forskarna i den nya artikeln.

Författarna använde LLaVA Large Language Model (LLM) för att generera textprompt som beskriver källbilderna.

Mått som användes var mer omfattande än vanligt; förutom den vanliga Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM) och Learned Perceptual Image Patch Similarity (LPIPS, i detta fall för att utvärdera maskerade områden), använde forskarna DINO för likhetspoäng; DreamSim för utvärdering av generationsresultat; och CLIP.

Data och tester

För att testa arbetet använde författarna både standard-Stable Diffusion V1.5-modellen och 1.5-inpainting-modellen. Systemets bildkodare använde CLIP Vision-modellen, tillsammans med projiceringsskikt – blygsamma neurala nätverk som omformar eller justerar CLIP-utdata för att matcha de interna funktiondimensioner som används av modellen.

Träning ägde rum under 30 000 iterationer över åtta NVIDIA A100^† GPU:er, övervakade av Mean Squared Error (MSE)-förlust, med en batchstorlek på 64 och en inlärningshastighet på 2×10^-5. Olika element slumpmässigt droppades under träning för att förhindra att systemet överanpassade på data.

Datasetet modifierades från Parts to Whole-datasetet, som i sin tur bygger på DeepFashion-MultiModal-datasetet.

Exempel från Parts to Whole-datasetet, som användes i utvecklingen av det kuraterade data för CompleteMe. Källa: https://huanngzh.github.io/Parts2Whole/

Författarna skriver:

‘För att uppfylla våra krav, byggde vi om träningsparen genom att använda occluderade bilder med flera referensbilder som fångar olika aspekter av mänskligt utseende, tillsammans med deras korta textuella etiketter.

‘Varje exempel i vår träningsdata innehåller sex utseendetyper: överkroppsplagg, underkroppsplagg, helkroppsplagg, hår eller huvudbonad, ansikte och skor. För maskeringsstrategin, tillämpade vi 50% slumpmässig gridmaskering mellan 1 till 30 gånger, medan för de andra 50%, använde vi en mänsklig kroppsformsmask för att öka maskeringskomplexiteten.

‘Efter konstruktionspipelinen fick vi 40 000 bildpar för träning.’

Rivaliserande tidigare icke-referens-metoder som testades var Large occluded human image completion (LOHC) och plug-and-play-bildinpainting-modellen BrushNet; referensbaserade modeller som testades var Paint-by-Example; AnyDoor; LeftRefill; och MimicBrush.

Författarna började med en kvantitativ jämförelse på de tidigare nämnda måtten:

Resultat för den initiala kvantitativa jämförelsen.

Med avseende på den kvantitativa utvärderingen noterar författarna att CompleteMe uppnår de högsta poängen på de flesta perceptuella måtten, inklusive CLIP-I, DINO, DreamSim och LPIPS, som är avsedda att fånga semantisk samstämmighet och utseendefidelitet mellan utdata och referensbild.

Men modellen överträffar inte alla baslinjer över hela linjen. Noterbart är att BrushNet uppnår den högsta poängen på CLIP-T, LeftRefill leder i SSIM och PSNR, och MimicBrush överträffar något på CLIP-I.

Medan CompleteMe visar konsekvent starka resultat totalt sett, är prestandaskillnaderna blygsamma i vissa fall, och vissa mått förblir ledda av rivaliserande tidigare metoder. Kanske inte orättvist, rammar författarna dessa resultat som bevis för CompleteMe:s balanserade styrka över både strukturella och perceptuella dimensioner.

Illustrationer för de kvalitativa tester som utfördes i studien är alltför många för att återges här, och vi hänvisar läsaren inte bara till källartikeln, utan också till den omfattande supplementära PDF-filen, som innehåller många ytterligare kvalitativa exempel.

Vi betonar de primära kvalitativa exemplen som presenteras i huvudartikeln, tillsammans med ett urval av ytterligare fall som hämtats från den supplementära bildpoolen som introducerades tidigare i denna artikel:

Initiala kvalitativa resultat presenterade i huvudartikeln. Vänligen se källartikeln för bättre upplösning.

Av de kvalitativa resultaten som visas ovan, kommenterar författarna:

‘Givet maskerade inmatningar, genererar dessa icke-referensmetoder trovärdigt innehåll för de maskerade områdena med hjälp av bildprioriteter eller textprompt.

‘Men, som indikeras i den röda rutan, kan de inte reproducera specifika detaljer som tatueringar eller unika klädmönster, eftersom de saknar referensbilder för att vägleda rekonstruktionen av identisk information.’

En andra jämförelse, som delvis visas nedan, fokuserar på de fyra referensbaserade metoderna Paint-by-Example, AnyDoor, LeftRefill och MimicBrush. Här tillhandahölls endast en referensbild och en textprompt.

Kvalitativ jämförelse med referensbaserade metoder. CompleteMe producerar mer realistiska kompletteringar och bevarar bättre specifika detaljer från referensbilden. De röda rutorna markerar områden av särskilt intresse.

Författarna skriver:

‘Givet en maskerad mänsklig bild och en referensbild, kan andra metoder generera trovärdigt innehåll, men ofta misslyckas de med att bevara kontextuell information från referensen korrekt.

‘I vissa fall genererar de irrelevant innehåll eller kartlägger felaktigt motsvarande delar från referensbilden. I kontrast, kompleterar CompleteMe effektivt det maskerade området genom att korrekt bevara identisk information och rätt kartlägga motsvarande delar av den mänskliga kroppen från referensbilden.’

För att utvärdera hur väl modellerna stämmer överens med mänsklig perception, genomförde författarna en användarstudie som involverade 15 annotatorer och 2 895 exempelpar. Varje par jämförde CompleteMe:s utdata med en av de fyra referensbaserade baslinjerna: Paint-by-Example, AnyDoor, LeftRefill eller MimicBrush.

Annotatorerna utvärderade varje resultat baserat på den visuella kvaliteten på det kompletterade området och den utsträckning till vilken det bevarade identitetsfunktioner från referensen – och här, när det gäller att utvärdera övergripande kvalitet och identitet, fick CompleteMe ett mer definitivt resultat:

Resultat från användarstudien.

Slutsats

Om något, så förstörs de kvalitativa resultaten i denna studie av deras ren volym, eftersom en noggrann granskning visar att det nya systemet är en mycket effektiv entré i detta relativt nischade men het eftertraktade område av neural bildredigering.

Men det kräver lite extra omsorg och zoomning-in på den ursprungliga PDF-filen för att uppskatta hur väl systemet anpassar referensmaterialet till det occluderade området i jämförelse (i nästan alla fall) med tidigare metoder.

Vi rekommenderar starkt läsaren att noggrant granska den initialt förvirrande, om inte överväldigande, mängd av resultat som presenteras i det supplementära materialet.

* Det är intressant att notera hur den nu föråldrade V1.5-utgåvan fortfarande är en favorit bland forskare – delvis på grund av legacy-liknande tester, men också för att den är den minst censurerade och möjligen mest lätttränade av alla Stable Diffusion-iterationer, och inte delar den censuriska hämningen av de fria Flux-utgåvorna.

^† VRAM-specifikationen anges inte – den skulle vara antingen 40 GB eller 80 GB per kort.

Publicerad första gången tisdagen den 29 april 2025