Forbedring af Grøn Skærm-Generering til Stabil Diffusion

Trods community og investor-entusiasme omkring visuelt genererende AI, er outputtet fra sådanne systemer ikke altid klar til virkelighedsbrug; et eksempel er, at gen AI-systemer tenderer til at producere hele billeder (eller en række billeder, i tilfælde af video), snarere end enkelte, isolerede elementer, som typisk er nødvendige for diverse anvendelser i multimedie og for visuelle effekter-praktikere.

Et simpelt eksempel på dette er clip-art designet til at ‘flyde’ over hvilken som helst baggrund, som brugeren har valgt:

Den lysegrå ternede baggrund, som måske er mest kendt for Photoshop-brugere, er kommet til at repræsentere alpha-kanalen eller gennemsigtigheds-kanalen, selv i simple forbrugerartikler som f.eks. aktiebilleder.

Gennemsigtighed af denne type har været almindeligt tilgængelig i over 30 år; siden den digitale revolution i begyndelsen af 1990’erne har brugere kunnet udtrække elementer fra video og billeder gennem en stadig mere sofistikeret række af værktøjs-samlinger og -teknikker.

For eksempel har udfordringen ved at ‘dropppe ud’ blå-skærm og grøn-skærm-baggrunde i videooptagelser, som tidligere var området for dyre kemiske processer og optiske printere (samt håndlavede matte), ville blive arbejdet i minutter i systemer som Adobe’s After Effects og Photoshop-applikationer (blandt mange andre gratis og proprietære programmer og systemer).

Når et element er blevet isoleret, tillader en alpha-kanal (effektivt en maske, der skjuler enhver ikke-relevant indhold) enhver del af videoen at blive let superponeret over nye baggrunde eller komponeret sammen med andre isolerede elementer.

Eksempler på alpha-kanaler, med deres effekter afbildet i den nederste række. Source: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

Dropping Out

I computer-vision, falder oprettelsen af alpha-kanaler inden for området for semantisk segmentering, med open source-projekter som Meta’s Segment Anything, som giver en tekst-promptbar metode til at isolere/udtrække mål-objekter gennem semantisk-forbedret objekterkendelse.

Segment Anything-rammen er blevet brugt i en bred vifte af visuelle effekter-udtrækning og -isolering-arbejdsgange, såsom Alpha-CLIP-projektet.

Eksempler på udtrækninger, der bruger Segment Anything, i Alpha-CLIP-rammen: Source: https://arxiv.org/pdf/2312.03818

Der er mange alternative semantiske segmenteringsmetoder, der kan tilpasses til opgaven med at tildele alpha-kanaler.

Men semantisk segmentering afhænger af trænet data, som måske ikke indeholder alle kategorier af objekter, der kræves til at blive udtrukket. Selvom modeller, der er trænet på meget store mængder data, kan aktivere en bredere vifte af objekter til at blive genkendt (effektivt blive grundlæggende modeller eller verdensmodeller), er de alligevel begrænset af de klasser, de er trænet til at genkende mest effektivt.

Eksempler på, hvordan semantisk segmenteringssystemer som Segment Anything kan have svært ved at identificere visse objekter eller dele af objekter, som vist her i output fra tvetydige prompts. Source: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

I enhver sag er semantisk segmentering lige så meget en post facto-proces som en grøn-skærm-proces, og må isolere elementer uden fordelene af en enkelt svøbe af baggrundsfarve, der kan blive effektivt genkendt og fjernet.

Derfor har det undertiden forekommet bruger-samfundet, at billeder og videoer kunne blive genereret med grøn-skærm-baggrunde, der kunne blive fjernet via konventionelle metoder.

Desværre har populære latent diffusion-modeller som Stable Diffusion ofte nogle vanskeligheder med at rendre en rigtig levende grøn-skærm. Dette skyldes, at modellernes træningsdata ikke typisk indeholder mange eksempler på denne ret specialiserede scenario. Selv når systemet lykkes, tenderer ‘grøn’-idéen til at sprede sig på en uønsket måde til forgrunds-objektet på grund af koncept entanglement:

Ovenfor ser vi, at Stable Diffusion har prioriteret billedets autenticitet over behovet for at skabe en enkelt intensitet af grøn, effektivt replikerer virkeligheds-problemer, der opstår i traditionelle grøn-skærm-scenarier. Nedenfor ser vi, at ‘grøn’-konceptet har forurenet forgrunds-billedet. Jo mere prompten fokuserer på ‘grøn’-konceptet, desto værre bliver dette problem. Source: https://stablediffusionweb.com/

Trods de avancerede metoder i brug, ville både kvindens kjole og mandens slips (i de nederste billeder ovenfor) have en tendens til at ‘dropppe ud’ sammen med den grønne baggrund – et problem, der går tilbage* til dage med foto-kemiske emulsions-farve-fjernelse i 1970’erne og 1980’erne.

Som altid kan modellens mangler overvindes ved at kaste specifikke data på et problem og ved at dedikere betydelige træningsressourcer. Systemer som Stanfords 2024-tilbud LayerDiffuse skaber en fine-tuned model, der er i stand til at generere billeder med alpha-kanaler:

Stanford LayerDiffuse-projektet blev trænet på en million passende billeder, der kunne indynde modellen med gennemsigtigheds-funktioner. Source: https://arxiv.org/pdf/2402.17113

Desværre, ud over de betydelige kurations- og træningsressourcer, der kræves for denne tilgang, er datasettet, der blev brugt til LayerDiffuse, ikke offentligt tilgængeligt, hvilket begrænser brugen af modeller, der er trænet på det. Selv hvis dette hinder ikke eksisterede, ville denne tilgang være svær at tilpasse eller udvikle til bestemte brugsområder.

Lidt senere i 2024 samarbejdede Adobe Research med Stonybrook University om at producere MAGICK, en AI-udtrækningstilgang, der er trænet på brugerdefinerede diffusion-billeder.

Eksempel fra 2024-papiret på fin-granuleret alpha-kanal-udtrækning i MAGICK. Source: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

150.000 udtrukne, AI-genererede objekter blev brugt til at træne MAGICK, så systemet ville udvikle en intuitiv forståelse af udtrækning:

Eksempler fra MAGICK-trænings-datasettet.

Dette dataset, som kilde-papiret angiver, var meget svært at generere på grund af den ovennævnte årsag – at diffusion-metoder har svært ved at skabe solide, nøglebare svøber af farve. Derfor var manuel udvælgelse af de genererede matte nødvendig.

Denne logistiske flaskehals fører endnu en gang til et system, der ikke kan udvikles eller tilpasses let, men skal bruges inden for sin oprindelige trænings-område.

TKG-DM – ‘Native’ Chroma Extraction for a Latent Diffusion Model

Et nyt samarbejde mellem tyske og japanske forskere har foreslået en alternativ til sådanne trænede metoder, der er i stand til – ifølge papiret – at opnå bedre resultater end de ovennævnte metoder, uden behov for at træne på særligt kurerede dataset.

TKG-DM ændrer den tilfældige støj, der sæder et genereret billede, så det er bedre i stand til at producere en solid, nøglebar baggrund – i enhver farve. Source: https://arxiv.org/pdf/2411.15580

Den nye metode tilgår problemet på generations-niveauet ved at optimere den tilfældige støj fra hvilken en billed-generation sker i en latent diffusion-model (LDM) som Stable Diffusion.

Tilgangen bygger på en tidligere undersøgelse af farve-skemaet i en Stable Diffusion-fordeling og er i stand til at producere baggrundsfarve af enhver art, med mindre (eller ingen) entanglement af den nøglebare baggrundsfarve til forgrunds-indhold, sammenlignet med andre metoder.

Initial støj er betinget af en kanal-gennemsnits-forSkydning, der kan påvirke aspekter af den støj-reducerings-proces, uden at entangle farve-signalet til forgrunds-indholdet.

Papiret angiver:

‘Vores omfattende eksperimenter viser, at TKG-DM forbedrer FID og mask-FID-scoren med 33,7% og 35,9%, henholdsvis.

‘Derfor overgår vores trænings-fri model fine-tuned modeller, og tilbyder en effektiv og fleksibel løsning til forskellige visuelle indhold-opskabelse-opgaver, der kræver præcis forgrunds- og baggrunds-kontrol. ‘

Den nye artikel hedder TKG-DM: Trænings-fri Chroma Key Content Generation Diffusion Model, og kommer fra syv forskere på tværs af Hosei University i Tokyo og RPTU Kaiserslautern-Landau & DFKI GmbH, i Kaiserslautern.

Metode

Den nye tilgang udvider arkitekturen af Stable Diffusion ved at betinge den initiale Gaussiske støj gennem en kanal-gennemsnits-forSkydning(CMS), som producerer støj-mønstre designet til at opmuntre den ønskede baggrund/forgrunds-separation i det genererede resultat.

Schema for workflow af det foreslåede system.

CMS justerer gennemsnittet af hver farve-kanal, mens den generelle udvikling af den støj-reducerings-proces opretholdes.

Forfatterne forklarer:

‘For at generere forgrunds-objektet på chroma-key-baggrunden, anvender vi en init-støj-selektions-strategi, der selektivt kombinerer den initiale [støj] og den init-farve [støj] ved hjælp af en 2D-Gaussisk [maske].

‘Denne maske skaber en gradvis overgang ved at bevare den oprindelige støj i forgrunds-området og anvende den farve-forSkydnings-støj til baggrunds-området.’

Farve-kanalen, der ønskes til baggrundens chroma-farve, er instantieret med en null-tekst-prompt, mens den faktiske forgrunds-indhold er skabt semantisk fra brugerens tekst-instruktion.

Selv-opmærksomhed og kryds-opmærksomhed bruges til at adskille de to aspekter af billedet (chroma-baggrunden og forgrunds-indholdet). Selv-opmærksomhed hjælper med intern konsistens af forgrunds-objektet, mens kryds-opmærksomhed opretholder trofasthed til tekst-prompten. Papiret påpeger, at da baggrunds-billeder typisk er mindre detaljerede og understreger i generationer, er deres svagere indflydelse relativt let at overvinde og erstatte med en svøbe af ren farve.

En visualisering af selv-opmærksomheds- og kryds-opmærksomheds-indflydelse i chroma-stil-genererings-processen.

Data og Tests

TKG-DM blev testet ved hjælp af Stable Diffusion V1.5 og Stable Diffusion SDXL. Billeder blev genereret i 512x512px og 1024x1024px, henholdsvis.

Billeder blev skabt ved hjælp af DDIM-scheduler nativ til Stable Diffusion, ved en guidance-skala på 7,5, med 50 støj-reducerings-trin. Den målrettede baggrundsfarve var grøn, nu den dominerende dropout-metode.

Den nye tilgang blev sammenlignet med DeepFloyd, under indstillingerne brugt til MAGICK; til den fine-tuned low-rank diffusion-model GreenBack LoRA; og også til den ovennævnte LayerDiffuse.

For data blev 3000 billeder fra MAGICK-datasettet brugt.

Eksempler fra MAGICK-datasettet, fra hvilket 3000 billeder blev kurateret i tests for det nye system. Source: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

For metrikker blev Fréchet Inception Distance (FID) brugt til at vurdere forgrunds-kvalitet. De udviklede også en projekt-specifik metrik kaldet m-FID, der bruger BiRefNet-systemet til at vurdere kvaliteten af den resulterende maske.

Visuelle sammenligninger af BiRefNet-systemet mod tidligere metoder. Source: https://arxiv.org/pdf/2401.03407

Til at teste semantisk alignment med input-prompterne blev CLIP-Sentence (CLIP-S) og CLIP-Image (CLIP-I)-metoderne brugt. CLIP-S vurderer prompt-trofasthed, og CLIP-I den visuelle lighed med grund-sandheden.

Første sæt af kvalitative resultater for den nye metode, denne gang for Stable Diffusion V1.5. Se venligst kilde-PDF for bedre opløsning.

Forfatterne påstår, at resultaterne (visualiseret ovenfor og nedenfor, SD1.5 og SDXL, henholdsvis) viser, at TKG-DM opnår bedre resultater uden prompt-engineering eller behov for at træne eller fine-tune en model.

SDXL kvalitative resultater. Se venligst kilde-PDF for bedre opløsning.

De observerer, at med en prompt til at fremkalde en grøn baggrund i de genererede resultater, har Stable Diffusion 1.5 svært ved at generere en ren baggrund, mens SDXL (selv om den udfører lidt bedre) producerer ustabile lysegrønne nuancer, der kan forstyrre separation i en chroma-proces.

De påpeger yderligere, at selv om LayerDiffuse genererer vel-adskilte baggrunde, taber den undertiden detaljer, såsom præcise numre eller bogstaver, og forfatterne tilskriver dette begrænsninger i datasettet. De tilføjer, at mask-generering også undertiden fejler, hvilket resulterer i ‘uklippe’-billeder.

For kvantitative tests, selv om LayerDiffuse åbenbart har en fordel i SDXL for FID, understreger forfatterne, at dette skyldes et specialiseret dataset, der effektivt udgør et ‘bagt’ og ikke-fleksibelt produkt. Som nævnt tidligere vil en fine-tuned model enten fungere meget godt på et begrænset antal klasser eller fungere ‘tolerabelt’ godt på et langt større antal mulige klasser og objekter, afhængigt af større mængder data i trænings-sættene.

Kvantitative resultater for sammenligningerne. LayerDiffuse’s åbenlyse fordel, som papiret antyder, kommer på bekostning af fleksibilitet og byrden af data-kurering og -træning.

Papiret angiver:

‘DeepFloyd’s high FID, m-FID, and CLIP-I scores reflect its similarity to the ground truth based on DeepFloyd’s outputs. However, this alignment gives it an inherent advantage, making it unsuitable as a fair benchmark for image quality. Its lower CLIP-S score further indicates weaker text alignment compared to other models.

Overall, these results underscore our model’s ability to generate high-quality, text-aligned foregrounds without fine-tuning, offering an efficient chroma key content generation solution.’

Endelig udførte forskerne en bruger-undersøgelse for at evaluere prompt-overholdelse på tværs af de forskellige metoder. 100 deltagere blev bedt om at bedømme 30 billed-par fra hver metode, med objekter udtrukket ved hjælp af BiRefNet og manuelle forbedringer på alle eksempler. Forfatternes trænings-frie tilgang blev foretrukket i denne undersøgelse.

Resultater fra bruger-undersøgelsen.

TKG-DM er kompatibelt med den populære ControlNet-tredjeparts-system til Stable Diffusion, og forfatterne påstår, at det producerer bedre resultater end ControlNets native evne til at opnå denne type adskillelse.

Konklusion

Måske det mest bemærkelsesværdige ved denne nye artikel er omfanget, hvori latente diffusion-modeller er sammenflettede, i modsætning til den populære offentlige opfattelse af, at de kan let adskille aspekter af billeder og videoer, når de genererer nyt indhold.

Studiet understreger yderligere omfanget, hvori forsknings- og hobby-samfundet er vendt til fine-tuning som en post facto-løsning for modellernes mangler – en løsning, der altid vil løse bestemte klasser og typer af objekter. I en sådan situation vil en fine-tuned model enten fungere meget godt på et begrænset antal klasser eller fungere ‘tolerabelt’ godt på et langt større antal mulige klasser og objekter, afhængigt af større mængder data i trænings-sættene.

Derfor er det opfriskende at se mindst én løsning, der ikke afhænger af sådanne omstændelige og muligvis uærlige løsninger.

* Under optagelserne af 1978-filmen Superman, blev skuespilleren Christopher Reeve påkrævet at bære en turkis Superman-kostume til blå-skærm-optagelser, for at undgå, at den ikoniske blå kostume blev slettet. Kostumets blå farve blev senere genskabt via farve-justering.