Verbetering van Green Screen-generatie voor Stable Diffusion

Ondanks de enthousiaste reacties van de gemeenschap en investeerders over visuele generatieve AI, is de output van dergelijke systemen niet altijd klaar voor gebruik in de praktijk; een voorbeeld hiervan is dat gen AI-systemen de neiging hebben om hele afbeeldingen (of een reeks afbeeldingen, in het geval van video) uit te voeren, in plaats van de afzonderlijke, geïsoleerde elementen die typisch vereist zijn voor diverse toepassingen in multimedia en voor visuele effectenbeoefenaars.

Een eenvoudig voorbeeld hiervan is clip-art dat is ontworpen om ‘te zweven’ boven de achtergrond die de gebruiker heeft geselecteerd:

De lichtgrijze geblokte achtergrond, misschien het meest bekend bij Photoshop-gebruikers, is komen te staan voor het alfa-kanaal, of transparantie-kanaal, zelfs in eenvoudige consumentenartikelen zoals stockafbeeldingen.

Transparantie van deze soort is al meer dan dertig jaar beschikbaar; sinds de digitale revolutie van het begin van de jaren negentig, konden gebruikers elementen uit video’s en afbeeldingen extraheren door een steeds geavanceerdere reeks toolsets en technieken.

Om bijvoorbeeld de uitdaging van ‘droppen’ blauwe en groene achtergronden in videobeelden, die vroeger het domein waren van dure chemische processen en optische printers (evenals handgemaakte mattes), zou nu een kwestie van minuten zijn in systemen zoals Adobe’s After Effects en Photoshop-toepassingen (onder vele andere gratis en propriëtaire programma’s en systemen).

Als een element eenmaal geïsoleerd is, laat een alfa-kanaal (effectief een masker dat alle niet-relevante inhoud verhult) elke element in de video gemakkelijk superponeren over nieuwe achtergronden, of componeren met andere geïsoleerde elementen.

Voorbeelden van alfa-kanalen, met hun effecten weergegeven in de onderste rij. Bron: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

Afgezaagd

In computerzicht, valt de creatie van alfa-kanalen onder de paraplu van semantische segmentatie, met open source-projecten zoals Meta’s Segment Anything die een tekst-promptbare methode bieden voor het isoleren/extracten van doelobjecten, door semantisch versterkte objectherkenning.

De Segment Anything-framework is gebruikt in een breed scala aan visuele effecten-extractie- en isolatiewerkstromen, zoals het Alpha-CLIP-project.

Voorbeelden van extracties met Segment Anything, in de Alpha-CLIP-framework: Bron: https://arxiv.org/pdf/2312.03818

Er zijn veel alternatieve semantische segmentatiemethoden die kunnen worden aangepast aan de taak van het toewijzen van alfa-kanalen.

Maar semantische segmentatie is afhankelijk van getrainde gegevens die mogelijk niet alle categorieën van objecten bevatten die moeten worden geëxtraheerd. Hoewel modellen getraind op zeer grote hoeveelheden gegevens een bredere reeks objecten kunnen herkennen (effectief fundamentele modellen of wereldmodellen wordend), zijn ze toch beperkt door de klassen waarvoor ze het meest effectief zijn getraind.

Semantische segmentatiesystemen zoals Segment Anything kunnen moeite hebben om bepaalde objecten of delen van objecten te identificeren, zoals hier wordt geïllustreerd in de output van dubbelzinnige prompts. Bron: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

In elk geval is semantische segmentatie net zozeer een post facto proces als een groene schermprocedure, en moet elementen isoleren zonder het voordeel van een enkele swathe van achtergrondkleur die effectief kan worden herkend en verwijderd.

Om deze reden is het soms bij de gebruikersgemeenschap opgekomen dat afbeeldingen en video’s kunnen worden gegenereerd die daadwerkelijk groene schermachtergronden bevatten die via conventionele methoden onmiddellijk kunnen worden verwijderd.

Helaas hebben populaire latent diffusiemodellen zoals Stable Diffusion vaak moeite om een echt levendig groen scherm te renderen. Dit komt doordat de modellen niet typisch veel voorbeelden van deze vrij gespecialiseerde scenario’s in hun trainingsgegevens bevatten. Zelfs als het systeem slaagt, heeft het idee van ‘groen’ de neiging om ongewild naar de voorgrondonderwerp te verspreiden, vanwege concept entanglement:

Hierboven zien we dat Stable Diffusion de authenticiteit van de afbeelding heeft geprioriteerd boven de noodzaak om een enkele intensiteit van groen te creëren, waardoor het effectief de problemen van de echte wereld die optreden in traditionele groene schermscenario’s reproduceert. Onder zien we dat het ‘groen’ concept de voorgrondafbeelding heeft verontreinigd. Hoe meer de prompt zich richt op het ‘groen’ concept, hoe erger dit probleem waarschijnlijk zal worden. Bron: https://stablediffusionweb.com/

Ondanks de geavanceerde methoden die in gebruik zijn, zouden zowel de jurk van de vrouw als de das van de man (in de onderste afbeeldingen hierboven) de neiging hebben om ‘af te vallen’ samen met de groene achtergrond – een probleem dat teruggaat* naar de dagen van fotochemische emulsiekleurverwijdering in de jaren zeventig en tachtig.

Altijd weer kunnen de tekortkomingen van een model worden overwonnen door specifieke gegevens naar een probleem te gooien en aanzienlijke trainingsbronnen toe te wijzen. Systemen zoals Stanford’s 2024 aanbod LayerDiffuse creëren een fijn afgestemd model dat in staat is om afbeeldingen met alfa-kanalen te genereren:

Het Stanford LayerDiffuse-project werd getraind op een miljoen geschikte afbeeldingen die het model konden voorzien van transparantiecapaciteiten. Bron: https://arxiv.org/pdf/2402.17113

Helaas vereist deze benadering, naast de aanzienlijke curatie- en trainingsbronnen die nodig zijn, dat de dataset die voor LayerDiffuse wordt gebruikt niet openbaar beschikbaar is, waardoor de gebruiker beperkt wordt in het gebruik van modellen getraind op deze dataset. Zelfs als deze beperking niet zou bestaan, is deze benadering moeilijk aan te passen of te ontwikkelen voor specifieke use-cases.

Iets later in 2024 werkte Adobe Research samen met Stonybrook University om MAGICK te produceren, een AI-extractiebenadering getraind op door de gebruiker gemaakte diffusieafbeeldingen.

Uit het paper van 2024, een voorbeeld van fijne alfa-kanaalextractie in MAGICK. Bron: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

150.000 geëxtraheerde, AI-gegenereerde objecten werden gebruikt om MAGICK te trainen, zodat het systeem een intuïtief begrip van extractie zou ontwikkelen:

Voorbeelden uit de MAGICK-trainingsdataset.

Deze dataset, zoals het bronpaper vermeldt, was zeer moeilijk om te genereren vanwege de reden dat diffusiemethoden moeite hebben om solide, keybare kleurvlakken te creëren. Daarom was handmatige selectie van de gegenereerde mattes noodzakelijk.

Dit logistieke knelpunt leidt opnieuw tot een systeem dat niet gemakkelijk kan worden ontwikkeld of aangepast, maar moet worden gebruikt binnen zijn oorspronkelijk getrainde bereik van mogelijkheden.

TKG-DM – ‘Native’ Chroma Extraction voor een Latent Diffusiemodel

Een nieuwe samenwerking tussen Duitse en Japanse onderzoekers heeft een alternatief voor dergelijke getrainde methoden voorgesteld, dat in staat zou zijn om betere resultaten te behalen dan de bovengenoemde methoden, zonder de noodzaak om te trainen op speciaal gecureerde datasets.

TKG-DM verandert het willekeurige ruis dat een generatieve afbeelding initialiseert, zodat het beter in staat is om een solide, keybare achtergrond te produceren – in elke kleur. Bron: https://arxiv.org/pdf/2411.15580

De nieuwe methode benadert het probleem op het generatieniveau, door de willekeurige ruis te optimaliseren waaruit een afbeelding wordt gegenereerd in een latent diffusiemodel (LDM) zoals Stable Diffusion.

De benadering bouwt voort op een eerder onderzoek naar de kleurschema van een Stable Diffusion-distributie en is in staat om achtergrondkleuren van elke soort te produceren, met minder (of geen) entanglement van de sleutelachtergrondkleur in de voorgrondinhoud, in vergelijking met andere methoden.

Initiële ruis wordt geconditioneerd door een kanaalgemiddeldeverschuiving die in staat is om aspecten van het denoiseringsproces te beïnvloeden, zonder de kleursignaal in de voorgrondinhoud te entangelen.

Het paper vermeldt:

‘Onze uitgebreide experimenten laten zien dat TKG-DM FID- en mask-FID-scores verbetert met 33,7% en 35,9%, respectievelijk.

‘Dus onze trainingsvrije model evenaart fijn afgestemde modellen, en biedt een efficiënte en veelzijdige oplossing voor diverse visuele inhoud creatietaken die nauwkeurige voorgrond- en achtergrondcontrole vereisen. ‘

Het nieuwe paper heet TKG-DM: Trainingsvrije Chroma Key Content Generation Diffusion Model, en komt van zeven onderzoekers uit Hosei University in Tokio en RPTU Kaiserslautern-Landau & DFKI GmbH, in Kaiserslautern.

Methode

De nieuwe benadering breidt de architectuur van Stable Diffusion uit door de initiële Gaussische ruis te conditioneren door een kanaalgemiddeldeverschuiving (CMS), die ruispatronen produceert die zijn ontworpen om de gewenste achtergrond/voorgrondseparatie in het gegenereerde resultaat te bevorderen.

Schema voor de workflow van het voorgestelde systeem.

CMS past de gemiddelde waarde van elk kanaal aan, terwijl het de algemene ontwikkeling van het denoiseringsproces behoudt.

De auteurs leggen uit:

‘Om het voorgrondobject op de chroma-sleutelachtergrond te genereren, passen we een init-ruisselectiestrategie toe die de initiële [ruis] en de init-kleur[ruis] selectief combineert met behulp van een 2D-Gaussische [masker].

‘Dit masker creëert een geleidelijke overgang door de oorspronkelijke ruis in de voorgrondregio te behouden en de kleurverschuivingde ruis toe te passen op de achtergrondregio.’

De gewenste kleurkanaal voor de achtergrondchromasleutelkleur wordt geïnstantieerd met een nul-tekstprompt, terwijl de daadwerkelijke voorgrondinhoud semantisch wordt gegenereerd vanuit de tekstuele instructie van de gebruiker.

Zelfaandacht en kruisaandacht worden gebruikt om de twee facetten van de afbeelding (de chroma-achtergrond en de voorgrondinhoud) te scheiden. Zelfaandacht helpt bij de interne consistentie van het voorgrondobject, terwijl kruisaandacht de trouw aan de tekstprompt behoudt. Het paper wijst erop dat, aangezien achtergrondbeelden meestal minder gedetailleerd en benadrukt zijn in generaties, hun zwakkere invloed relatief gemakkelijk te overwinnen en te vervangen is met een swathe van pure kleur.

Een visualisatie van de invloed van zelfaandacht en kruisaandacht in het chroma-stijlgeneratieproces.

Gegevens en Tests

TKG-DM werd getest met behulp van Stable Diffusion V1.5 en Stable Diffusion SDXL. Afbeeldingen werden gegenereerd op 512x512px en 1024x1024px, respectievelijk.

Afbeeldingen werden gegenereerd met behulp van de DDIM-planner native aan Stable Diffusion, op een leidingschaal van 7,5, met 50 denoiseringsstappen. De doelachtergrondkleur was groen, nu de dominante dropout-methode.

De nieuwe benadering werd vergeleken met DeepFloyd, onder de instellingen die werden gebruikt voor MAGICK; met het fijn afgestemde lage-rangdiffusiemodel GreenBack LoRA; en ook met het eerder genoemde LayerDiffuse.

Voor de gegevens werden 3000 afbeeldingen uit de MAGICK-dataset gebruikt.

Voorbeelden uit de MAGICK-dataset, waaruit 3000 afbeeldingen werden geselecteerd voor tests van het nieuwe systeem. Bron: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

Voor metrics werden de auteurs Fréchet Inception Distance (FID) gebruikt om de kwaliteit van de voorgrond te beoordelen. Ze ontwikkelden ook een project-specifieke metric genaamd m-FID, die het BiRefNet-systeem gebruikt om de kwaliteit van het resulterende masker te beoordelen.

Visuele vergelijkingen van het BiRefNet-systeem tegenover eerdere methoden. Bron: https://arxiv.org/pdf/2401.03407

Om semantische uitlijning met de invoerprompts te testen, werden de CLIP-Sentence (CLIP-S) en CLIP-Image (CLIP-I)-methoden gebruikt. CLIP-S evalueert prompttrouw, en CLIP-I de visuele gelijkenis met de grondwaarheid.

Eerste set van kwalitatieve resultaten voor de nieuwe methode, deze keer voor Stable Diffusion V1.5. Raadpleeg het bron-PDF voor een betere resolutie.

De auteurs beweren dat de resultaten (hierboven en hieronder weergegeven, SD1.5 en SDXL, respectievelijk) laten zien dat TKG-DM superieure resultaten behaalt zonder prompt-engineering of de noodzaak om een model te trainen of fijn af te stemmen.

SDXL-kwalitatieve resultaten. Raadpleeg het bron-PDF voor een betere resolutie.

Ze merken op dat, met een prompt om een groene achtergrond in de gegenereerde resultaten te activeren, Stable Diffusion 1.5 moeite heeft om een schone achtergrond te genereren, terwijl SDXL (hoewel het een beetje beter presteert) onstabiele lichtgroene tinten produceert die kunnen interfereren met de scheiding in een chroma-proces.

Ze merken verder op dat, hoewel LayerDiffuse goed gescheiden achtergronden genereert, het soms details verliest, zoals precieze nummers of letters, en de auteurs wijten dit aan beperkingen in de dataset. Ze voegen eraan toe dat het maskergenereren soms faalt, wat leidt tot ‘ongesneden’ afbeeldingen.

Voor kwantitatieve tests, hoewel LayerDiffuse schijnbaar een voordeel heeft in SDXL voor FID, benadrukken de auteurs dat dit het resultaat is van een gespecialiseerde dataset die effectief een ‘gebakken’ en niet-flexibele product vormt. Zoals eerder vermeld, kunnen objecten of klassen die niet in die dataset worden gedekt, of onvoldoende worden gedekt, mogelijk niet zo goed presteren, en verdere fijnafstelling om nieuwe klassen te accommoderen legt de gebruiker een curation- en trainingslast op.

Kwantitatieve resultaten voor de vergelijkingen. Het schijnbare voordeel van LayerDiffuse, zo stelt het paper, komt ten koste van flexibiliteit en de last van gegevenscuratie en -training.

Het paper vermeldt:

‘DeepFloyd’s hoge FID-, m-FID- en CLIP-I-scores weerspiegelen de gelijkenis met de grondwaarheid op basis van DeepFloyd’s outputs. Echter, deze uitlijning geeft het een inherente voorsprong, waardoor het niet geschikt is als een eerlijke benchmark voor beeldkwaliteit. De lagere CLIP-S-score wijst verder op zwakkere tekstuitlijning in vergelijking met andere modellen.

Al met al benadrukken deze resultaten de mogelijkheid van ons model om hoge-kwaliteit, tekst-uitgelijnde voorgronden te genereren zonder fijnafstelling, en biedt een efficiënte chroma-sleutelinhoudsgeneratie-oplossing.’

Ten slotte voerden de onderzoekers een gebruikersstudie uit om prompt-adherentie over de verschillende methoden te evalueren. Honderd deelnemers werden gevraagd om 30 afbeeldingsparen van elke methode te beoordelen, met onderwerpen geëxtraheerd met BiRefNet en handmatige verfijningen over alle voorbeelden. De trainingsvrije benadering van de auteurs werd bevoroordeeld in deze studie.

Resultaten van de gebruikersstudie.

TKG-DM is compatibel met het populaire ControlNet-systeem van derden voor Stable Diffusion, en de auteurs beweren dat het superieure resultaten produceert in vergelijking met de native mogelijkheid van ControlNet om deze soort scheiding te bereiken.

Conclusie

Misschien wel de meest opvallende conclusie uit dit nieuwe paper is de mate waarin latent diffusiemodellen verstrengeld zijn, in tegenstelling tot de populaire publieke perceptie dat ze moeiteloos facetten van afbeeldingen en video’s kunnen scheiden bij het genereren van nieuwe inhoud.

De studie benadrukt verder de mate waarin de onderzoeks- en hobbygemeenschap is overgestapt op fijnafstelling als een post facto oplossing voor de tekortkomingen van modellen – een oplossing die altijd specifieke klassen en soorten objecten zal aanpakken. In een dergelijk scenario zal een fijn afgestemd model het heel goed doen op een beperkt aantal klassen, of redelijk goed doen op een veel grotere hoeveelheid mogelijke klassen en objecten, afhankelijk van de hoeveelheid gegevens in de trainingssets.

Daarom is het verfrissend om ten minste één oplossing te zien die niet afhankelijk is van dergelijke moeizame en mogelijk oneerlijke oplossingen.

* De opnames van de film Superman uit 1978, moest acteur Christopher Reeve een turquoise Superman-pak dragen voor blauwschermopnames, om te voorkomen dat het iconische blauwe pak zou worden gewist. De blauwe kleur van het pak werd later hersteld via kleurgradering.