Computer vision is een van de meest besproken gebieden in de AI-industrie, dankzij de potentieel toepasbare mogelijkheden in een breed scala aan real-time taken. In de afgelopen jaren zijn computer vision-frameworks snel geëvolueerd, met moderne modellen die nu in staat zijn om gezichtskenmerken, objecten en veel meer in real-time scenario’s te analyseren. Ondanks deze mogelijkheden blijft menselijke bewegingsoverdracht een formidabele uitdaging voor computer vision-modellen. Deze taak houdt in het retargeten van faciale en lichaamsbewegingen van een bronafbeelding of -video naar een doelafbeelding of -video. Menselijke bewegingsoverdracht wordt breed gebruikt in computer vision-modellen voor het stylen van afbeeldingen of video’s, het bewerken van multimediainhoud, digitale mensensynthese en zelfs het genereren van gegevens voor perceptiegebaseerde frameworks.

In dit artikel focussen we ons op MagicDance, een diffusiegebaseerd model dat is ontworpen om menselijke bewegingsoverdracht te revolutioneren. Het MagicDance-framework is specifiek gericht op het overdragen van 2D-menselijke faciale expressies en bewegingen naar uitdagende menselijke dansvideo’s. Het doel is om nieuwe pose-sequentie-gedreven dansvideo’s te genereren voor specifieke doelidentiteiten, terwijl de oorspronkelijke identiteit behouden blijft. Het MagicDance-framework maakt gebruik van een tweestaps trainingsstrategie, met een focus op menselijke bewegingsontkoppeling en verschijningfactoren zoals huidskleur, faciale expressies en kleding. We zullen het MagicDance-framework onderzoeken, waarbij we zijn architectuur, functionaliteit en prestaties vergelijken met andere state-of-the-art menselijke bewegingsoverdrachtsframeworks. Laten we erin duiken.

MagicDance: Realistische menselijke bewegingsoverdracht

Zoals eerder vermeld, is menselijke bewegingsoverdracht een van de meest complexe computer vision-taken vanwege de grote complexiteit die betrokken is bij het overdragen van menselijke bewegingen en expressies van de bronafbeelding of -video naar de doelafbeelding of -video. Traditioneel hebben computer vision-frameworks menselijke bewegingsoverdracht bereikt door een taakspecifiek generatief model, inclusief GAN of Generative Adversarial Networks, te trainen op doeldatasets voor faciale expressies en lichaamshoudingen. Hoewel het trainen en gebruiken van generatieve modellen in sommige gevallen bevredigende resultaten oplevert, lijden ze vaak aan twee belangrijke beperkingen.

1. Ze zijn sterk afhankelijk van een beeldvervormingscomponent, waardoor ze vaak moeite hebben om lichaamsdelen te interpoleren die onzichtbaar zijn in de bronafbeelding, hetzij vanwege een verandering in perspectief of zelf-occlusie.
2. Ze kunnen niet generaliseren naar andere afbeeldingen die extern zijn gegenereerd, wat hun toepassingen beperkt, vooral in real-time scenario’s in het wild.

Moderne diffusiemodellen hebben uitzonderlijke beeldgeneratiecapaciteiten aangetoond in verschillende omstandigheden, en diffusiemodellen zijn nu in staat om krachtige visuals te presenteren in een reeks neerwaartse taken, zoals videogeneratie en beeldinpainting, door te leren van web-schaalbeelden. Vanwege hun capaciteiten kunnen diffusiemodellen een ideale keuze zijn voor menselijke bewegingsoverdrachtstaken. Hoewel diffusiemodellen kunnen worden geïmplementeerd voor menselijke bewegingsoverdracht, hebben ze enkele beperkingen, hetzij in termen van de kwaliteit van de gegenereerde inhoud, hetzij in termen van identiteitsbehoud of het lijden aan tijdelijke inconsistenties als gevolg van modelontwerp- en trainingsstrategiebeperkingen. Bovendien tonen diffusiegebaseerde modellen geen significant voordeel ten opzichte van GAN-frameworks in termen van generaliseerbaarheid.

Om de obstakels te overwinnen die worden geconfronteerd door diffusie- en GAN-gebaseerde frameworks voor menselijke bewegingsoverdrachtstaken, hebben ontwikkelaars MagicDance geïntroduceerd, een nieuw framework dat is ontworpen om het potentieel van diffusieframeworks voor menselijke bewegingsoverdracht te exploiteren, met een ongekend niveau van identiteitsbehoud, superieure visuele kwaliteit en domeingeneraliseerbaarheid. In zijn kern is het fundamentele concept van het MagicDance-framework om het probleem te splitsen in twee fasen: verschijningcontrole en bewegingscontrole, twee capaciteiten die nodig zijn voor beelddiffusieframeworks om nauwkeurige bewegingsoverdrachtsresultaten te leveren.

De bovenstaande figuur geeft een overzicht van het MagicDance-framework, en zoals te zien is, maakt het framework gebruik van de Stable Diffusion model, en implementeert het ook twee extra componenten: het Verschijningcontrolemodel en het Pose ControlNet, waarbij de eerste verschijningrichtlijnen biedt aan het SD-model vanuit een referentieafbeelding via aandacht, terwijl de laatste expressie/pose-richtlijnen biedt aan het diffusiemodel vanuit een voorwaardelijke afbeelding of video. Het framework maakt ook gebruik van een multistage-trainingsstrategie om deze submodules effectief te leren om posecontrole en verschijning te ontwarren.

In samenvatting is het MagicDance-framework een

1. Nieuw en effectief framework dat bestaat uit verschijning-ontkoppelde posecontrole en verschijningcontrole-voortraining.
2. Het MagicDance-framework is in staat om realistische menselijke faciale expressies en menselijke bewegingen te genereren onder controle van pose-conditie-ingangen en referentie-afbeeldingen of -video’s.
3. Het MagicDance-framework streeft ernaar om verschijning-consistente menselijke inhoud te genereren door een Multi-Source Attention Module te introduceren die nauwkeurige richtlijnen biedt voor het Stable Diffusion UNet-framework.
4. Het MagicDance-framework kan ook worden gebruikt als een handige extensie of plug-in voor het Stable Diffusion-framework, en zorgt ook voor compatibiliteit met bestaande modelgewichten, aangezien het geen extra fijntuning van de parameters vereist.

Bovendien toont het MagicDance-framework uitzonderlijke generaliseercapaciteiten voor zowel verschijning als beweging.

1. Verschijninggeneralisatie: Het MagicDance-framework toont superieure capaciteiten bij het genereren van diverse verschijningen.
2. Bewegingsgeneralisatie: Het MagicDance-framework heeft ook de mogelijkheid om een breed scala aan bewegingen te genereren.

MagicDance: Doelstellingen en Architectuur

Voor een gegeven referentieafbeelding, hetzij van een echte mens of een gestileerde afbeelding, is het primaire doel van het MagicDance-framework om een uitvoerbeeld of -video te genereren dat is voorwaardelijk aan de invoer en de pose-ingangen {P, F}, waarbij P de menselijke pose-skelet en F de faciale landmarks vertegenwoordigt. Het gegenereerde uitvoerbeeld of -video moet in staat zijn om de verschijning en identiteit van de betrokken mensen te behouden, evenals de achtergrondinhoud aanwezig in de referentieafbeelding, terwijl het de pose en expressies gedefinieerd door de pose-ingangen behoudt.

Architectuur

Tijdens de training wordt het MagicDance-framework getraind als een frame-reconstructietask om de grondwaarheid te reconstrueren met de referentieafbeelding en pose-invoer afkomstig van dezelfde referentievideo. Tijdens het testen om bewegingsoverdracht te bereiken, wordt de pose-invoer en de referentieafbeelding afkomstig van verschillende bronnen.

De algehele architectuur van het MagicDance-framework kan worden onderverdeeld in vier categorieën: Voorbereidingsfase, Verschijningcontrole-voortraining, Verschijning-ontkoppelde Posecontrole en Bewegingsmodule.

Voorbereidingsfase

Latente diffusiemodellen of LDM vertegenwoordigen uniek ontworpen diffusiemodellen die werken binnen de latente ruimte, gefaciliteerd door het gebruik van een autoencoder, en het Stable Diffusion-framework is een opvallend voorbeeld van LDM’s dat een Vector Quantized-Variational AutoEncoder en tijdelijke U-Net-architectuur gebruikt. Het Stable Diffusion-model gebruikt een CLIP-gebaseerde transformer als tekstencoder om tekstuele invoer te verwerken door tekstuele invoer om te zetten in embeddings. De trainingsfase van het Stable Diffusion-framework exposeert het model aan een tekstuele conditie en een invoerbeeld, met een proces dat het beeld codeert naar een latente representatie en deze onderwerpt aan een vooraf gedefinieerde reeks diffusiestappen die worden geleid door een Gaussische methode.

Verschijningcontrole-voortraining

Een belangrijk probleem met het oorspronkelijke ControlNet-framework is zijn onvermogen om verschijning consistent te controleren onder ruimtelijk variabele bewegingen, hoewel het de neiging heeft om afbeeldingen te genereren met poses die sterk lijken op die in het invoerbeeld, met de algehele verschijning die voornamelijk wordt beïnvloed door tekstuele invoer. Hoewel deze methode werkt, is het niet geschikt voor bewegingsoverdracht die taken omvat waarbij het niet de tekstuele invoer is, maar de referentieafbeelding die fungeert als de primaire bron voor verschijningsinformatie.

De Verschijningcontrole-voortrainingmodule in het MagicDance-framework is ontworpen als een hulpbranche om richtlijnen te bieden voor verschijningcontrole in een laag-voor-laag-benadering. In plaats van te vertrouwen op tekstuele invoer, richt de algehele module zich op het benutten van de verschijningskenmerken van de referentieafbeelding, met als doel het vermogen van het framework te verbeteren om de verschijningskenmerken nauwkeurig te genereren, vooral in scenario’s met complexe bewegingsdynamica. Bovendien is het alleen het Verschijningcontrolemodel dat getraind kan worden tijdens verschijningcontrole-voortraining.

Verschijning-ontkoppelde Posecontrole

Een naive oplossing om de pose in het uitvoerbeeld te controleren is om het voorgetrainde ControlNet-model rechtstreeks te integreren met het voorgetrainde Verschijningcontrolemodel zonder fijntuning. Echter, de integratie kan ertoe leiden dat het framework moeite heeft met verschijning-onafhankelijke posecontrole, wat kan leiden tot een discrepantie tussen de invoerposities en de gegenereerde posities. Om deze discrepantie aan te pakken, fine-tuned het MagicDance-framework het Pose ControlNet-model gezamenlijk met het voorgetrainde Verschijningcontrolemodel.

Bewegingsmodule

Wanneer ze samenwerken, kunnen de Verschijning-ontkoppelde PosecontroleNet en het Verschijningcontrolemodel nauwkeurige en effectieve beeld-naar-bewegingsoverdracht bereiken, hoewel dit kan leiden tot tijdelijke inconsistentie. Om tijdelijke consistentie te garanderen, integreert het framework een extra bewegingsmodule in de primaire Stable Diffusion UNet-architectuur.

MagicDance: Voortraining en Datasets

Voor voortraining maakt het MagicDance-framework gebruik van een TikTok-dataset die bestaat uit meer dan 350 dansvideo’s van verschillende lengtes tussen 10 en 15 seconden, waarin één persoon danst, en de meeste van deze video’s bevatten het gezicht en de bovenlichamen van de mens. Het MagicDance-framework extrahiert elk individueel video op 30 FPS en voert OpenPose uit op elk kader afzonderlijk om de pose-skelet, handposities en faciale landmarks te bepalen.

Voor voortraining wordt het verschijningcontrolemodel voorgetraind met een batchgrootte van 64 op 8 NVIDIA A100-GPU’s voor 10.000 stappen met een beeldgrootte van 512 x 512, gevolgd door het gezamenlijk fijntunen van de posecontrole- en verschijningcontrolemodellen met een batchgrootte van 16 voor 20.000 stappen. Tijdens de training willekeurig twee kaders als doel en referentie bemonsteren, met de afbeeldingen die op dezelfde positie en dezelfde hoogte worden uitgesneden. Tijdens de evaluatie knipt het model het beeld centraal in plaats van het willekeurig uit te snijden.

MagicDance: Resultaten

De experimentele resultaten die zijn uitgevoerd op het MagicDance-framework worden gedemonstreerd in de volgende afbeelding, en zoals te zien is, overtreft het MagicDance-framework bestaande frameworks zoals Disco en DreamPose voor menselijke bewegingsoverdracht over alle metrics. Frameworks met een “*” voor hun naam gebruiken het doelbeeld rechtstreeks als invoer en bevatten meer informatie dan de andere frameworks.

Het is interessant om op te merken dat het MagicDance-framework een Face-Cos-score van 0,426 bereikt, een verbetering van 156,62% ten opzichte van het Disco-framework, en een bijna 400% toename in vergelijking met het DreamPose-framework. De resultaten geven de robuuste capaciteit van het MagicDance-framework aan om identiteitsinformatie te behouden, en de zichtbare boost in prestaties geeft de superioriteit van het MagicDance-framework aan over bestaande state-of-the-art-methoden.

De volgende figuren vergelijken de kwaliteit van menselijke videogeneratie tussen het MagicDance-, Disco- en TPS-frameworks. Zoals te zien is, lijden de resultaten die zijn gegenereerd door de GT-, Disco- en TPS-frameworks aan inconsistentie in menselijke pose-identiteit en faciale expressies.

Bovendien toont de volgende afbeelding de visualisatie van faciale expressie- en menselijke pose-overdracht op de TikTok-dataset, waarbij het MagicDance-framework in staat is om realistische en levendige expressies en bewegingen te genereren onder diverse faciale landmarks en pose-skelet-invoer, terwijl het identiteitsinformatie van de referentie-invoerbeeld nauwkeurig behoudt.

Het is de moeite waard om op te merken dat het MagicDance-framework beschikt over uitzonderlijke generaliseercapaciteiten voor out-of-domain-referentiebeelden van ongezien pose en stijlen, met indrukwekkende verschijningcontrole, zelfs zonder enige extra fijntuning op het doeldomein, met resultaten die worden gedemonstreerd in de volgende afbeelding.

De volgende afbeeldingen demonstreren de visualisatiecapaciteiten van het MagicDance-framework in termen van faciale expressie-overdracht en zero-shot-menselijke beweging. Zoals te zien is, generaliseert het MagicDance-framework naar in-het-wild-menselijke bewegingen.

MagicDance: Beperkingen

OpenPose is een essentieel onderdeel van het MagicDance-framework, aangezien het een cruciale rol speelt bij posecontrole, waardoor de kwaliteit en tijdelijke consistentie van de gegenereerde beelden aanzienlijk worden beïnvloed. Echter, vindt het MagicDance-framework het nog steeds een beetje uitdagend om faciale landmarks en pose-skeletten nauwkeurig te detecteren, vooral wanneer de objecten in de beelden gedeeltelijk zichtbaar zijn of snel bewegen. Deze problemen kunnen leiden tot artefacten in het gegenereerde beeld.

Conclusie

In dit artikel hebben we het over MagicDance gehad, een diffusiegebaseerd model dat is ontworpen om menselijke bewegingsoverdracht te revolutioneren. Het MagicDance-framework probeert 2D-menselijke faciale expressies en bewegingen over te dragen op uitdagende menselijke dansvideo’s, met als doel om nieuwe pose-sequentie-gedreven dansvideo’s te genereren voor specifieke doelidentiteiten, terwijl de identiteit constant blijft. Het MagicDance-framework is een tweestaps trainingsstrategie voor menselijke bewegingsontkoppeling en verschijning, zoals huidskleur, faciale expressies en kleding.

MagicDance is een nieuwe benadering om realistische menselijke videogeneratie te faciliteren door het incorporeren van faciale en bewegingsuitdrukkingen, en het mogelijk maken van consistente in-het-wild-animatiegeneratie zonder verdere fijntuning, wat een significante vooruitgang vertegenwoordigt ten opzichte van bestaande methoden. Bovendien toont het MagicDance-framework uitzonderlijke generaliseercapaciteiten over complexe bewegingssequenties en diverse menselijke identiteiten, waardoor het MagicDance-framework de leider wordt in het veld van AI-geassisteerde bewegingsoverdracht en videogeneratie.