Een Nieuw Systeem voor Temporeel Consistente Stable Diffusion Video Characters

Een nieuwe initiatief van de Alibaba Group biedt een van de beste methoden die ik heb gezien voor het genereren van full-body menselijke avatars vanuit een Stable Diffusion-gebaseerd foundation model.

Genoemd MIMO (MIMicking met Object Interactions), gebruikt het systeem een reeks populaire technologieën en modules, waaronder CGI-gebaseerde menselijke modellen en AnimateDiff, om temporeel consistente karaktervervanging in video’s mogelijk te maken – of om een karakter aan te sturen met een door de gebruiker gedefinieerde skeletpositie.

Hier zien we karakters geïnterpoleerd vanuit een enkele beeldbron, en aangestuurd door een vooraf gedefinieerde beweging:

[Klik op de video hieronder om af te spelen]

Vanuit enkele beeldbronnen worden drie diverse karakters aangestuurd door een 3D-positievolgorde (ver links) met behulp van het MIMO-systeem. Bekijk de projectwebsite en de bijbehorende YouTube-video (ingebed aan het einde van dit artikel) voor meer voorbeelden en een hogere resolutie. Bron: https://menyifang.github.io/projects/MIMO/index.html

gegenereerde karakters, die ook kunnen worden afgeleid van frames in video’s en op diverse andere manieren, kunnen worden geïntegreerd in echte beeldmateriaal.

MIMO biedt een nieuw systeem dat drie discrete coderingen genereert, elk voor karakter, scène en occlusie (d.w.z. matting, wanneer een object of persoon voor het afgebeelde karakter langs loopt). Deze coderingen worden op het moment van inferentie geïntegreerd.

[Klik op de video hieronder om af te spelen]

MIMO kan originele karakters vervangen door fotorealistische of gestileerde karakters die de beweging van de doelvideo volgen. Bekijk de projectwebsite en de bijbehorende YouTube-video (ingebed aan het einde van dit artikel) voor meer voorbeelden en een hogere resolutie.

Het systeem is getraind op het Stable Diffusion V1.5-model, met een aangepaste dataset die is samengesteld door de onderzoekers, en bestaat uit een gelijke verhouding van echte en gesimuleerde video’s.

Het grote probleem van diffusie-gebaseerde video’s is temporele stabiliteit, waarbij de inhoud van de video of flikkert of ‘evolueert’ op manieren die niet gewenst zijn voor een consistente karakterweergave.

MIMO gebruikt in plaats daarvan effectief een enkel beeld als kaart voor consistente leiding, die kan worden georkestreerd en beperkt door de interstitiële SMPL-CGI-model.

Aangezien de bronreferentie consistent is, en het basismodel waarop het systeem is getraind is verrijkt met adequate representatieve bewegingsvoorbeelden, liggen de mogelijkheden van het systeem voor temporeel consistente uitvoer ver boven de algemene standaard voor diffusie-gebaseerde avatars.

[Klik op de video hieronder om af te spelen]

Verdere voorbeelden van pose-gestuurde MIMO-karakters. Bekijk de projectwebsite en de bijbehorende YouTube-video (ingebed aan het einde van dit artikel) voor meer voorbeelden en een hogere resolutie.

Het wordt steeds gebruikelijker om enkele beelden te gebruiken als bron voor effectieve neurale representaties, hetzij op zichzelf, hetzij in een multimodale manier, in combinatie met tekstprompts. Bijvoorbeeld, het populaire LivePortrait-systeem voor gezichtstransfer kan ook zeer geloofwaardige diepe vervalste gezichten vanuit enkele gezichtsbeelden genereren.

De onderzoekers geloven dat de principes die in het MIMO-systeem worden gebruikt, kunnen worden uitgebreid naar andere en nieuwe soorten generatieve systemen en kaders.

Het nieuwe artikel heeft de titel MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling, en komt van vier onderzoekers van het Alibaba Group’s Institute for Intelligent Computing. Het werk heeft een video-rijke projectpagina en een bijbehorende YouTube-video, die ook aan het einde van dit artikel is ingebed.

Methode

MIMO bereikt automatische en onbegeleide scheiding van de bovengenoemde drie ruimtelijke componenten, in een eind-tot-eind-architectuur (d.w.z. alle subprocesen zijn geïntegreerd in het systeem, en de gebruiker hoeft alleen het invoermateriaal te leveren).

Het conceptuele schema voor MIMO. Bron: https://arxiv.org/pdf/2409.16160

Objecten in bronvideo’s worden vertaald van 2D naar 3D, aanvankelijk met behulp van de monulaire diepteschatting Depth Anything. Het menselijke element in elke frame wordt geëxtraheerd met methoden die zijn aangepast van het Tune-A-Video-project.

Deze functies worden vervolgens vertaald in video-gebaseerde volumetrische facetten via Facebook Research’s Segment Anything 2-architectuur.

De scène-laag zelf wordt verkregen door objecten te verwijderen die zijn gedetecteerd in de andere twee lagen, waardoor effectief een rotoscope-stijl masker automatisch wordt gegenereerd.

Voor de beweging wordt een set van geëxtraheerde latentecodes voor het menselijke element verankerd aan een standaardmenselijk CGI-gebaseerd SMPL-model, waarvan de bewegingen de context voor de gegenereerde menselijke inhoud bieden.

Een 2D functiekaart voor de menselijke inhoud wordt verkregen door een differentieerbare rasterizer die is afgeleid van een 2020-initiatief van NVIDIA. Door de verkregen 3D-gegevens van SMPL te combineren met de 2D-gegevens die zijn verkregen met de NVIDIA-methode, hebben de latentecodes die de ‘neurale persoon’ vertegenwoordigen een solide overeenkomst met hun uiteindelijke context.

Op dit punt is het noodzakelijk om een referentie te vestigen die algemeen nodig is in architectuur die SMPL gebruikt – een canonieke pose. Dit is breed vergelijkbaar met Da Vinci’s ‘Vitruvian man’, in die zin dat het een nulpose-sjabloon vertegenwoordigt dat inhoud kan accepteren en vervolgens kan worden vervormd, waardoor de (effectief) texture-mapped inhoud wordt meegenomen.

Deze vervormingen, of ‘afwijkingen van de norm’, vertegenwoordigen menselijke beweging, terwijl het SMPL-model de latentecodes die de menselijke identiteit vormen die is geëxtraheerd, behoudt, en vertegenwoordigt de resulterende avatar dus correct in termen van pose en textuur.

Een voorbeeld van een canonieke pose in een SMPL-figuur. Bron: https://www.researchgate.net/figure/Layout-of-23-joints-in-the-SMPL-models_fig2_351179264

Met betrekking tot het probleem van entanglement (de mate waarin getrainde gegevens inflexibel kunnen blijken te zijn wanneer ze worden uitgerekt buiten hun getrainde grenzen en associaties), verklaren de auteurs*:

‘Om de verschijning volledig te ontwarren van de geposeerde videoframes, is een ideale oplossing om de dynamische menselijke representatie te leren van de monulaire video en deze om te zetten van de geposeerde ruimte naar de canonieke ruimte.

‘Gezien de efficiëntie, gebruiken we een vereenvoudigde methode die het geposeerde menselijke beeld rechtstreeks omzet in het canonieke resultaat in standaard A-pose met behulp van een voorgetraind menselijk repose-model. Het gesynthetiseerde canonieke verschijningsbeeld wordt doorgegeven aan ID-encoders om de identiteitscode te verkrijgen.

‘Deze eenvoudige ontwerp maakt een volledige ontwarren van identiteit en bewegingskenmerken mogelijk. Volgend op [Animate Anyone], bevatten de ID-encoders een CLIP-beeldencoder en een referentie-netarchitectuur om te embedden voor de globale en lokale functie, [respectievelijk].’

Voor de scène- en occlusieaspecten wordt een gedeelde en vaste Variational Autoencoder (VAE – in dit geval afgeleid van een 2013-publicatie) gebruikt om de scène- en occlusie-elementen in de latentruimte te embedden. Incongruïteiten worden afgehandeld door een inpainting-methode van het 2023 ProPainter-project.

Als ze eenmaal zijn geassembleerd en geretoucheerd op deze manier, zullen zowel de achtergrond als eventuele occluderende objecten in de video een matte voor de bewegende menselijke avatar bieden.

Deze ontlede attributen worden vervolgens doorgegeven aan een U-Net-backbone op basis van de Stable Diffusion V1.5-architectuur. De complete scène-code wordt geconcateneerd met de native latent noise van het hostsysteem. Het menselijke component wordt geïntegreerd via self-attention– en cross-attention-lagen, respectievelijk.

Vervolgens wordt het gedenoiseerde resultaat uitgevoerd via de VAE-decoder.

Gegevens en Tests

Voor de training hebben de onderzoekers een menselijke videodataset gemaakt met de titel HUD-7K, die bestond uit 5.000 echte karaktervideo’s en 2.000 synthetische animaties die zijn gegenereerd door het En3D-systeem. De echte video’s vereisten geen annotatie, vanwege de niet-semantische aard van de figuurextractieprocedures in MIMO’s architectuur. De synthetische gegevens waren volledig geannoteerd.

Het model is getraind op acht NVIDIA A100-GPU’s (hoewel het artikel niet specificeren of dit de 40GB- of 80GB-VRAM-modellen waren), voor 50 iteraties, met 24 videoframes en een batchgrootte van vier, totdat convergentie werd bereikt.

Het bewegingsmodule voor het systeem is getraind op de gewichten van AnimateDiff. Tijdens het trainingsproces werden de gewichten van de VAE-encoder/decoder en de CLIP-beeldencoder bevroren (in tegenstelling tot volledige fijne afstemming, die een veel bredere invloed op een foundationmodel zou hebben).

Hoewel MIMO niet is getest tegen vergelijkbare systemen, hebben de onderzoekers het getest op moeilijke uit-distributiebewegingssequenties afkomstig van AMASS en Mixamo. Deze bewegingen omvatten klimmen, spelen en dansen.

Zij hebben het systeem ook getest op in het wild menselijke video’s. In beide gevallen meldt het artikel ‘hoge robuustheid’ voor deze ongezien 3D-bewegingen, vanuit verschillende gezichtspunten.

Hoewel het artikel meerdere statische beeldresultaten biedt die de effectiviteit van het systeem demonstreren, wordt de werkelijke prestatie van MIMO het beste beoordeeld met de uitgebreide videoreultaat die wordt geboden op de projectpagina en in de YouTube-video die hieronder is ingebed (waarvan de video’s aan het begin van dit artikel zijn afgeleid).

De auteurs concluderen:

‘Experimentele resultaten [demonstreren] dat onze methode niet alleen flexibele karakter-, bewegings- en scènebeheersing mogelijk maakt, maar ook geavanceerde schaalbaarheid naar willekeurige karakters, generaliteit naar nieuwe 3D-bewegingen en toepasbaarheid op interactieve scènes.

‘We geloven ook dat onze oplossing, die de inherente 3D-aard en automatisch de 2D-video naar hiërarchische ruimtelijke componenten kan omzetten, toekomstig onderzoek naar 3D-bewuste videosynthese kan inspireren.

‘Bovendien is ons kader niet alleen goed geschikt om karaktervideo’s te genereren, maar kan het ook potentieel worden aangepast aan andere beheersbare videosynthesetaak.

Conclusie

Het is verfrissend om een avatar-systeem te zien dat is gebaseerd op Stable Diffusion en dat lijkt te zijn in staat tot dergelijke temporele stabiliteit – niet in de laatste plaats omdat Gaussian Avatars lijken te de bovenhand te krijgen in dit specifieke onderzoeksgebied.

De gestileerde avatars die in de resultaten worden weergegeven, zijn effectief, en hoewel het niveau van fotorealisme dat MIMO kan produceren niet momenteel gelijk is aan wat Gaussian Splatting kan doen, zijn de diverse voordelen van het creëren van temporeel consistente mensen in een semantisch-gebaseerd Latent Diffusion Network (LDM) aanzienlijk.

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks, en waar nodig, externe verklarende hyperlinks.

Origineel gepubliceerd op woensdag 25 september 2024