Ett nytt system för temporalt konsekvent stabilt diffusionsbaserat videokaraktärsgenerering

En ny initiativ från Alibaba Group erbjuder ett av de bästa metoderna jag har sett för att generera fullständiga mänskliga avatarer från en stabilt diffusionsbaserad grundmodell.

Med titeln MIMO (MIMicking med Object Interactions), använder systemet en rad populära teknologier och moduler, inklusive CGI-baserade mänskliga modeller och AnimateDiff, för att möjliggöra temporalt konsekvent karaktärersättning i videor – eller för att driva en karaktär med en användardefinierad skelettpose.

Här ser vi karaktärer interpolerade från en enda bildkälla och drivna av en fördefinierad rörelse:

[Klicka på videon nedan för att spela]

Från en enda bildkälla kan tre olika karaktärer drivas av en 3D-posesekvens (längst till vänster) med hjälp av MIMO-systemet. Se projektwebbplatsen och den medföljande YouTube-videon (inbäddad i slutet av den här artikeln) för fler exempel och högre upplösning. Källa: https://menyifang.github.io/projects/MIMO/index.html

Genererade karaktärer, som också kan hämtas från bildrutor i videor och på andra sätt, kan integreras i riktiga filmsekvenser.

MIMO erbjuder ett nytt system som genererar tre separata kodningar, var och en för karaktär, scen och ocklusion (dvs. maskning, när något föremål eller person passerar framför den avbildade karaktären). Dessa kodningar integreras vid inferenstid.

[Klicka på videon nedan för att spela]

MIMO kan ersätta ursprungliga karaktärer med fotorealistiska eller stiliserade karaktärer som följer rörelsen från målvideon. Se projektwebbplatsen och den medföljande YouTube-videon (inbäddad i slutet av den här artikeln) för fler exempel och högre upplösning.

Systemet är tränat över den stabila diffusionsmodellen V1.5, med en anpassad dataset som curerats av forskarna och består lika mycket av riktiga och simulerade videor.

Det stora problemet med diffusionsbaserad video är temporalt stabilitet, där videoinnehållet antingen blinkar eller “utvecklas” på sätt som inte är önskvärda för konsekvent karaktärsrepresentation.

MIMO använder i stället effektivt en enda bild som en karta för konsekvent vägledning, som kan orkestreras och begränsas av de interstitiella SMPL-modellen.

Eftersom referensen är konsekvent och grundmodellen som systemet är tränat på har förbättrats med tillräckligt representativa rörelseexempel, är systemets förmåga att producera temporalt konsekvent utdata långt över den allmänna standarden för diffusionsbaserade avatarer.

[Klicka på videon nedan för att spela]

Ytterligare exempel på pose-drivna MIMO-karaktärer. Se projektwebbplatsen och den medföljande YouTube-videon (inbäddad i slutet av den här artikeln) för fler exempel och högre upplösning.

Det blir allt vanligare att använda enstaka bilder som källa för effektiva neuronnätrepresentationer, antingen på egen hand eller i en multimodal kombination med textprompts. Till exempel kan det populära LivePortrait-systemet för ansiktsöverföring också generera högst trovärdiga deepfaked ansikten från enstaka ansiktsbilder.

Forskarna tror att principerna som används i MIMO-systemet kan utvidgas till andra och nya typer av generativa system och ramverk.

Den nya artikeln heter MIMO: Kontrollerbar karaktärsvideosyntes med rumsligt dekomponerad modellering och kommer från fyra forskare vid Alibaba Group’s Institute for Intelligent Computing. Arbetet har en videoladdad projektwebbplats och en medföljande YouTube-video, som också är inbäddad i slutet av den här artikeln.

Metod

MIMO uppnår automatisk och oövervakad separation av de ovannämnda tre rumsliga komponenterna i en slut-till-slut-arkitektur (dvs. alla underprocesser är integrerade i systemet, och användaren behöver endast tillhandahålla inmatningsmaterialet).

Den konceptuella schemat för MIMO. Källa: https://arxiv.org/pdf/2409.16160

Objekt i källvideor översätts från 2D till 3D, initialt med hjälp av monokulär djupuppskattare Depth Anything. Den mänskliga komponenten i varje bildruta extraheras med metoder anpassade från Tune-A-Video-projektet.

Dessa funktioner översätts sedan till video-baserade volymetriska aspekter via Facebook Researchs Segment Anything 2-arkitektur.

Scenlagret i sig erhålls genom att ta bort objekt som upptäckts i de andra två lagren, vilket effektivt tillhandahåller en rotoskopisk mask automatiskt.

För rörelsen används en uppsättning extraherade latenta koder för den mänskliga komponenten, som är förankrade till en standardmänsklig CGI-baserad SMPL-modell, vars rörelser tillhandahåller sammanhanget för det renderade mänskliga innehållet.

En 2D funktionell karta för det mänskliga innehållet erhålls genom en differentierbar rasteriserare som härrör från en 2020-initiativ från NVIDIA. Genom att kombinera de erhållna 3D-data från SMPL med de 2D-data som erhållits av NVIDIA-metoden, har de latenta koderna som representerar den “neurala personen” en solid korrespondens till deras eventuella sammanhang.

Vid det här laget är det nödvändigt att etablera en referens som ofta behövs i arkitekturer som använder SMPL – en kanonisk pose. Detta är i stort sett liknande Da Vincis ‘Vitruvian man’, eftersom det representerar en noll-pose-mall som kan acceptera innehåll och sedan deformeras, medan den effektivt texture-mappade innehållet följer med.

Deformationerna, eller “avvikelser från normen”, representerar mänsklig rörelse, medan SMPL-modellen bevarar de latenta koder som utgör den mänskliga identitet som har extraherats, och representerar därmed den resulterande avataren korrekt i termer av pose och textur.

Ett exempel på en kanonisk pose i en SMPL-figur. Källa: https://www.researchgate.net/figure/Layout-of-23-joints-in-the-SMPL-models_fig2_351179264

När det gäller frågan om sammanflätning (i vilken utsträckning träningsdata kan visa sig vara inflexibla när du sträcker dem bortom deras tränade begränsningar och associationer), skriver författarna*:

‘För att fullständigt lösa upp utseendet från poserade videoramar, är en idealisk lösning att lära den dynamiska mänskliga representationen från den monokulära videon och omvandla den från den poserade rymden till den kanoniska rymden.

‘Med hänsyn till effektivitet, använder vi en förenklad metod som direkt omvandlar den poserade mänskliga bilden till den kanoniska resultatet i standard A-pose med hjälp av en förtränad mänsklig ompositioneringsmodell. Den syntetiserade kanoniska utseendebilden matas in i ID-kodare för att erhålla identitets[koden].

‘Denna enkla design möjliggör fullständig lösgöring av identitet och rörelseattribut. Följande [Animate Anyone], innehåller ID-kodarna en CLIP-bildkodare och en referens-nätverksarkitektur för att infoga den globala och lokala funktionen, [respektive].’

För scen- och ocklusionsaspekterna används en delad och fast Variational Autoencoder (VAE – i detta fall härrörande från en 2013-publication) för att infoga scen- och ocklusionskomponenter i den latenta rymden. Inkongruenser hanteras med en inpainting-metod från 2023 ProPainter-projektet.

När de är sammansatta och retuscherade på detta sätt, kommer både bakgrunden och eventuella ocklerande objekt i videon att tillhandahålla en matt för den rörliga mänskliga avataren.

De dekomponerade attributen matas sedan in i en U-Net-bakkant baserad på den stabila diffusionsarkitekturen V1.5. Den fullständiga scenkoden konkateneras med det inhemska latenta bruset. Den mänskliga komponenten integreras via självuppmärksamhets– och korsuppmärksamhetslager, respektive.

Sedan är den avbrusade resultatet utmatat via VAE-dekodern.

Data och tester

För träning skapade forskarna en mänsklig videodataset med titeln HUD-7K, som bestod av 5 000 riktiga karaktärsvideor och 2 000 syntetiska animationer skapade av En3D-systemet. De riktiga videorna krävde ingen annotering, på grund av den icke-semantiska naturen av figurutvinningarna i MIMO:s arkitektur. De syntetiska data var fullständigt annoterade.

Modellen tränades på åtta NVIDIA A100 GPU:er (även om artikeln inte specificerar om dessa var 40 GB eller 80 GB VRAM-modeller), under 50 iterationer, med 24 videofrimer och en batchstorlek på fyra, tills konvergens.

Rörelsemodulen för systemet tränades på viktorna av AnimateDiff. Under träningsprocessen var viktorna av VAE-kodaren/dekodaren och CLIP-bildkodaren frysta (i motsats till full finjustering, som kommer att ha en mycket bredare effekt på en grundmodell).

Även om MIMO inte testades mot liknande system, testade forskarna det på svåra out-of-distribution-rörelsekvenser från AMASS och Mixamo. Dessa rörelser inkluderade klättring, lek och dans.

De testade också systemet på vilda mänskliga videor. I båda fallen rapporterar artikeln “hög robusthet” för dessa osynliga 3D-rörelser, från olika vinklar.

Även om artikeln erbjuder flera statiska bildresultat som demonstrerar systemets effektivitet, är den sanna prestationen av MIMO bäst bedömd med de omfattande videoresultat som tillhandahålls på projektwebbplatsen och i den YouTube-video som är inbäddad nedan (från vilken videorna i början av den här artikeln har hämtats).

Författarna slutsats:

‘Experimentella resultat [demonstrerar] att vår metod möjliggör inte bara flexibel karaktär, rörelse och scenkontroll, utan också avancerad skalbarhet till godtyckliga karaktärer, allmänhet för nya 3D-rörelser och tillämplighet för interaktiva scener.

‘Vi tror också att vår lösning, som beaktar den inneboende 3D-naturen och automatiskt kodar den 2D-videon till hierarkiska rumsliga komponenter, kunde inspirera framtida forskningar för 3D-medveten videosyntes.

‘Dessutom är vår ramverk inte bara väl lämpat för att generera karaktärsvideor, utan kan också potentiellt anpassas till andra kontrollerbara videosyntesuppgifter.’

Slutsats

Det är uppfriskande att se ett avatarsystem baserat på stabil diffusion som verkar kunna uppnå sådan temporalt stabilitet – inte minst för att Gaussian-avataren verkar vinna den högsta marknaden i detta specifika forskningsområde.

De stiliserade avataren som representeras i resultaten är effektiva, och även om den nivå av fotorealism som MIMO kan producera inte för närvarande är lika med vad Gaussian Splatting är kapabel till, är de olika fördelarna med att skapa temporalt konsekventa mänskliga i en semantiskt baserad Latent Diffusionsnätverk (LDM) är betydande.

* Min omvandling av författarnas inline-citationer till hyperlänkar och, där nödvändigt, externa förklarande hyperlänkar.

Publicerad första gången onsdag, 25 september 2024