Et Nyt System til Temporalt Konsistent Stable Diffusion Video Figurer

En ny initiativ fra Alibaba Group tilbyder en af de bedste metoder, jeg har set, til at generere fuld-kropps menneskelige avatarer fra en Stable Diffusion-baseret grundmodel.

Det hedder MIMO (MIMicking med Object Interactions), og systemet bruger en række populære teknologier og moduler, herunder CGI-baserede menneskelige modeller og AnimateDiff, til at aktivere temporalt konsistent karakterudskiftning i videoer – eller til at styre en karakter med en brugerdefineret skeletpose.

Her ser vi karakterer interpoleret fra en enkelt billedkilde, og styret af en foruddefineret bevægelse:

[Klik på videoen nedenfor for at afspille]

Fra enkelt billedkilde kan tre forskellige karakterer styres af en 3D-pose-sekvens (langt til venstre) ved hjælp af MIMO-systemet. Se projektets website og den tilhørende YouTube-video (indlejret i slutningen af denne artikel) for flere eksempler og bedre opløsning. Kilde: https://menyifang.github.io/projects/MIMO/index.html

Genererede karakterer, der også kan hentes fra billeder i videoer og på andre måder, kan integreres i virkelige optagelser.

MIMO tilbyder et nyt system, der genererer tre separate kodninger, hver for karakter, scene og okklusion (dvs. matning, når et objekt eller en person passerer foran karakteren, der afbildes). Disse kodninger integreres ved inferens-tidspunktet.

[Klik på videoen nedenfor for at afspille]

MIMO kan erstatte originale karakterer med fotorealistiske eller stiliserede karakterer, der følger bevægelsen fra målvideoen. Se projektets website og den tilhørende YouTube-video (indlejret i slutningen af denne artikel) for flere eksempler og bedre opløsning.

Systemet er trænet over Stable Diffusion V1.5-modellen, ved hjælp af en brugerdefineret dataset, der er kurateret af forskerne, og består ligeligt af virkelige og simulerede videoer.

Det store problem med diffusion-baseret video er temporal stabilitet, hvor videoens indhold enten flimrer eller “udvikler” sig på måder, der ikke er ønskelige for konsistent karakterrepræsentation.

MIMO bruger i stedet effektivt en enkelt billed som en vejledning for konsistent vejledning, der kan orkestreres og begrænses af den interstitielle SMPL-CGI-model.

Da referencekilden er konsistent, og grundmodellen, som systemet er trænet over, er forbedret med tilstrækkelige repræsentative bevægelseseksempler, er systemets evner til at producere temporalt konsistent output langt over det generelle standard for diffusion-baserede avatarer.

[Klik på videoen nedenfor for at afspille]

Yderligere eksempler på pose-styrede MIMO-karakterer. Se projektets website og den tilhørende YouTube-video (indlejret i slutningen af denne artikel) for flere eksempler og bedre opløsning.

Det bliver mere almindeligt, at enkelt billeder bruges som kilde til effektive neurale repræsentationer, enten alene eller i en multimodal måde, kombineret med tekstprompt. For eksempel kan det populære LivePortrait-system også generere meget troværdige deepfaked ansigter fra enkelt ansigtsbillede.

Forskerne mener, at principperne, der bruges i MIMO-systemet, kan udvides til andre og nye typer generative systemer og rammer.

Den nye artikel hedder MIMO: Kontrollerbar karaktervideo-syntese med rumligt dekomponeret modellering og kommer fra fire forskere ved Alibaba Group’s Institute for Intelligent Computing. Arbejdet har en video-laden projekt-side og en tilhørende YouTube-video, der også er indlejret i slutningen af denne artikel.

Metode

MIMO opnår automatisk og uovervåget adskillelse af de ovennævnte tre rumlige komponenter i en slut-til-slut-arkitektur (dvs. alle underprocesser er integreret i systemet, og brugeren behøver kun at give inputmaterialet).

Den konceptuelle skema for MIMO. Kilde: https://arxiv.org/pdf/2409.16160

Objekter i kildevideoer oversættes fra 2D til 3D, først ved hjælp af den monokulære dybde-estimator Depth Anything. Den menneskelige komponent i hver ramme udtrækkes med metoder, der er tilpasset fra Tune-A-Video-projektet.

Disse funktioner oversættes derefter til video-baserede volumetriske facetter via Facebook Research’s Segment Anything 2-arkitektur.

Scenen selv erhverves ved at fjerne objekter, der er detekteret i de to andre lag, og giver effektivt en rotoscope-stil mask automatisk.

For bevægelsen udtrækkes en samling af latente koder for den menneskelige komponent, der er anchoreret til en standard-menneskelig CGI-baseret SMPL-model, hvis bevægelser giver konteksten for det renderede menneskelige indhold.

En 2D funktion-kort for det menneskelige indhold erhverves ved en differentierbar rasterizer afledt fra en 2020-initiativ fra NVIDIA. Ved at kombinere de erhvervede 3D-data fra SMPL med de 2D-data, der erhverves ved NVIDIA-metoden, har de latente koder, der repræsenterer den “neurale person”, en solid korrespondance til deres eventuelle kontekst.

På dette tidspunkt er det nødvendigt at etablere en reference, der ofte er nødvendig i arkitekturer, der bruger SMPL – en kanonisk pose. Dette er bredt lignende Da Vincis ‘Vitruvian man’, da det repræsenterer en nul-pose-skabelon, der kan acceptere indhold og derefter deformeres, og bringer (effektivt) texture-mappede indhold med det.

Disse deformationer eller “afvigelser fra normen” repræsenterer menneskelig bevægelse, mens SMPL-modellen bevarede de latente koder, der udgør den menneskelige identitet, der er udtrukket, og repræsenterer derfor den resulterende avatar korrekt i forhold til pose og tekstur.

Et eksempel på en kanonisk pose i en SMPL-figur. Kilde: https://www.researchgate.net/figure/Layout-of-23-joints-in-the-SMPL-models_fig2_351179264

Med hensyn til spørgsmålet om entanglement (omfanget, hvori trænet data kan vise sig at være ufleksible, når du strækker det ud over dets trænede konfiner og associationer), skriver forfatterne*:

‘For fuldstændigt at adskille udseendet fra poseret video-ramme, er en ideel løsning at lære den dynamiske menneskelige repræsentation fra den monokulære video og omforme det fra poseret rum til kanonisk rum.

‘Med hensyn til effektivitet, anvender vi en forenklet metode, der direkte omformer den poserede menneskelige billed til det kanoniske resultat i standard A-pose ved hjælp af en forudtrænet menneskelig re-pose-model. Den syntetiserede kanoniske udseende-billede indføres i ID-encodere for at erhverve identitets-koden.

‘Denne simple design muliggør fuld adskillelse af identitet og bevægelsesattributter. Følgende [Animate Anyone], omfatter ID-encodere en CLIP-billed-encoder og en reference-net-arkitektur til at indlejre for den globale og lokale funktion, [henholdsvis].’

For scenen og okklusion-aspekterne bruges en fælles og fast Variational Autoencoder (VAE – i dette tilfælde afledt fra en 2013-publikation) til at indlejre scenen og okklusion-elementer i det latente rum. Inkonsistenser håndteres ved en inpainting-metode fra 2023 ProPainter-projektet.

Når disse dekomponerede attributter er samlet og retoucheret på denne måde, vil både baggrunden og enhver okkluderende objekter i videoen give en matte for den bevægelige menneskelige avatar.

Disse dekomponerede attributter indføres derefter i en U-Net-baggrund baseret på Stable Diffusion V1.5-arkitekturen. Den komplette scene-kode konkateneres med værtssystemets native latente støj. Den menneskelige komponent integreres via selv-opmærksomhed og kryds-opmærksomheds-lag, henholdsvis.

Derefter udgives den renset resultat via VAE-dekoderen.

Data og Tests

Til træning skabte forskerne et menneskevideo-dataset kaldet HUD-7K, der bestod af 5.000 rigtige karakter-videoer og 2.000 syntetiske animationer, der er skabt af En3D-systemet. De rigtige videoer krævede ingen annotation, på grund af den ikke-semantiske natur af figur-udtræknings-proceduren i MIMO’s arkitektur. Den syntetiske data var fuldt annoteret.

Modellen blev trænet på otte NVIDIA A100-GPU’er (selvom artiklen ikke specificerer, om det var 40GB eller 80GB VRAM-modeller), i 50 iterationer, ved hjælp af 24 video-frames og en batch-størrelse på fire, indtil konvergens.

Bevægelsesmodulen for systemet blev trænet på vægtene af AnimateDiff. Under træningsprocessen blev vægtene af VAE-encoder/decoder og CLIP-billed-encoder frosset (i modsætning til fuld fine-tuning, der vil have en langt bredere effekt på en grundmodel).

Selv om MIMO ikke blev testet mod analoge systemer, testede forskerne det på svære out-of-distribution-bevægelsessekvenser fra AMASS og Mixamo. Disse bevægelser inkluderede klatring, leg og dans.

De testede også systemet på virkelige menneskevideoer. I begge tilfælde rapporterer artiklen “høj robusthed” for disse usete 3D-bevægelser fra forskellige vinkler.

Selv om artiklen tilbyder flere statiske billedresultater, der demonstrerer systemets effektivitet, er det sande performance af MIMO bedst vurderet med de omfattende videoresultater, der er tilgængelige på projekt-siden, og i den YouTube-video, der er indlejret nedenfor (fra hvilken videoerne i starten af denne artikel er afledt).

Forfatterne konkluderer:

‘Eksperimentelle resultater [demonstrerer] at vores metode ikke kun muliggør fleksibel karakter-, bevægelses- og scene-kontrol, men også avanceret skalerbarhed til vilkårlige karakterer, generel til ny 3D-bevægelse og anvendelighed til interaktive scener.

‘Vi mener også, at vores løsning, der tager den indbyggede 3D-natur og automatisk koder 2D-video til hierarkiske rumlige komponenter, kunne inspirere fremtidige forskninger til 3D-bevidst video-syntese.

‘Desuden er vores ramme ikke kun velegnet til at generere karakter-videoer, men kan også potentielt tilpasses til andre kontrollerbare video-syntese-opgaver.’

Konklusion

Det er opfriskende at se et avatar-system baseret på Stable Diffusion, der synes at være i stand til sådan temporal stabilitet – ikke mindst, fordi Gaussian Avatars synes at være i færd med at vinde i dette forskningsområde.

De stiliserede avatarer, der er repræsenteret i resultaterne, er effektive, og selv om niveauet af fotorealistisk, som MIMO kan producere, ikke er lige så højt som hvad Gaussian Splatting er i stand til, er de forskellige fordele ved at skabe temporalt konsistente mennesker i et semantisk-baseret Latent Diffusion Network (LDM) betydelige.

* Min konvertering af forfatternes inline-citationer til hyperlinks og, hvor nødvendigt, eksterne forklarende hyperlinks.

Først udgivet onsdag, 25. september 2024