Un sistem nou pentru caractere video de difuzie stabilă temporar consistentă

O inițiativă nouă de la Alibaba Group oferă una dintre cele mai bune metode pe care le-am văzut pentru generarea de avatare umane complete dintr-un model de bază Stable Diffusion.

Denominat MIMO (MIMicarea cu Obiecte Interacționate), sistemul utilizează o serie de tehnologii și module populare, inclusiv modele umane CGI și AnimateDiff, pentru a permite înlocuirea caracterelor temporar consistente în videoclipuri sau pentru a conduce un caracter cu o poziție scheletică definită de utilizator.

Aici vedem caractere interpolate dintr-o singură imagine sursă și conduse de o mișcare predefinită:

[Faceți clic pe videoclipul de mai jos pentru a-l reda]

De la imagini sursă unice, trei caractere diverse sunt conduse de o secvență de poziție 3D (în partea stângă) utilizând sistemul MIMO. Vedeți site-ul proiectului și videoclipul YouTube însoțitor (încorporat la sfârșitul acestui articol) pentru mai multe exemple și o rezoluție superioară. Sursă: https://menyifang.github.io/projects/MIMO/index.html

Caracterele generate, care pot fi de asemenea surse din cadrele videoclipurilor și în diverse alte moduri, pot fi integrate în imagini reale.

MIMO oferă un sistem nou care generează trei codări discrete, fiecare pentru caracter, scenă și ocluzie (adică, matting, atunci când un obiect sau o persoană trece în fața caracterului reprezentat). Aceste codări sunt integrate la momentul inferenței.

[Faceți clic pe videoclipul de mai jos pentru a-l reda]

MIMO poate înlocui caracterele originale cu caractere fotorealiste sau stilizate care urmează mișcarea din videoclipul țintă. Vedeți site-ul proiectului și videoclipul YouTube însoțitor (încorporat la sfârșitul acestui articol) pentru mai multe exemple și o rezoluție superioară.

Sistemul este antrenat pe modelul Stable Diffusion V1.5, utilizând un set de date personalizat curat de cercetători, și compus în mod egal din videoclipuri reale și simulate.

Marele blocaj al videoclipului de difuzie este stabilitatea temporală, unde conținutul videoclipului fie clipește, fie “evoluează” în moduri care nu sunt dorite pentru reprezentarea consistentă a caracterelor.

MIMO, în schimb, utilizează în mod eficient o singură imagine ca o hartă pentru îndrumarea consistentă, care poate fi orchestrată și constrânsă de modelul CGI SMPL interstițial.

Deoarece referința sursă este consistentă, iar modelul de bază pe care este antrenat sistemul a fost îmbunătățit cu exemple de mișcare adecvate, capacitățile sistemului pentru ieșire temporală consistentă sunt mult peste standardul general pentru avatare de difuzie.

[Faceți clic pe videoclipul de mai jos pentru a-l reda]

Exemple suplimentare de caractere MIMO conduse de poziție. Vedeți site-ul proiectului și videoclipul YouTube însoțitor (încorporat la sfârșitul acestui articol) pentru mai multe exemple și o rezoluție superioară.

Este din ce în ce mai frecvent ca imagini unice să fie utilizate ca sursă pentru reprezentări neurale eficiente, fie singure, fie într-un mod multimodal, combinate cu prompturi de text. De exemplu, sistemul popular LivePortrait de transfer facial poate genera fețe deepfake foarte plauzibile de la o singură imagine a feței.

Cercetătorii cred că principiile utilizate în sistemul MIMO pot fi extinse în alte sisteme și cadre generative noi.

Articolul nou se numește MIMO: Sinteză de caractere video controlabile cu modelare spațială descompusă și provine de la patru cercetători de la Institutul pentru Calcul Intelligent al grupului Alibaba. Lucrarea are o pagină de proiect încărcată cu videoclipuri și un videoclip YouTube însoțitor, care este de asemenea încorporat la sfârșitul acestui articol.

Metodă

MIMO realizează separarea automată și nesupravegheată a celor trei componente spațiale menționate, într-o arhitectură de capăt la capăt (adică, toate subprocessurile sunt integrate în sistem, iar utilizatorul trebuie doar să furnizeze materialul de intrare).

Schema conceptuală pentru MIMO. Sursă: https://arxiv.org/pdf/2409.16160

Obiectele din videoclipurile sursă sunt traduse din 2D în 3D, inițial utilizând estimatorul de adâncime monocular Depth Anything. Elementul uman din orice cadru este extras cu metode adaptate din proiectul Tune-A-Video.

Aceste caracteristici sunt apoi traduse în fețe volumetrice bazate pe videoclip prin arhitectura Segment Anything 2 a Facebook Research.

Stratul scenei în sine este obținut prin îndepărtarea obiectelor detectate în celelalte două straturi, oferind în mod eficient o mască de tip rotoscop automat.

Pentru mișcare, un set de coduri latente extrase pentru elementul uman sunt ancorate la un model CGI SMPL uman implicit, ale cărui mișcări oferă contextul pentru conținutul uman redat.

O hartă de caracteristici 2D pentru conținutul uman este obținută printr-un rasterizator diferențial derivat dintr-o inițiativă din 2020 de la NVIDIA. Combinând datele 3D obținute din SMPL cu datele 2D obținute prin metoda NVIDIA, codurile latente care reprezintă “persoana neurală” au o corespondență solidă cu contextul lor eventual.

În acest moment, este necesar să se stabilească o referință comună necesară în arhitecturile care utilizează SMPL – o poziție canonică. Acesta este în general similar cu “omul vitruvian” al lui Da Vinci, întrucât reprezintă un șablon de poziție zero care poate accepta conținut și apoi fi deformat, aducând conținutul (efectiv) texturat împreună cu el.

Aceste deformări, sau “abateri de la normă”, reprezintă mișcarea umană, în timp ce modelul SMPL păstrează codurile latente care constituie identitatea umană extrasă și, prin urmare, reprezintă avatarul rezultat corect în ceea ce privește poziția și textura.

Un exemplu de poziție canonică într-o figură SMPL. Sursă: https://www.researchgate.net/figure/Layout-of-23-joints-in-the-SMPL-models_fig2_351179264

În ceea ce privește problema încurcăturii (gradul în care datele antrenate pot deveni inflexibile atunci când le întindeți dincolo de limitele și asocierile lor antrenate), autorii afirmă*:

‘Pentru a dezlega complet apariția de la cadrele de videoclip poziționate, o soluție ideală este să învățați reprezentarea umană dinamică din videoclipul monocular și să o transformați din spațiul poziționat în spațiul canonic.

‘Luând în considerare eficiența, folosim o metodă simplificată care transformă direct imaginea umană poziționată în rezultatul canonic standard în poziție A, utilizând un model de repozitionare uman preantrenat. Imaginea de apariție canonică sintetizată este alimentată cu codificatoare de identitate pentru a obține codul [de identitate].

‘Acest design simplu permite dezlegarea completă a atributelor de identitate și mișcare. Urmând [Animate Anyone], codificatoarele de identitate includ un codificator de imagine CLIP și o arhitectură de rețea de referință pentru a încorpora caracteristicile globale și locale [respectiv].’

Pentru aspectele scenei și ocluziei, se utilizează un Autoencoder Variational (VAE – în acest caz derivat dintr-o publicație din 2013) partajat și fix pentru a încorpora elementele scenei și ocluziei în spațiul latent. Inconsecvențele sunt gestionate prin metoda de împăiere din proiectul ProPainter din 2023.

Odată asamblate și retușate în acest mod, atât fundalul, cât și orice obiecte care ocluzează în videoclip vor oferi o mască pentru avatarul uman în mișcare.

Aceste atribute descompuse sunt apoi introduse într-o arhitectură U-Net bazată pe arhitectura Stable Diffusion V1.5. Codul de scenă complet este concatenat cu zgomotul latent nativ al sistemului. Componenta umană este integrată prin atentie proprie și straturi de atenție încrucișată, respectiv.

Apoi, rezultatul curățat este ieșit prin decodificatorul VAE.

Date și teste

Pentru antrenare, cercetătorii au creat un set de date video umane intitulat HUD-7K, care a constat din 5.000 de videoclipuri cu caractere reale și 2.000 de animații sintetice create de sistemul En3D. Videoclipurile reale nu au necesitat nicio anotare, din cauza naturii ne-semantice a procedurilor de extragere a figurilor din arhitectura MIMO. Datele sintetice au fost complet anotate.

Modelul a fost antrenat pe opt GPU-uri NVIDIA A100 (deși articolul nu specifică dacă acestea au fost modelele de 40 GB sau 80 GB VRAM), timp de 50 de iterații, utilizând 24 de cadre de videoclip și o dimensiune de lot de patru, până la convergență.

Modulul de mișcare pentru sistem a fost antrenat pe greutățile AnimateDiff. În timpul procesului de antrenare, greutățile codificatorului VAE și ale codificatorului de imagine CLIP au fost înghețate (în contrast cu reglarea fină completă, care va avea un efect mult mai larg asupra unui model de bază).

Deși MIMO nu a fost testat împotriva sistemelor analoge, cercetătorii l-au testat pe secvențe de mișcare dificile din afara distribuției, sursă din AMASS și Mixamo. Aceste mișcări au inclus urcarea, jocul și dansul.

De asemenea, au testat sistemul pe videoclipuri umane din sălbăticie. În ambele cazuri, articolul raportează “robusteză ridicată” pentru aceste mișcări 3D nevizionate, din perspective diferite.

Deși articolul oferă multiple rezultate statice de imagine care demonstrează eficacitatea sistemului, performanța reală a MIMO este evaluată cel mai bine cu rezultatele video extinse furnizate pe pagina proiectului și în videoclipul YouTube încorporat mai jos (din care videoclipurile de la începutul acestui articol au fost derivate).

Autorii concluzionează:

‘Rezultatele experimentale [demonstrează] că metoda noastră permite nu numai controlul flexibil al caracterului, mișcării și scenei, ci și o scalabilitate avansată la caractere arbitrare, generalitate la mișcări 3D noi și aplicabilitate la scene interactive.

‘De asemenea, [credem] că soluția noastră, care ia în considerare natura inerentă 3D și încorporează automat videoclipul 2D în componente spațiale ierarhice, ar putea inspira cercetări viitoare pentru sinteza video 3D conștientă.

‘Mai mult, cadrul nostru nu este doar bine adaptat pentru a genera videoclipuri cu caractere, ci poate fi de asemenea adaptat potențial la alte sarcini de sinteză video controlabile.’

Concluzie

Este reconfortant să vedem un sistem de avatare bazat pe Stable Diffusion care pare capabil de o asemenea stabilitate temporală – nu în ultimul rând pentru că Avatarele Gaussian par să câștige teren în acest sector de cercetare particular.

Avatarele stilizate reprezentate în rezultate sunt eficiente, iar nivelul de fotorealism pe care MIMO îl poate produce nu este în prezent egal cu ceea ce este capabil Gaussian Splatting, dar avantajele diverse ale creării unor oameni temporali consistenți într-o rețea de difuzie latentă semantică (LDM) sunt considerabile.

* Conversia mea a citărilor inline ale autorilor în legături hipertext și, după caz, legături hipertext explicative externe.

Publicat pentru prima dată miercuri, 25 septembrie 2024