Spre Control Total în Generarea de Videouri cu Inteligență Artificială

Modelele de fundal video, cum ar fi Hunyuan și Wan 2.1, deși puternice, nu oferă utilizatorilor nivelul de control granular pe care îl cer producțiile de film și televiziune (în special producțiile de efecte vizuale).

În studiourile de efecte vizuale profesionale, modelele deschise, cum ar fi cele menționate anterior, alături de modelele anterioare bazate pe imagini (și nu pe videouri), cum ar fi Stable Diffusion, Kandinsky și Flux, sunt utilizate de obicei împreună cu o serie de unelte de susținere care adaptează ieșirile brute ale acestora pentru a satisface nevoi creative specifice. Când un regizor spune: “Arată bine, dar putem face să arate puțin mai [n]?” nu poți răspunde spunând că modelul nu este suficient de precis pentru a face față unor astfel de solicitări.

În schimb, o echipă de efecte vizuale cu inteligență artificială va utiliza o serie de tehnici tradiționale de CGI și compoziție, aliate cu proceduri și fluxuri de lucru personalizate, dezvoltate în timp, pentru a încerca să extindă limitele sintezei video.

Prin analogie, un model de fundal video este similar cu o instalare implicită a unui browser web, cum ar fi Chrome; face multe lucruri din cutie, dar dacă doriți ca acesta să se adapteze nevoilor dvs., și nu invers, veți avea nevoie de câteva extensii.

Control Freaks

În lumea sintezei de imagini bazate pe difuzie, cel mai important sistem de acest fel este ControlNet.

ControlNet este o tehnică pentru adăugarea de control structurat la modelele generative bazate pe difuzie, permițând utilizatorilor să ghideze generarea de imagini sau videouri cu intrări suplimentare, cum ar fi hărți de margine, hărți de adâncime sau informații de poziție.

Metodele diverse ale ControlNet permit generarea de imagini cu adâncime (rândul superior), segmentare semantică (stânga jos) și generare de imagini ghidate de poziție pentru oameni și animale (stânga jos).

În loc să se bazeze doar pe prompturi text, ControlNet introduce ramuri separate de rețele neuronale, sau adaptori, care procesează aceste semnale de condiționare, păstrând în același timp capacitățile generative ale modelului de bază.

Acest lucru permite ieșiri rafinate care se conformează mai îndeaproape specificațiilor utilizatorului, făcându-l deosebit de util în aplicații în care se cere control precis asupra compoziției, structurii sau mișcării.

Cu o poziție ghidată, pot fi obținute diverse tipuri de ieșiri precise prin ControlNet. Sursă: https://arxiv.org/pdf/2302.05543

Cu toate acestea, cadrele bazate pe adaptori de acest fel funcționează extern pe un set de procese neuronale care sunt foarte focalizate intern. Aceste abordări au mai multe dezavantaje.

În primul rând, adaptori sunt antrenați independent, ceea ce duce la conflicte de ramură atunci când multiple adaptori sunt combinate, ceea ce poate duce la o calitate de generare degradată.

În al doilea rând, introduc redundanță de parametri, necesitând calcul și memorie suplimentară pentru fiecare adaptor, făcând scalarea ineficientă.

În al treilea rând, în ciuda flexibilității lor, adaptori produc adesea rezultate suboptimale comparativ cu modelele care sunt complet finisate pentru generare multi-condiționată. Aceste probleme fac metodele bazate pe adaptori mai puțin eficiente pentru sarcini care necesită integrarea fără probleme a mai multor semnale de control.

În mod ideal, capacitățile ControlNet ar trebui să fie antrenate nativ în model, într-un mod modular care să poată încorpora inovații ulterioare, cum ar fi generarea simultană de videouri și sunete sau capacități native de sincronizare a buzelor (pentru sunete audio externe).

În prezent, fiecare piesă suplimentară de funcționalitate reprezintă fie o sarcină de post-procesare, fie o procedură non-nativă care trebuie să navigheze prin greutățile strâns legate și sensibile ale oricărui model de bază pe care îl utilizează.

FullDiT

În acest context, vine o nouă ofertă din China, care propune un sistem în care măsurile de tip ControlNet sunt încorporate direct într-un model generativ de videouri în timpul antrenării, și nu sunt lăsate ca o gândire ulterioară.

Din noul articol: abordarea FullDiT poate încorpora impunerea identității, adâncimea și mișcarea camerei într-o generație nativă și poate evoca orice combinație a acestor elemente deodată. Sursă: https://arxiv.org/pdf/2503.19907

Denominat FullDiT, noua abordare fuzionează condiții multi-task, cum ar fi transferul de identitate, cartografierea adâncimii și mișcarea camerei, într-o parte integrată a unui model generativ de videouri antrenat, pentru care autorii au creat un model prototip și clipuri video însoțitoare pe un site de proiect.

În exemplul de mai jos, vedem generații care încorporează mișcarea camerei, informații de identitate și informații text (adică, prompturi text ghidate de utilizator):

Click pentru a juca. Exemple de impunere a controlului utilizatorului cu un model de bază nativ antrenat. Sursă: https://fulldit.github.io/

Ar trebui remarcat că autorii nu propun modelul lor experimental antrenat ca model de bază funcțional, ci mai degrabă ca o dovadă a conceptului pentru modelele de videouri generate de la text la videouri (T2V) și de la imagine la videouri (I2V) care oferă utilizatorilor mai mult control decât doar un prompt de imagine sau un prompt de text.

Deoarece nu există modele similare de acest fel, cercetătorii au creat o nouă bază de referință numită FullBench, pentru evaluarea videourilor multi-task, și afirmă că au obținut performanțe de top în testele pe care le-au conceput împotriva abordărilor anterioare. Cu toate acestea, deoarece FullBench a fost proiectat de autorii înșiși, obiectivitatea sa este neatinsă, iar setul de date de 1.400 de cazuri poate fi prea limitat pentru concluzii mai largi.

Probabil cel mai interesant aspect al arhitecturii prezentate în articol este potențialul său de a încorpora noi tipuri de control. Autorii afirmă:

‘În acest studiu, explorăm doar condiții de control ale camerei, identităților și informațiilor de adâncime. Nu am investigat mai departe alte condiții și modalități, cum ar fi sunetul, vorbirea, norul de puncte, cutiile de delimitare a obiectelor, fluxul optic, etc. Deși designul FullDiT poate integra în mod transparent alte modalități cu modificări minime ale arhitecturii, modul în care se pot adapta rapid și eficient modelele existente la noi condiții și modalități rămâne o întrebare importantă care necesită explorare suplimentară.’

Deși cercetătorii prezintă FullDiT ca un pas înainte în generarea de videouri multi-task, ar trebui luat în considerare faptul că această nouă lucrare se bazează pe arhitecturi existente, mai degrabă decât introducând un paradigma fundamental nou.

În orice caz, FullDiT se situează în prezent singur (după cunoștințele mele) ca model de videouri de bază cu facilități de tip ControlNet “încorporate” – și este bine să vedem că arhitectura propusă poate găzdui și inovații ulterioare.

Click pentru a juca. Exemple de mișcări controlate de cameră, de pe site-ul proiectului.

Noul articol, intitulat FullDiT: Model de bază generativ de videouri multi-task cu atenție completă, provine de la nouă cercetători de la Kuaishou Technology și Universitatea Chineză din Hong Kong. Site-ul proiectului este aici, iar noile date de referință se găsesc pe Hugging Face.

Metodă

Autorii susțin că mecanismul de atenție unificat al FullDiT permite o învățare mai puternică a reprezentărilor cross-modale, capturând atât relațiile spațiale, cât și temporale, între condiții:

Conform noului articol, FullDiT integrează multiple condiții de intrare prin atenție completă, convertindu-le într-o secvență unificată. În contrast, modelele bazate pe adaptori (stânga) utilizează module separate pentru fiecare intrare, ducând la redundanță, conflicte și performanță mai slabă.

În contrast cu configurațiile bazate pe adaptori care procesează fiecare flux de intrare separat, această structură de atenție comună evită conflictele de ramură și reduce supărarea parametrilor. Ei afirmă, de asemenea, că arhitectura poate fi extinsă la noi tipuri de intrare fără o redesenare majoră – și că schema modelului arată semne de generalizare la combinații de condiții care nu au fost văzute în timpul antrenării, cum ar fi legarea mișcării camerei de identitatea personajului.

Click pentru a juca. Exemple de generare de identitate de pe site-ul proiectului.

În arhitectura FullDiT, toate intrările condiționale – cum ar fi textul, mișcarea camerei, identitatea și adâncimea – sunt mai întâi convertite într-un format de token unificat. Aceste tokenuri sunt apoi concatenate într-o singură secvență lungă, care este procesată printr-o stivă de transformatori folosind atenție completă. Această abordare urmează lucrări anterioare, cum ar fi Open-Sora Plan și Movie Gen.

Acest design permite modelului să învețe relații temporale și spațiale în mod comun pentru toate condițiile. Fiecare bloc de transformator funcționează peste întreaga secvență, permițând interacțiuni dinamice între modalități fără a se baza pe module separate pentru fiecare intrare – și, așa cum am menționat, arhitectura este proiectată pentru a fi extensibilă, făcându-l mult mai ușor să se incorporeze semnale de control suplimentare în viitor, fără modificări structurale majore.

Puterile Trei

FullDiT convertește fiecare semnal de control într-un format de token standardizat, astfel încât toate condițiile pot fi procesate împreună într-un cadru de atenție unificat. Pentru mișcarea camerei, modelul codifică o secvență de parametri extrinseci – cum ar fi poziția și orientarea – pentru fiecare cadru. Acești parametri sunt marcați cu timp și proiectați în vectori de încorporare care reflectă natura temporală a semnalului.

Informațiile de identitate sunt tratate diferit, deoarece sunt în mod inerent spațiale și nu temporale. Modelul utilizează hărți de identitate care indică care personaje sunt prezente în care părți ale fiecărui cadru. Aceste hărți sunt împărțite în pătrate, cu fiecare pătrat proiectat într-o încorporare care capturează indicii spațiali de identitate, permițând modelului să asocieze regiuni specifice ale cadrului cu entități specifice.

Adâncimea este un semnal spațio-temporal, iar modelul o gestionează prin împărțirea videourilor de adâncime în pătrate 3D care se întind atât în spațiu, cât și în timp. Aceste pătrate sunt apoi încorporate într-un mod care păstrează structura lor de-a lungul cadrului.

Odată încorporate, toate aceste tokenuri de condiție (camera, identitate și adâncime) sunt concatenate într-o singură secvență lungă, permițând FullDiT să le proceseze împreună folosind atenție completă. Această reprezentare comună face posibil ca modelul să învețe interacțiuni între modalități și în timp, fără a se baza pe fluxuri de procesare izolate.

Date și Teste

Abordarea de antrenare a FullDiT s-a bazat pe seturi de date selectiv annotate, adaptate pentru fiecare tip de condiționare, mai degrabă decât a cere ca toate condițiile să fie prezente simultan.

Pentru condiții textuale, inițiativa urmează abordarea de captionare structurată prezentată în proiectul MiraData.

Colectarea și pipeline-ul de annotare a videourilor din proiectul MiraData. Sursă: https://arxiv.org/pdf/2407.06358

Pentru mișcarea camerei, setul de date RealEstate10K a fost principala sursă de date, datorită annotărilor de înaltă calitate ale parametrilor camerei.

Cu toate acestea, autorii au observat că antrenarea exclusiv pe seturi de date statice de cameră, cum ar fi RealEstate10K, a tendința de a reduce mișcările dinamice ale obiectelor și oamenilor în videourile generate. Pentru a contracara acest lucru, au efectuat o etapă suplimentară de finisare folosind seturi de date interne care includeau mișcări de cameră mai dinamice.

Anotările de identitate au fost generate folosind pipeline-ul dezvoltat pentru proiectul ConceptMaster, care a permis filtrarea și extragerea eficientă a informațiilor de identitate fine.

Cadrul ConceptMaster este proiectat pentru a aborda problemele de decuplare a identității, păstrând în același timp fidelitatea conceptului în videourile personalizate. Sursă: https://arxiv.org/pdf/2501.04698

Anotările de adâncime au fost obținute din setul de date Panda-70M folosind Depth Anything.

Optimizarea prin Ordinea Datelor

Autorii au implementat, de asemenea, un program de antrenare progresiv, introducând condiții mai provocatoare mai devreme în antrenare, pentru a se asigura că modelul a dobândit reprezentări robuste înainte de a adăuga sarcini mai simple. Ordinea de antrenare a procedat de la text la camera, apoi identități și, în final, adâncime, cu sarcini mai ușoare introduse, în general, mai târziu și cu mai puține exemple.

Autorii subliniază valoarea ordonării sarcinii de lucru în acest fel:

‘În timpul fazei de pre-antrenare, am observat că sarcinile mai provocatoare necesită timp de antrenare prelungit și ar trebui introduse mai devreme în procesul de învățare. Aceste sarcini provocatoare implică distribuții de date complexe care diferă semnificativ de ieșirea video, necesitând ca modelul să aibă o capacitate suficientă pentru a captura și reprezenta cu acuratețe.’

‘În schimb, introducerea sarcinilor mai ușoare prea devreme poate face ca modelul să prioritizeze învățarea lor mai întâi, deoarece oferă feedback de optimizare imediat, ceea ce poate împiedica convergența sarcinilor mai provocatoare.’

O ilustrare a ordinii de antrenare a datelor adoptate de cercetători, cu roșu indicând un volum mai mare de date.

După pre-antrenarea inițială, o etapă finală de finisare a rafinat modelul pentru a îmbunătăți calitatea vizuală și dinamica mișcării. Ulterior, antrenarea a urmat cea a unui cadru standard de difuzie: zgomot adăugat la latentele video, iar modelul învățând să prevadă și să înlăture, folosind tokenurile de condiție încorporate ca ghidare.

Pentru a evalua eficient FullDiT și a oferi o comparație corectă cu metodele existente, iar în absența oricărei alte referințe potrivite, autorii au introdus FullBench, o suită de referință curatoriată alcătuită din 1.400 de cazuri de test distincte.

O instanță de explorator de date pentru noua bază de referință FullBench. Sursă: https://huggingface.co/datasets/KwaiVGI/FullBench

Fiecare punct de date a oferit anotări de adevăr pentru diverse semnale de condiționare, incluzând mișcarea camerei, identitatea și adâncimea.

Metrici

Autorii au evaluat FullDiT folosind zece metrici care acoperă cinci aspecte principale ale performanței: alinierea textului, controlul camerei, similaritatea identității, acuratețea adâncimii și calitatea generală a videourilor.

Alinierea textului a fost măsurată folosind CLIP similaritate, în timp ce controlul camerei a fost evaluat prin eroarea de rotație (RotErr), eroarea de translație (TransErr) și consistența mișcării camerei (CamMC), urmând abordarea CamI2V (în proiectul CameraCtrl).

Similaritatea identității a fost evaluată folosind DINO-I și CLIP-I, iar acuratețea controlului adâncimii a fost cuantificată folosind Eroarea Medie Absolută (MAE).

Calitatea videourilor a fost judecată cu trei metrici din MiraData: similaritatea CLIP la nivel de cadru pentru netezime; distanța de mișcare bazată pe flux optic pentru dinamică; și punctajele estetice LAION-Aesthetic pentru atracție vizuală.

Antrenare

Autorii au antrenat FullDiT folosind un model de difuzie text-la-videouri intern (nedivulgat) care conține aproximativ un miliard de parametri. Ei au ales intenționat o dimensiune modestă a parametrilor pentru a menține echitatea în comparațiile cu metodele anterioare și pentru a asigura reproducerea.

Deoarece videourile de antrenare diferă în lungime și rezoluție, autorii au standardizat fiecare lot prin redimensionarea și umplerea videourilor la o rezoluție comună, eșantionând 77 de cadre pe secvență și folosind atenție aplicată și măști de pierdere pentru a optimiza eficiența antrenării.

Optimizatorul Adam a fost utilizat la o rată de învățare de 1×10⁻⁵ pe un cluster de 64 de unități GPU NVIDIA H800, pentru un total combinat de 5.120 GB de VRAM (considerând că în comunitățile de sinteză entuziast, 24GB pe un RTX 3090 este încă considerat un standard de lux).

Modelul a fost antrenat pentru aproximativ 32.000 de pași, incluzând până la trei identități pe videoclip, împreună cu 20 de cadre de condiții de cameră și 21 de cadre de condiții de adâncime, toate mostre uniforme din totalul de 77 de cadre.

Pentru inferență, modelul a generat videouri la o rezoluție de 384×672 de pixeli (aproximativ cinci secunde la 15 cadre pe secundă) cu 50 de pași de inferență a difuziei și o scară de ghidare a clasificatorului liber de cinci.

Metode Anterioare

Pentru evaluarea de la cameră la videoclip, autorii au comparat FullDiT cu MotionCtrl, CameraCtrl și CamI2V, toate modelele fiind antrenate folosind setul de date RealEstate10K pentru a asigura coerență și echitate.

În generarea condiționată de identitate, deoarece nu existau modele multi-identitate deschise comparabile, modelul a fost evaluat împotriva modelului ConceptMaster de 1 miliard de parametri, utilizând aceleași date de antrenare și arhitectură.

Pentru sarcinile de la adâncime la videoclip, comparațiile au fost făcute cu Ctrl-Adapter și ControlVideo.

Rezultate cantitative pentru generarea de videoclipuri pentru o singură sarcină. FullDiT a fost comparat cu MotionCtrl, CameraCtrl și CamI2V pentru generarea de la cameră la videoclip; ConceptMaster (versiunea cu 1 miliard de parametri) pentru generarea de la identitate la videoclip; și Ctrl-Adapter și ControlVideo pentru generarea de la adâncime la videoclip.

Rezultatele indică faptul că FullDiT, în ciuda gestionării simultane a mai multor semnale de condiționare, a atins performanțe de top în metrici legate de text, mișcare a camerei, identitate și controlul adâncimii.

În metricile generale de calitate, sistemul a depășit, în general, alte metode, deși netezimea sa a fost puțin mai mică decât a lui ConceptMaster. Aici, autorii comentează:

‘Netezimea FullDiT este puțin mai mică decât a lui ConceptMaster, deoarece calculul netezimii se bazează pe similaritatea CLIP între cadre adiacente. Deoarece FullDiT prezintă dinamici semnificativ mai mari comparativ cu ConceptMaster, metrica de netezime este afectată de variațiile mari între cadrele adiacente.’

‘Pentru punctajul estetic, deoarece modelul de rating favorizează imagini în stil de pictură și ControlVideo generează, de obicei, videoclipuri în acest stil, atinge un punctaj estetic ridicat.’

În ceea ce privește comparația calitativă, ar fi mai bine să se facă referire la videoclipurile de pe site-ul proiectului FullDiT, deoarece exemplele din PDF sunt inevitabil statice (și, de asemenea, prea mari pentru a fi reproduse integral aici).

Prima secțiune a rezultatelor calitative reproduse în PDF. Vă rugăm să consultați articolul sursă pentru exemplele suplimentare, care sunt prea extinse pentru a fi reproduse aici.

Autorii comentează:

‘FullDiT demonstrează o conservare superioară a identității și generează videoclipuri cu dinamici și calitate vizuală mai bune comparativ cu [ConceptMaster]. Deoarece ConceptMaster și FullDiT sunt antrenate pe același model de bază, acest lucru subliniază eficacitatea injectării condițiilor cu atenție completă.’

‘…Rezultatele demonstrează controlabilitatea și calitatea de generare superioară a FullDiT comparativ cu metodele existente de la adâncime la videoclip și de la cameră la videoclip.’

O secțiune a exemplelor din PDF ale ieșirilor FullDiT cu multiple semnale. Vă rugăm să consultați articolul sursă și site-ul proiectului pentru exemple suplimentare.

Concluzie

Deși FullDiT este o încercare interesantă de a crea un model de videouri de bază mai avansat, este inevitabil să ne întrebăm dacă cererea pentru instrumente de tip ControlNet va justifica vreodată implementarea unor astfel de caracteristici la scară, cel puțin pentru proiectele cu sursă deschisă, care ar lupta pentru a obține cantitatea uriașă de putere de procesare necesară, fără sprijin comercial.

Provocarea principală este că utilizarea sistemelor precum Depth și Pose necesită, în general, o familiaritate semnificativă cu interfețe de utilizator relativ complexe, cum ar fi ComfyUI. Prin urmare, pare că un model funcțional de acest fel este cel mai probabil să fie dezvoltat de o serie de companii de efecte vizuale mai mici care nu au banii (sau voința, având în vedere că astfel de sisteme sunt rapid înlocuite de actualizări ale modelului) pentru a curata și antrena un astfel de model în spatele ușilor închise.

Pe de altă parte, sistemele de tip “închiriază-ți-AI” bazate pe API pot fi motivate să dezvolte metode interpretative mai simple și mai prietenoase cu utilizatorul pentru modele în care sistemele de control auxiliare au fost antrenate direct.

Click pentru a juca. Controlul adâncime+text impus asupra unei generații de videoclipuri folosind FullDiT.

* Autorii nu specifică niciun model de bază cunoscut (de exemplu, SDXL, etc.)

Publicat pentru prima dată joi, 27 martie 2025