Inteligența Artificială Generativă a fost o forță motrice în comunitatea de inteligență artificială de ceva timp, iar progresele realizate în domeniul modelării imaginilor generative, în special cu ajutorul modelelor de difuzie, au ajutat modelele video generative să progreseze semnificativ nu numai în cercetare, ci și în ceea ce privește aplicațiile din lumea reală. În mod convențional, modelele video generative sunt antrenate de la zero sau sunt parțial sau complet ajustate de la modele de imagine preantrenate cu straturi temporale suplimentare, pe un amestec de seturi de date de imagini și videoclipuri.

Continuând progresele realizate în modelele video generative, în acest articol, vom discuta despre Modelul de Difuzie Video Stabilă, un model de difuzie video latentă capabil să genereze conținut video de înaltă rezoluție, de ultimă generație, de la imagine la video și de la text la video. Vom discuta despre modul în care modelele de difuzie latentă antrenate pentru sintetizarea imaginilor 2D au îmbunătățit capacitățile și eficiența modelelor video generative prin adăugarea de straturi temporale și ajustarea modelelor pe seturi de date mici care conțin videoclipuri de înaltă calitate. Vom avea o analiză mai profundă a arhitecturii și funcționării Modelului de Difuzie Video Stabilă și vom evalua performanța sa pe diverse metrice și o vom compara cu cadrele actuale de ultimă generație pentru generarea de videoclipuri. Așadar, să începem.

Modelul de Difuzie Video Stabilă și Modelele Video Generative: O Introducere

Datorită potențialului său aproape nelimitat, Inteligența Artificială Generativă a fost subiectul principal de cercetare pentru practicienii de inteligență artificială și învățare automată de ceva timp, iar ultimii ani au văzut progrese rapide atât în ceea ce privește eficiența, cât și performanța modelelor de imagine generative. Învățămintele din modelele de imagine generative au permis cercetătorilor și dezvoltatorilor să progreseze în ceea ce privește modelele video generative, ceea ce a dus la o practicabilitate și aplicații din lumea reală îmbunătățite. Cu toate acestea, majoritatea cercetărilor care încearcă să îmbunătățească capacitățile modelelor video generative se concentrează în principal pe aranjamentul exact al stratului temporal și spațial, cu puțină atenție acordată pentru a investiga influența selectării datelor asupra rezultatului acestor modele generative.

Datorită progresului realizat de modelele de imagine generative, cercetătorii au observat că impactul distribuției datelor de antrenare asupra performanței modelelor generative este într-adevăr semnificativ și incontestabil. Mai mult, cercetătorii au observat, de asemenea, că preantrenarea unui model de imagine generativ pe un set de date mare și divers, urmată de ajustarea sa pe un set de date mai mic și de calitate superioară, adesea duce la îmbunătățirea semnificativă a performanței. În mod tradițional, modelele video generative implementează învățămintele obținute din modelele de imagine generative de succes, iar cercetătorii încă nu au studiat efectul datelor și strategiilor de antrenare. Modelul de Difuzie Video Stabilă este o încercare de a îmbunătăți capacitățile modelelor video generative prin explorarea unor teritorii neexplorate anterior, cu accent special pe selectarea datelor.

Modelele video generative recente se bazează pe modele de difuzie și pe condiționarea prin text sau imagini pentru a sintetiza mai multe cadre video ori imagini coerente. Modelele de difuzie pot învăța să elimine treptat zgomotul dintr-un eșantion provenit dintr-o distribuție normală, printr-un proces iterativ de rafinare. Ele au obținut rezultate bune pentru videoclipuri de înaltă rezoluție și pentru sinteza imaginilor din text. Pornind de la același principiu, Stable Video Diffusion antrenează un model de difuzie video latentă pe un set de date video, alături de utilizarea rețelelor generative adversariale, numite GAN, și, într-o anumită măsură, a modelelor autoregresive.

Stable Video Diffusion urmează o strategie distinctă: pornește de la modele de referință de difuzie video latentă cu o arhitectură fixă și o strategie de antrenare fixă, apoi evaluează efectul selecției și pregătirii datelor. Modelul urmărește trei contribuții în domeniul modelării video generative:

1. Prezentarea unui flux sistematic și eficient de selecție și pregătire a datelor, pentru a transforma o colecție mare de eșantioane video nesortate într-un set de date de înaltă calitate, utilizabil de modelele video generative.
2. Antrenarea unor modele de ultimă generație pentru transformarea imaginilor în videoclipuri și a textului în videoclipuri, care să depășească modelele existente.
3. Realizarea unor experimente specifice anumitor domenii, pentru a investiga înțelegerea 3D și cunoștințele anterioare solide ale modelului despre mișcare.

La baza Stable Video Diffusion se află rezultatele obținute cu modelele de difuzie video latentă și tehnicile de selecție și pregătire a datelor.

Modele de difuzie video latentă

Modelele de difuzie video latentă, sau Video-LDM, antrenează modelul generativ principal într-un spațiu latent, cu o complexitate de calcul redusă. Majoritatea folosesc un model preantrenat pentru generarea imaginilor din text, la a cărui arhitectură se adaugă straturi de combinare temporală. Prin urmare, multe modele Video-LDM antrenează numai straturile temporale sau omit complet procesul de antrenare, spre deosebire de Stable Video Diffusion, care ajustează întregul model. Pentru sinteza videoclipurilor din text, Stable Video Diffusion se condiționează direct pe o instrucțiune textuală. Rezultatele arată că modelul obținut poate fi ajustat cu ușurință pentru sinteza mai multor perspective sau pentru generarea videoclipurilor pornind de la imagini.

Selecția și pregătirea datelor

Selecția și pregătirea datelor sunt esențiale atât pentru Stable Video Diffusion, cât și pentru modelele generative în general. Preantrenarea modelelor mari pe seturi de date ample îmbunătățește performanța în sarcini precum modelarea limbajului sau generarea imaginilor din text. Această abordare a fost folosită cu succes pentru modelele de imagini generative, prin valorificarea reprezentărilor eficiente ale limbajului și imaginilor, însă nu a primit aceeași atenție în dezvoltarea modelelor video generative. Pentru a depăși dificultățile selecției datelor video, Stable Video Diffusion folosește o strategie de antrenare în trei etape, care îmbunătățește rezultatele și performanța.

Pregătirea datelor pentru sinteza video de înaltă calitate

Prima etapă este preantrenarea pe imagini, care folosește un model de difuzie 2D pentru generarea imaginilor din text. A doua etapă este preantrenarea pe videoclipuri, în care modelul este antrenat pe un volum mare de date video. În a treia etapă, ajustarea fină pe videoclipuri, modelul este rafinat pe un subset mic de videoclipuri de înaltă calitate și rezoluție.

Înainte de aceste trei etape, datele trebuie procesate și adnotate. Ele constituie baza preantrenării video din etapa a doua și sunt esențiale pentru obținerea unor rezultate optime. Pentru eficiență maximă, sistemul aplică mai întâi un flux în cascadă pentru detectarea schimbărilor de cadru, la trei valori diferite ale numărului de cadre pe secundă, sau FPS. Imaginea următoare ilustrează necesitatea acestui flux.

Apoi, Stable Video Diffusion adnotează fiecare clip folosind trei metode diferite de generare sintetică a descrierilor. Tabelul următor compară seturile de date folosite înainte și după filtrare.

Etapa I: Preantrenarea pe imagini

În prima etapă, modelul pornește de la un model de difuzie pentru imagini deja preantrenat, Stable Diffusion 2.1, care îi oferă reprezentări vizuale mai puternice.

Etapa II: Preantrenarea pe videoclipuri

A doua etapă pornește de la constatarea că selecția și pregătirea datelor pentru modelele multimodale de imagini generative îmbunătățesc rezultatele, eficiența și capacitatea de generare a imaginilor. În lipsa unor reprezentări disponibile, la fel de puternice, pentru filtrarea eșantioanelor video nedorite, Stable Video Diffusion folosește preferințele umane drept semnale pentru construirea setului de date de preantrenare. Figura următoare ilustrează efectul pozitiv al preantrenării pe un set de date pregătit atent, care îmbunătățește performanța preantrenării video pe seturi mai mici.

Mai precis, sistemul folosește metode diferite pentru a selecta subseturi din Latent Video Diffusion și compară clasamentele modelelor LVD antrenate pe acestea. Rezultatele arată că folosirea unor seturi de date atent pregătite îmbunătățește performanța sistemului și a modelelor de difuzie în general. Strategia funcționează și pentru seturi de date mai mari, mai relevante și utile în practică. Figura următoare arată efectul pozitiv al acestei preantrenări asupra performanței ulterioare pe seturi video mai mici.

Etapa III: Ajustarea fină de înaltă calitate

Până la etapa a doua, Stable Video Diffusion urmărește îmbunătățirea performanței înainte de preantrenarea video. În a treia etapă, accentul cade pe optimizarea performanței după ajustarea fină pe videoclipuri de înaltă calitate și pe tranziția dintre cele două etape. Sistemul preia tehnici de antrenare de la modelele de difuzie latentă pentru imagini și mărește rezoluția exemplelor de antrenare. Pentru a evalua această abordare, sunt comparate trei modele identice care diferă numai prin inițializare. Primul model are ponderile inițializate, dar omite antrenarea video; celelalte două sunt inițializate cu ponderi preluate de la alte modele video latente.

Rezultate și constatări

Să vedem cum se comportă Stable Video Diffusion în sarcini reale și cum se compară cu modelele de ultimă generație. Mai întâi, sistemul folosește abordarea optimă privind datele pentru a antrena un model de bază. Acesta este apoi ajustat pentru a produce mai multe modele de ultimă generație, fiecare destinat unei anumite sarcini.

Imaginea de mai sus prezintă exemple de videoclipuri de înaltă rezoluție generate din imagini. Figura următoare demonstrează capacitatea sistemului de a genera videoclipuri de înaltă calitate pornind de la text.

Modelul de bază preantrenat

Stable Video Diffusion este construit pe Stable Diffusion 2.1. Rezultatele recente au arătat că, pentru a obține imagini cu rezoluție mai bună la antrenarea modelelor de difuzie pentru imagini, era importantă adaptarea programului de zgomot și creșterea nivelului acestuia. Prin această abordare, modelul de bază învață reprezentări puternice ale mișcării și depășește modelele de referință pentru generarea videoclipurilor din text, fără exemple de antrenare specifice sarcinii, în regim zero-shot. Rezultatele sunt prezentate în tabelul următor.

Interpolarea cadrelor și generarea mai multor perspective

Sistemul ajustează modelul de generare video din imagini pe seturi de date cu perspective multiple, pentru a obține noi vederi ale unui obiect. Modelul rezultat se numește SVD-MV, sau Stable Video Diffusion – Multi View. Modelul SVD original este ajustat cu ajutorul a două seturi de date, astfel încât să primească o singură imagine și să returneze o secvență de imagini din perspective diferite.

După cum arată imaginile următoare, Stable Video Diffusion Multi View obține o performanță comparabilă cu sistemul de ultimă generație Scratch Multi View. Rezultatele demonstrează că SVD-MV valorifică ceea ce a învățat modelul SVD original pentru a genera imagini din mai multe perspective. De asemenea, un număr relativ mic de iterații poate produce rezultate optime, așa cum se întâmplă cu majoritatea modelelor ajustate pornind de la SVD.

În figura de mai sus, valorile indicatorilor sunt afișate în partea stângă. Stable Video Diffusion Multi View depășește cu o marjă clară modelele Scratch-MV și SD2.1 Multi-View. A doua imagine prezintă efectul numărului de iterații de antrenare asupra performanței generale, măsurată prin CLIP Score; modelele SVD-MV oferă rezultate stabile.

Concluzii

În acest articol am analizat Stable Video Diffusion, un model de difuzie video latentă capabil să genereze conținut video de înaltă rezoluție din imagini și din text. Strategia sa distinctă pornește de la modele de referință de difuzie video latentă, cu o arhitectură și o strategie de antrenare fixe, apoi evaluează impactul selecției și pregătirii datelor.

Am explicat cum modelele de difuzie latentă antrenate pentru sinteza imaginilor 2D îmbunătățesc capacitățile și eficiența modelelor video generative, prin adăugarea straturilor temporale și ajustarea pe seturi mici de videoclipuri de înaltă calitate. Pentru a aduna datele de preantrenare, sistemul studiază efectele scalării și aplică practici sistematice de colectare. În final, propune o metodă de selecție și pregătire a unui volum mare de date video, transformând videoclipurile zgomotoase în date de intrare potrivite pentru modelele generative.

Stable Video Diffusion folosește trei etape distincte de antrenare, analizate separat pentru a evalua influența fiecăreia asupra performanței. Rezultatul este o reprezentare video suficient de puternică pentru ajustarea modelelor în vederea unei sinteze video optime, cu rezultate comparabile cu cele ale modelelor video de ultimă generație deja utilizate.