Generarea de videoclipuri AI de calitate superioară din doar două imagini

Interpolarea cadrelor video (VFI) este o problemă deschisă în cercetarea video generativă. Provocarea constă în generarea de cadre intermediare între două cadre existente într-o secvență de videoclip.

Click pentru a juca. Cadrul FILM, o colaborare între Google și Universitatea din Washington, a propus o metodă eficientă de interpolare a cadrelor care rămâne populară în domeniul hobby și profesional. În stânga, putem vedea cele două cadre separate și distincte suprapuse; în mijloc, “cadru final”; și în dreapta, sinteza finală între cadre. Surse: https://film-net.github.io/ și https://arxiv.org/pdf/2202.04901

În general, această tehnică datează de peste un secol și a fost utilizată în animarea tradițională de atunci. În acest context, “cadrele cheie” master ar fi generate de un artist principal de animație, în timp ce munca de “între cadre” ar fi efectuată de alți angajați, ca o sarcină mai puțin importantă.

Înainte de apariția inteligenței artificiale generative, interpolarea cadrelor a fost utilizată în proiecte precum Estimarea fluxului intermediar în timp real (RIFE), Interpolarea cadrelor video conștientă de adâncime (DAIN) și Interpolarea cadrelor pentru mișcări mari (FILM – vezi mai sus) pentru scopuri de creștere a frecvenței cadrelor unui videoclip existent sau pentru a permite efecte de încetinire artificială. Acest lucru se realizează prin împărțirea cadrelor existente ale unui clip și generarea de cadre intermediare estimate.

VFI este utilizată și în dezvoltarea de coduri video mai bune și, în general, în sisteme bazate pe flux optic (inclusiv sisteme generative), care utilizează cunoașterea avansată a cadrelor cheie viitoare pentru a optimiza și a modela conținutul interstițial care le precede.

Cadre finale în sistemele video generative

Sistemele generative moderne, cum ar fi Luma și Kling, permit utilizatorilor să specifice un cadru de start și un cadru de sfârșit și pot efectua această sarcină prin analizarea punctelor cheie din cele două imagini și estimarea unei traiectorii între cele două imagini.

Putem vedea în exemplele de mai jos că furnizarea unui “cadru de închidere” permite sistemului generativ de videoclip (în acest caz, Kling) să mențină aspecte precum identitatea, chiar dacă rezultatele nu sunt perfecte (în special cu mișcări mari).

Click pentru a juca. Kling este unul dintre numeroasele generatoare de videoclipuri, inclusiv Runway și Luma, care permit utilizatorului să specifice un cadru de sfârșit. În majoritatea cazurilor, mișcarea minimă va conduce la rezultatele cele mai realiste și mai puțin defectuoase. Sursă: https://www.youtube.com/watch?v=8oylqODAaH8

În exemplul de mai sus, identitatea persoanei este consistentă între cele două cadre cheie furnizate de utilizator, conducând la o generare de videoclip relativ consistentă.

În cazul în care numai cadru de start este furnizat, fereastra de atenție a sistemului generativ nu este de obicei suficient de mare pentru a “memora” cum arăta persoana la începutul videoclipului. Mai degrabă, identitatea este probabil să se schimbe puțin cu fiecare cadru, până când orice asemănare este pierdută. În exemplul de mai jos, o imagine de start a fost încărcată, iar mișcarea persoanei a fost ghidată de un prompt de text:

Click pentru a juca. Cu un cadru de sfârșit, Kling are doar un grup mic de cadre imediat anterioare pentru a ghida generarea de cadre următoare. În cazurile în care orice mișcare semnificativă este necesară, această atrofie a identității devine severă.

Putem vedea că asemănarea actorului nu este rezilientă la instrucțiuni, deoarece sistemul generativ nu știe cum arăta el dacă ar fi zâmbit, și el nu zâmbește în imaginea de sămânță (singura referință disponibilă).

Majoritatea clipurilor generative virale sunt atent selectate pentru a sublinia aceste limitări. Cu toate acestea, progresul sistemelor generative de videoclip temporal consistente poate depinde de noi dezvoltări din sectorul de cercetare în ceea ce privește interpolarea cadrelor, deoarece singura alternativă posibilă este dependența de CGI tradițională ca videoclip “ghid” (și chiar în acest caz, consistența texturii și a iluminării este în prezent dificil de realizat).

În plus, natura lent-iterativă a derivării unui nou cadru dintr-un grup mic de cadre recente face foarte dificilă realizarea unor mișcări mari și îndrăznețe. Acest lucru se datorează faptului că un obiect care se mișcă rapid pe un cadru poate trece de la o parte la alta a cadrului în spațiul unui singur cadru, contrar mișcărilor mai graduale pe care sistemul a fost probabil antrenat.

În mod similar, o schimbare semnificativă și îndrăzneață a poziției poate duce nu numai la o schimbare a identității, ci și la incongruențe vii:

Click pentru a juca. În acest exemplu din Luma, mișcarea solicitată nu pare să fie bine reprezentată în datele de antrenament.

Framer

Acest lucru ne conduce la un articol recent și interesant din China, care susține că a atins un nou nivel de performanță în interpolarea cadrelor autentice – și care este primul de acest fel care oferă interacțiune cu utilizatorul bazată pe tragere.

Framer permite utilizatorului să direcționeze mișcarea utilizând o interfață intuitivă bazată pe tragere, deși are și un mod “automat”. Sursă: https://www.youtube.com/watch?v=4MPGKgn7jRc

Aplicațiile centrate pe tragere au devenit frecvente în literatura de curând, pe măsură ce sectorul de cercetare se luptă pentru a oferi instrumente pentru sistemele generative care nu se bazează pe rezultatele destul de crude obținute prin prompturi de text.

Noul sistem, intitulat Framer, nu numai că poate urma tragerea ghidată de utilizator, dar are și un mod “pilot automat” mai convențional. Pe lângă tweeningul convențional, sistemul este capabil să producă simulări cu timp lânced, precum și morphing și vedere nouă a imaginii de intrare.

Cadre intermediare generate pentru o simulare cu timp lânced în Framer. Sursă: https://arxiv.org/pdf/2410.18978

În ceea ce privește producerea de vedere nouă, Framer se suprapune puțin cu teritoriul câmpurilor de radianță neuronale (NeRF) – deși necesită doar două imagini, în timp ce NeRF necesită de obicei șase sau mai multe vederi de imagine de intrare.

În testele efectuate, Framer, care se bazează pe modelul de difuzie video stabilă de la Stability.ai, a reușit să depășească abordările rivale aproximative, într-un studiu cu utilizatorii.

La momentul scrierii, codul este programat să fie lansat pe GitHub. Mostre de videoclip (din care imaginile de mai sus sunt derivate) sunt disponibile pe site-ul proiectului, iar cercetătorii au lansat și un videoclip pe YouTube.

Articolul nou se intitulează Framer: Interpolare de cadre interactivă și provine de la nouă cercetători de la Universitatea Zhejiang și Grupul Ant, sprijinit de Alibaba.

Metodă

Framer utilizează interpolarea bazată pe puncte cheie în oricare dintre cele două moduri, în care imaginea de intrare este evaluată pentru topologia de bază, iar punctele “mobile” sunt atribuite acolo unde este necesar. În esență, aceste puncte sunt echivalente cu reperele faciale din sistemele bazate pe ID, dar se generalizează la orice suprafață.

Cercetătorii au ajustat Difuzia video stabilă (SVD) pe setul de date OpenVid-1M, adăugând o capacitate suplimentară de sinteză a ultimului cadru. Acest lucru facilitează un mecanism de control al traiectoriei (în partea dreaptă sus a schemei de imagine de mai jos) care poate evalua o traiectorie către cadru final (sau înapoi de la el).

Schema pentru Framer.

În ceea ce privește adăugarea condiționării cadrului final, autorii declară:

‘Pentru a păstra cât mai mult posibil prioritatea vizuală a SVD preantrenat, urmăm paradigma de condiționare a SVD și injectăm condiții de cadru final în spațiul latent și spațiul semantic, respectiv.

‘În mod specific, concatenăm caracteristica latentă VAE a primului cadru cu caracteristica latentă zgomotoasă a primului cadru, așa cum s-a făcut în SVD. În plus, concatenăm caracteristica latentă a ultimului cadru, zn, cu caracteristica latentă zgomotoasă a cadrului final, considerând că condițiile și caracteristicile latente zgomotoase corespunzătoare sunt aliniate spațial.

‘În plus, extragem încorporarea imaginii CLIP a primului și ultimului cadru separat și le concatenăm pentru injecția caracteristicii de atenție încrucișată.’

Pentru funcționalitatea bazată pe tragere, modulul de traiectorie utilizează framework-ul condus de Meta Ai CoTracker, care evaluează multiple traiectorii posibile înainte. Acestea sunt reduse la 1-10 traiectorii posibile.

Coordonatele punctelor obținute sunt apoi transformate printr-o metodă inspirată de arhitecturile DragNUWA și DragAnything. Acest lucru obține o hartă de căldură Gaussiană, care individualizează zonele țintă pentru mișcare.

Ulterior, datele sunt alimentate mecanismelor de condiționare ale ControlNet, un sistem auxiliar de conformitate, inițial proiectat pentru Difuzia stabilă, și de atunci adaptat pentru alte arhitecturi.

Pentru modul “pilot automat”, împerecherea caracteristicilor se realizează inițial prin SIFT, care interpretează o traiectorie care poate fi apoi transmisă unui mecanism de actualizare automată inspirat de DragGAN și DragDiffusion.

Schema pentru estimarea traiectoriei punctului în Framer.

Date și teste

Pentru ajustarea Framer, atenția spațială și blocurile reziduale au fost înghețate, iar numai straturile de atenție temporală și blocurile reziduale au fost afectate.

Modelul a fost antrenat timp de 10.000 de iterații sub AdamW, la o rată de învățare de 1e-4 și o dimensiune a lotului de 16. Antrenamentul a avut loc pe 16 GPU-uri NVIDIA A100.

Deoarece abordările anterioare ale problemei nu oferă editare bazată pe tragere, cercetătorii au ales să compare modul “pilot automat” al Framer cu funcționalitatea standard a abordărilor mai vechi.

Framework-urile testate pentru categoria sistemelor de generare de videoclip bazate pe difuzie au fost LDMVFI; Dynamic Crafter; și SVDKFI. Pentru sistemele video “tradiționale”, framework-urile rivale au fost AMT; RIFE; FLAVR; și FILM menționat mai sus.

În plus față de studiul cu utilizatorii, testele au fost efectuate pe seturile de date DAVIS și UCF101.

Testele calitative pot fi evaluate numai de către facultățile obiective ale echipei de cercetare și de către studiile cu utilizatorii. Cu toate acestea, articolul menționează că metricile tradiționale cantitative sunt în mare măsură nepotrivite pentru propunerea de față:

‘Metricile de reconstrucție, cum ar fi PSNR, SSIM și LPIPS, nu reușesc să capteze calitatea cadrelor interpolate cu acuratețe, deoarece ele penalizează alte rezultate plauzibile de interpolare care nu sunt aliniate cu pixelii cu videoclipul original.

‘În timp ce metricile de generare, cum ar fi FID, oferă o anumită îmbunătățire, ele sunt încă insuficiente, deoarece nu iau în considerare consistența temporală și evaluează cadrele în izolare.’

Cu toate acestea, cercetătorii au efectuat teste calitative cu mai multe metrici populare:

Rezultate cantitative pentru Framer versus sisteme rivale.

Autorii menționează că, în ciuda faptului că aveau șanse împotriva lor, Framer obține totuși cel mai bun scor FVD dintre metodele testate.

Mai jos sunt prezentate rezultatele calitative ale articolului pentru o comparație calitativă:

Comparație calitativă cu abordări anterioare. Vă rugăm să consultați articolul pentru o rezoluție mai bună, precum și rezultate video la https://www.youtube.com/watch?v=4MPGKgn7jRc.

Autorii menționează:

‘Metoda noastră produce texte și mișcări naturale semnificativ mai clare în comparație cu tehnicile de interpolare existente. Funcționează deosebit de bine în scenarii cu diferențe semnificative între cadrele de intrare, unde metodele tradiționale adesea nu reușesc să interpoleze conținutul cu acuratețe.

‘În comparație cu alte metode bazate pe difuzie, cum ar fi LDMVFI și SVDKFI, Framer demonstrează o adaptabilitate superioară la cazuri dificile și oferă un control mai bun.’

Pentru studiul cu utilizatorii, cercetătorii au adunat 20 de participanți, care au evaluat 100 de rezultate video în ordine aleatorie din metodele testate. Astfel, au fost obținute 1000 de evaluări, care au evaluat ofertele “cele mai realiste”:

Rezultate din studiul cu utilizatorii.

Putem vedea din graficul de mai sus că utilizatorii au preferat în mod covârșitor rezultatele de la Framer.

Videoclipul însoțitor de pe YouTube al proiectului prezintă unele dintre utilizările potențiale ale Framer, inclusiv morphing și interpolare între cadre pentru desene animate – unde a început întregul concept.

Concluzie

Este greu de supraestimat cât de importantă este această provocare în prezent pentru sarcina de generare de videoclipuri bazate pe IA. Până în prezent, soluții mai vechi, cum ar fi FILM și EbSynth (non-IA), au fost utilizate de comunitățile amatorilor și profesioniștilor pentru tweening între cadre; dar aceste soluții vin cu limitări notabile.

Deoarece exemplele oficiale de videoclipuri pentru noi cadre T2V sunt selectate în mod necinstit, există o concepție greșită larg răspândită în rândul publicului că sistemele de învățare automată pot infera cu acuratețe geometria în mișcare fără a recurge la mecanisme de ghidare, cum ar fi modelele 3D morphabile (3DMM) sau alte abordări auxiliare, cum ar fi LoRAs.

Pentru a fi sincer, tweeningul în sine, chiar dacă ar putea fi executat perfect, nu reprezintă decât o “soluție” sau o “șmecherie” pentru această problemă. Cu toate acestea, deoarece adesea este mai ușor să produci două imagini de cadre bine aliniate decât să efectuezi ghidarea prin prompturi de text sau prin gama actuală de alternative, este bine să vedem progresul iterativ pe o versiune bazată pe IA a acestei metode mai vechi.

Publicat pentru prima dată marți, 29 octombrie 2024