Punerea în valoare a ‘spațiului dintre’ în videoul generativ

Noi cercetări din China oferă o metodă îmbunătățită de interpolare a spațiului dintre două cadre video temporale distanțate – una dintre cele mai importante provocări în cursa actuală spre realism pentru videoul generativ AI, precum și pentru compresia codec-ului video.

În exemplul de videoclip de mai jos, vedem în coloana din stânga o “pornire” (deasupra în stânga) și o “sfârșit” (jos în stânga) cadru. sarcina pe care sistemele concurente trebuie să o îndeplinească este de a ghici cum subiectul din cele două imagini ar trebui să ajungă de la cadru A la cadru B. În animație, acest proces se numește tweening, și datează din epoca filmului mut.

Apăsați pentru a juca. În prima, cea mai din stânga coloană, vedem cadrul de start și de sfârșit propus. În coloana din mijloc și în partea superioară a celei de a treia (cea mai din dreapta) coloană, vedem trei abordări anterioare ale acestei provocări. În colțul din dreapta jos, vedem că noua metodă obține un rezultat mult mai convingător în furnizarea cadrului intermediar. Sursă: https://fcvg-inbetween.github.io/

Noua metodă propusă de cercetătorii chinezi se numește Generare de videoclip prin condiții cadru cu cadru (FCVG), iar rezultatele sale pot fi văzute în partea inferioară dreapta a videoclipului de mai sus, oferind o tranziție netedă și logică de la un cadru static la altul.

În contrast, putem vedea că unul dintre cele mai celebrate cadre pentru interpolarea video, proiectul Frame Interpolation for Large Motion (FILM) al Google, se luptă, așa cum se luptă multe ieșiri similare, cu interpretarea mișcărilor mari și îndrăznețe.

Alte două cadre rivale vizualizate în videoclip, Fuziunea prin inversarea timpului (TRF) și Interpolarea generativă (GI), oferă o interpretare mai puțin distorsionată, dar au creat mișcări de dans frenetice și chiar comice, niciuna dintre ele nefiind respectuoasă cu logica implicită a celor două cadre furnizate.

Apăsați pentru a juca. Două soluții imperfecte pentru problema tweening. Stânga, FILM tratează cele două cadre ca simple ținte de morfologie. Dreapta, TRF știe că trebuie să insereze o formă de dans, dar vine cu o soluție impracticabilă care demonstrează anomalii anatomice.

Sus-stânga, putem examina mai atent modul în care FILM abordează problema. Deși FILM a fost proiectat pentru a putea gestiona mișcări mari, în contrast cu abordările anterioare bazate pe flux optic, îi lipsește o înțelegere semantică a ceea ce ar trebui să se întâmple între cele două cadre cheie, și pur și simplu efectuează o morfologie de tip 1980/90 între cadre. FILM nu are o arhitectură semantică, cum ar fi un model de difuzie latentă precum Stable Diffusion, pentru a ajuta la crearea unui pod corespunzător între cadre.

La dreapta, în videoclipul de mai sus, vedem efortul TRF, unde Stable Video Diffusion (SVD) este utilizat pentru a ghici mai inteligent cum ar putea fi o mișcare de dans potrivită pentru cele două cadre furnizate de utilizator – dar a făcut o aproximare îndrăzneață și neverosimilă.

FCVG, vizualizat mai jos, face o treabă mai credibilă de a ghici mișcarea și conținutul dintre cele două cadre:

Apăsați pentru a juca. FCVG îmbunătățește abordările anterioare, dar este departe de a fi perfect.

Mai există încă artefacte, cum ar fi morfologia nedorită a mâinilor și a identității faciale, dar această versiune este superficial cea mai plauzibilă – și orice îmbunătățire a stării actuale trebuie să fie considerată împotriva dificultății enorme pe care o propune sarcina; și a marii provocări pe care o prezintă viitorului video generat de IA.

De ce interpolarea contează

Așa cum am subliniat anterior, capacitatea de a umple în mod plauzibil conținutul video între două cadre furnizate de utilizator este una dintre cele mai bune modalități de a menține consistența temporală în videoul generativ, deoarece două fotografii reale și consecutive ale aceleiași persoane vor conține în mod natural elemente consistente, cum ar fi îmbrăcăminte, păr și mediu.

Când se utilizează doar un singur cadru de start, fereastra de atenție limitată a unui sistem generativ, care ia în considerare adesea doar cadrele apropiate, va tinde să evolueze treptat aspecte ale subiectului, până când (de exemplu) un bărbat devine alt bărbat (sau o femeie), sau se dovedește a avea “morfologie” a îmbrăcămintei – printre multe alte distracții care sunt în mod obișnuit generate în sistemele T2V cu sursă deschisă și în majoritatea soluțiilor plătite, cum ar fi Kling:

Apăsați pentru a juca. Introducerea celor două cadre sursă reale în Kling, cu promptul “Un bărbat dansând pe un acoperiș”, nu a dus la o soluție ideală. Deși Kling 1.6 era disponibil la momentul creării, V1.5 este cea mai recentă care să suporte cadre de start și de sfârșit introduse de utilizator. Sursă: https://klingai.com/

Este problema deja rezolvată?

În contrast, unele sisteme comerciale, cu sursă închisă și proprietară, par să facă mai bine față acestei provocări – în special RunwayML, care a reușit să creeze o interpolare foarte plauzibilă a celor două cadre sursă:

Apăsați pentru a juca. Interpolarea bazată pe difuzie a RunwayML este foarte eficientă. Sursă: https://app.runwayml.com/

Repetând exercițiul, RunwayML a produs un al doilea rezultat la fel de credibil:

Apăsați pentru a juca. A doua rulare a secvenței RunwayML.

O problemă aici este că nu putem învăța nimic despre provocările implicate, nici nu putem avansa starea de artă deschisă, dintr-un sistem proprietar. Nu putem ști dacă această reprezentare superioară a fost realizată prin abordări arhitecturale unice, prin date (sau metode de curățare a datelor, cum ar fi filtrarea și notarea), sau orice combinație a acestor și a altor inovații de cercetare posibile.

În al doilea rând, companiile mai mici, cum ar fi cele de efecte vizuale, nu se pot baza în lungul timp pe servicii API conduse de B2B care ar putea submina planificarea lor logistică cu o singură majorare a prețului – în special dacă un serviciu ar veni să domine piața și, prin urmare, ar fi mai dispus să crească prețurile.

Când drepturile sunt greșite

Mult mai important, dacă un model comercial cu performanță bună este antrenat pe date nelicențiate, așa cum pare a fi cazul cu RunwayML, orice companie care utilizează astfel de servicii ar putea risca expunerea juridică în aval.

Deoarece legile (și unele procese) durează mai mult decât președinții, și deoarece piața crucială din Statele Unite este printre cele mai litigioase din lume, tendința actuală spre o supraveghere legislativă mai mare pentru datele de antrenament AI pare să supraviețuiască “atingerii ușoare” din următorul mandat prezidențial al lui Donald Trump.

Prin urmare, sectorul de cercetare a viziunii computaționale va trebui să abordeze această problemă pe calea grea, astfel încât orice soluții emergente să poată dura în lungul timp.

FCVG

Noua metodă din China este prezentată într-un articol intitulat Generare de videoclip prin condiții cadru cu cadru, și provine de la cinci cercetători de la Institutul de Tehnologie Harbin și Universitatea Tianjin.

FCVG rezolvă problema ambiguității în sarcina de interpolare prin utilizarea condițiilor cadru cu cadru, împreună cu un cadru care delimitează marginea în cadrele de start și de sfârșit furnizate de utilizator, ceea ce ajută procesul să păstreze o urmărire mai consistentă a tranzițiilor dintre cadrele individuale și, de asemenea, efectul general.

Condiționarea cadru cu cadru implică descompunerea creării de cadre intermediare în sub-sarcini, în loc de a încerca să umpleți un vid semantic foarte mare între două cadre (și cu cât ieșirea video solicitată este mai lungă, cu atât distanța semantică este mai mare).

În graficul de mai jos, din articol, autorii compară metoda de inversare a timpului (TRF) cu a lor. TRF creează două căi de generare de videoclip utilizând un model preantrenat de imagine-la-videoclip (SVD). Unul este un drum “înainte” condiționat de cadrul de start, și celălalt un drum “înapoi” condiționat de cadrul de sfârșit. Ambele drumuri încep de la același zgomot aleator. Acest lucru este ilustrat în partea stângă a imaginii de mai jos:

Compararea abordărilor anterioare cu FCVG. Sursă: https://arxiv.org/pdf/2412.11755

Autorii afirmă că FCVG este o îmbunătățire a metodelor de inversare a timpului, deoarece reduce ambiguitatea în generarea de videoclip, oferind o condiție explicită pentru fiecare cadru, ceea ce duce la ieșiri mai stabile și mai consistente.

Metodele de inversare a timpului, cum ar fi TRF, pot duce la ambiguitate, deoarece drumurile de generare “înainte” și “înapoi” pot diverge, provocând neconcordanțe sau incoerențe. FCVG abordează această problemă prin utilizarea condițiilor cadru cu cadru derivate din linii corespondente între cadrele de start și de sfârșit (partea inferioară dreapta a imaginii de mai sus), care ajută procesul de generare.

Apăsați pentru a juca. O altă comparație de pe pagina proiectului FCVG.

Inversarea timpului permite utilizarea modelelor preantrenate de generare de videoclip pentru interpolare, dar are unele dezavantaje. Mișcarea generată de modelele I2V este diversă mai degrabă decât stabilă. Deși acest lucru este util pentru sarcini de imagine-la-videoclip (I2V) pure, creează ambiguitate și duce la căi de videoclip nealiniate sau incoerente.

Inversarea timpului necesită, de asemenea, o reglare laborioasă a hiperparametrilor, cum ar fi rata de cadre pentru fiecare videoclip generat. În plus, unele dintre tehnicile implicate în inversarea timpului pentru a reduce ambiguitatea încetinesc semnificativ inferența, creșterea timpilor de procesare.

Metodă

Autorii observă că, dacă prima dintre aceste probleme (diversitate versus stabilitate) poate fi rezolvată, toate celelalte probleme ulterioare vor fi probabil rezolvate de asemenea. Acest lucru a fost încercat în ofertele anterioare, cum ar fi GI menționat mai sus, și, de asemenea, ViBiDSampler.

Articolul afirmă:

‘Cu toate acestea [există] încă o stocasticitate considerabilă între aceste drumuri, limitând astfel eficacitatea acestor metode în gestionarea scenariilor care implică mișcări mari, cum ar fi schimbări rapide ale pozelor umane. Ambiguitatea în calea de interpolare provine în principal din condiții insuficiente pentru cadrele intermediare, deoarece două imagini de intrare oferă condiții doar pentru cadrele de start și de sfârșit.’

‘Prin urmare [noi] sugerez oferirea unei condiții explicite pentru fiecare cadru, ceea ce reduce semnificativ ambiguitatea căii de interpolare.’

Putem vedea conceptele de bază ale FCVG în schema de mai jos. FCVG generează o secvență de cadre video care încep și se termină consistent cu două cadre de intrare. Acest lucru asigură că cadrele sunt temporale stabile prin furnizarea de condiții specifice cadru pentru procesul de generare de videoclip.

Schema pentru inferența FCVG.

În această reevaluare a abordării de inversare a timpului, metoda combină informații din ambele direcții, “înainte” și “înapoi”, amestecându-le pentru a crea tranziții netede. Prin intermediul unui proces iterativ, modelul rafinează treptat intrările zgomotoase până când se obține în final setul de cadre intermediare.

Următoarea etapă implică utilizarea modelului preantrenat GlueStick pentru corespondența liniilor, care creează corespondențe între cele două cadre de start și de sfârșit calculate, cu utilizarea opțională a pozelor scheletice pentru a ghida modelul, prin modelul de difuzie video stabil.

GlueStick derivă linii din forme interpretate. Aceste linii oferă ancore de corespondență între cadrele de start și de sfârșit în FCVG*.

Autorii observă:

‘Am descoperit empiric că interpolarea liniară este suficientă pentru majoritatea cazurilor pentru a garanta stabilitatea temporală în videoclipurile interpolate, iar metoda noastră permite utilizatorilor să specifice drumuri de interpolare neliniare pentru generarea de videoclipuri dorite.’

Fluxul de lucru pentru stabilirea condițiilor cadru cu cadru înainte și înapoi. Putem vedea culorile corespondente care mențin conținutul consistent pe măsură ce animația se dezvoltă.

Pentru a injecta condițiile cadru cu cadru obținute în SVD, FCVG utilizează metoda dezvoltată pentru inițiativa ControlNeXt din 2024. În acest proces, condițiile de control sunt inițial codificate de mai multe blocuri ResNet, înainte de normalizarea transversală între ramurile condiției și SVD ale fluxului de lucru.

Un set mic de videoclipuri este utilizat pentru reglarea fină a modelului SVD, cu majoritatea parametrilor modelului înghețați.

‘[Limitările menționate anterior] au fost rezolvate în mare măsură în FCVG: (i) prin specificarea explicită a condiției pentru fiecare cadru, ambiguitatea dintre drumurile “înainte” și “înapoi” este semnificativ atenuată; (ii) doar un singur parametru ajustabil este introdus, în timp ce se păstrează hiperparametrii din SVD la valorile implicite, ceea ce oferă rezultate favorabile în majoritatea scenariilor; (iii) o fuziune simplă medie, fără reinjectarea zgomotului, este adecvată în FCVG, iar pașii de inferență pot fi reduși semnificativ cu 50% în comparație cu [GI].’

Schema generală pentru injectarea condițiilor cadru cu cadru în difuzia video stabilă pentru FCVG.

Date și teste

Pentru a testa sistemul, cercetătorii au creat un set de date care include diverse scene, inclusiv medii exterioare, poze umane și locații interioare, inclusiv mișcări precum mișcarea camerei, acțiuni de dans și expresii faciale, printre altele. Cele 524 de clipuri selectate au fost luate din seturile de date DAVIS și RealEstate10k. Această colecție a fost completată cu videoclipuri cu rată de cadre înaltă obținute de la Pexels. Setul a fost împărțit în raport de 4:1 între reglare fină și testare.

Metricile utilizate au fost Metrici de similaritate perceptuală învățați (LPIPS); Distanța de începtare Fréchet (FID); Distanța video Fréchet (FVD); VBench; și Distanța de mișcare video Fréchet.

Autorii observă că niciuna dintre aceste metrice nu este bine adaptată pentru a estima stabilitatea temporală și ne trimit la videoclipurile de pe pagina proiectului FCVG.

În plus față de utilizarea GlueStick pentru corespondența liniilor, DWPose a fost utilizat pentru estimarea pozelor umane.

Reglarea fină a avut loc pentru 70.000 de iterații sub optimizatorul AdamW pe un GPU NVIDIA A800, la o rată de învățare de 1×10^-6, cu cadrele decupate în patch-uri de 512×320.

cadrele rivale anterioare testate au fost FILM, GI, TRF și DynamiCrafter.

Pentru evaluarea cantitativă, lacunele de cadre abordate variau între 12 și 23.

Rezultate cantitative împotriva cadrului anterior.

În legătură cu aceste rezultate, articolul observă:

‘[Metoda noastră] obține cea mai bună performanță printre cele patru abordări generative în toate metricile. În ceea ce privește comparația LPIPS cu FILM, FCVG nostru este marginal inferior, în timp ce demonstrează o performanță superioară în alte metrice. Având în vedere absența informațiilor temporale în LPIPS, poate fi mai potrivit să se acorde prioritate altor metrice și observații vizuale.

‘Mai mult, prin compararea rezultatelor sub diferite lacune de cadre, FILM poate funcționa bine atunci când lacuna este mică, în timp ce metodele generative sunt mai potrivite pentru lacune mari. Printre aceste metode generative, FCVG nostru demonstrează o superioritate semnificativă datorită condițiilor sale cadru cu cadru explicite.’

Pentru testarea calitativă, autorii au produs videoclipurile vizualizate pe pagina proiectului (unele încorporate în acest articol), și rezultate statice și animate^† în articolul PDF,

Rezultate statice de exemplu din articol. Vă rugăm să consultați sursa PDF pentru o rezoluție mai bună și să fiți conștienți că PDF-ul conține animații care pot fi reduse în aplicații care suportă această funcție.

Autorii comentează:

‘În timp ce FILM produce rezultate de interpolare netede pentru scenarii de mică mișcare, se luptă cu mișcări mari din cauza limitărilor inerente ale fluxului optic, ceea ce duce la artefacte vizibile, cum ar fi mișcarea fundalului și a mâinilor (în primul caz).

‘Modelele generative, cum ar fi TRF și GI, suferă de ambiguități în drumurile de fuziune, ceea ce duce la mișcări intermediare instabile, în special în scene complexe care implică mișcări umane și obiecte.

‘În contrast, metoda noastră oferă în mod constant rezultate satisfăcătoare în diverse scenarii.’ Chiar și atunci când există o ocluzie semnificativă (în al doilea caz și în al șaselea caz), metoda noastră poate captura încă o mișcare rezonabilă. Mai mult, abordarea noastră demonstrează robustețe pentru acțiuni umane complexe (în ultimul caz).’

Autorii au descoperit, de asemenea, că FCVG se generalizează neobișnuit de bine la videoclipuri de animație:

Apăsați pentru a juca. FCVG produce rezultate foarte convingătoare pentru animația de tip desen animat.

Concluzie

FCVG reprezintă cel puțin o îmbunătățire incrementală pentru starea de artă în interpolarea cadrului într-un context neproprietar. Autorii au făcut codul pentru această lucrare disponibil pe GitHub, deși setul de date asociat nu a fost lansat la momentul scrierii.

Dacă soluțiile comerciale proprietare depășesc eforturile deschise prin utilizarea datelor web extrase și nelicențiate, pare a fi o abordare cu un viitor limitat; riscurile sunt pur și simplu prea mari.

Prin urmare, chiar dacă scena deschisă rămâne în urmă față de spectacolul impresionant al liderilor actuali de pe piață, este, în mod evident, încetul cu încetul care ar putea să ajungă primul la linia de finish.

* Sursă: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Necesită Acrobat Reader, Okular sau orice alt cititor de PDF care poate reproduce animații încorporate în PDF.

Publicat pentru prima dată vineri, 20 decembrie 2024